Re:Re: 请教下Flink时间戳问题

2021-08-15 文章 Geoff nie
谢谢你!第二个问题确实是我版本太低问题,我flink版本是1.12.1。 第一个问题,是因为我通过flink写入iceberg 表中,然后通过presto查询iceberg表,其他字段的表都可以查询,但是当写入的是含有TIMESTAMP 类型的表时,presto查询如下报错: Query failed (#20210816_020321_00011_wa8bs) in your-presto: Cannot convert from Iceberg type 'timestamp' (TIMESTAMP) to Presto type 所以,我怀疑要么flink TIMESTAMP

Re:Re: 关于flink时区问题

2021-08-15 文章 Geoff nie
thanks,确实是我flink版本1.12版本,版本较低问题。 在 2021-08-16 12:18:34,"Caizhi Weng" 写道: >Hi! > >TO_TIMESTAMP_LTZ 是 1.13 引入的新函数。请检查一下 Flink 版本。 > >Geoff nie 于2021年8月16日周一 上午11:47写道: > >> >> >> 大佬,请教下,我执行如下语句,发现如下报错,这是lib下面少了什么jar包嘛还是?谢谢 >> Flink SQL> SELECT TO_TIMESTAMP_LTZ(4001, 3); >> [ERROR]

Re:Re: Re: 关于flink sql自定义udf,eval方法被调用两次问题

2021-08-15 文章 黄志高
感谢提供帮助 在 2021-08-16 11:31:11,"Qishang" 写道: >Hi >之前社区发过一个 JD 的解决方案,可以参考下[1]。 > >[1]: https://mp.weixin.qq.com/s/YluIj3vmebFmZjRbymKBZw > > > >黄志高 于2021年8月16日周一 上午11:04写道: > >> == Physical Execution Plan == >> >> Stage 1 : Data Source >> >> content : Source:

Re: 请教下Flink时间戳问题

2021-08-15 文章 Leonard Xu
Hi, 你贴的图都挂了,需要传图可以用下图床工具,代码少可以直接贴代码。 TIMESTAMP 类型中 显示的T 没有任何含义,只是 format 一个时间戳时的一个分割符,你最终把 TIMESTAMP 写入到你的sink,你自己的sink(比如mysql)会有其自己的format。 第二个问题,看不到你的图,你看下你flink的版本,1.13后这个TIMESTAMP_LTZ类型支持才完善的。 祝好, Leonard > 在 2021年8月16日,10:27,Geoff nie 写道: > > 问题一:flink timestamp时间戳为何中间多了个T,怎么才能少去中间T呢?

Re: FLink 1.13.2 use TVF data is not correct

2021-08-15 文章 Caizhi Weng
Hi! 一般来说 window 流计算结果和批计算结果不一致,很可能是因为有迟到数据。请检查一下是否有迟到数据,如果有可以考虑把 watermark 的时间再加长一点。 李占阳 <15333936...@126.com> 于2021年8月13日周五 下午5:21写道: > Hi all: > 我在使用flink1.13.2 的时候利用TVF 进行统计发下滚动统计的结果和离线明细统计的每天总量不对。下面是我的sql: > > String message = " CREATE TABLE test(\n" + > "

Re: flink调用drools服务器问题

2021-08-15 文章 Caizhi Weng
Hi! 这看起来像是一个自定义 connector 或者 udf。可能需要将完整的代码贴出来以便大家帮助定位问题。 yanyunpeng 于2021年8月13日周五 下午5:17写道: > Flink 中使用 drools client 执行规则 本地启动没问题 部署到集群的时候报错空指针 > > > KieCommands kieCommands = KieServices.Factory.get().getCommands(); > > List> commands = new LinkedList<>(); > >

Re: 关于flink时区问题

2021-08-15 文章 Caizhi Weng
Hi! TO_TIMESTAMP_LTZ 是 1.13 引入的新函数。请检查一下 Flink 版本。 Geoff nie 于2021年8月16日周一 上午11:47写道: > > > 大佬,请教下,我执行如下语句,发现如下报错,这是lib下面少了什么jar包嘛还是?谢谢 > Flink SQL> SELECT TO_TIMESTAMP_LTZ(4001, 3); > [ERROR] Could not execute SQL statement. Reason: > org.apache.calcite.sql.validate.SqlValidatorException: No

关于flink时区问题

2021-08-15 文章 Geoff nie
大佬,请教下,我执行如下语句,发现如下报错,这是lib下面少了什么jar包嘛还是?谢谢 Flink SQL> SELECT TO_TIMESTAMP_LTZ(4001, 3); [ERROR] Could not execute SQL statement. Reason: org.apache.calcite.sql.validate.SqlValidatorException: No match found for function signature TO_TIMESTAMP_LTZ(, )

关于 Flink SQL 上的 State Schema Evolution

2021-08-15 文章 吴志宇
Hi 社区的各位: 来信之前做了一些测试,当前 Flink 目前不能保证一个修改过的 SQL 能够从之前的 checkpoint / savepoint 进行恢复。 目前我们遇到的场景是用户会要想在原有的 SQL 上加聚合指标。在 1.12.2 下如果 Flink SQL 新增一个聚合指标,org.apache.flink.table.runtime.typeutils.RowDataSerializer.RowDataSerializerSnapshot#resolveSchemaCompatibility 会返回 INCOMPATIBLE,然后抛出

Re: Re: 关于flink sql自定义udf,eval方法被调用两次问题

2021-08-15 文章 Qishang
Hi 之前社区发过一个 JD 的解决方案,可以参考下[1]。 [1]: https://mp.weixin.qq.com/s/YluIj3vmebFmZjRbymKBZw 黄志高 于2021年8月16日周一 上午11:04写道: > == Physical Execution Plan == > > Stage 1 : Data Source > > content : Source: TableSourceScan(table=[[default_catalog, > default_database, test_kafka]], fields=[tz]) > > > > >

Re:Re: 关于flink sql自定义udf,eval方法被调用两次问题

2021-08-15 文章 黄志高
== Physical Execution Plan == Stage 1 : Data Source content : Source: TableSourceScan(table=[[default_catalog, default_database, test_kafka]], fields=[tz]) Stage 2 : Operator content : Calc(select=[tt1(tz) AS tz], where=[tt1(tz) IS NOT NULL]) ship_strategy : FORWARD

请教下Flink时间戳问题

2021-08-15 文章 Geoff nie
各位大佬, 请教下2个问题, 问题一:flink timestamp时间戳为何中间多了个T,怎么才能少去中间T呢? 问题二:本地用TIMESTAMP_WITH_LOCAL_TIME_ZONE数据类型,发现不支持这个类型,咋回事啊? 谢谢! 问题一:flink timestamp时间戳为何中间多了个T,怎么才能少去T呢 问题二:本地用TIMESTAMP_WITH_LOCAL_TIME_ZONE数据类型,发现不支持这个类型,咋回事啊

Re: 关于flink sql自定义udf,eval方法被调用两次问题

2021-08-15 文章 Qishang
Hi. 应该是这个问题,https://issues.apache.org/jira/browse/FLINK-21573 打印一下执行计划和code gen 黄志高 于2021年8月15日周日 下午10:06写道: > hi all, > 各位大佬,有没有遇到过eval方法被调用两次问题,在我使用select * from (select tt1(tz) from > test_kafka) as t where tz is not null > 时,在eval方法进行入参打印时,发现eval方法被调用了两次,当我使用select * from (select

关于flink sql自定义udf,eval方法被调用两次问题

2021-08-15 文章 黄志高
hi all, 各位大佬,有没有遇到过eval方法被调用两次问题,在我使用select * from (select tt1(tz) from test_kafka) as t where tz is not null 时,在eval方法进行入参打印时,发现eval方法被调用了两次,当我使用select * from (select tt1(tz) from test_kafka) as t这个sql时,不进行where tz is not null 操作,eval方法此时只会调用一次,如果将where tz is not null 改成 where tz