Re: flink 1.11.2 cdc: cdc sql 结果表的sink顺序问题, 不同并行度下从save point中恢复job时,会导致sink结果不对!!

2020-11-14 文章 Jark Wu
抱歉... 题目没有看仔细,才发现你说的是 es sink,那和我上面说的 bug 不是一个问题。 不过从理论分析,不应该出现这个现象。 我在本地1.11分支上,用你给的数据和 sql,也没有复现你说的问题。 是不是 sql 给的不对?我看你 test_status 表的定义在 pk 之前少了一个逗号.. Best, Jark On Sat, 14 Nov 2020 at 17:48, Jark Wu wrote: > 看起来是这个 jdbc sink bug 导致的 https://issues.apache.org/jira/browse/FLINK-19423 > 这个 bu

Re: flink 1.11.2 如何配置时区

2020-11-14 文章 Jark Wu
1. 现在 proctime() 在设计上确实有问题,目前返回类型是 timestamp, 而不是 timestamp with local time zone, 所以不会考虑 session time zone,转成 string 会用 utc 时区。这个问题会在 FLINK-20162 [1] 中修复。 2. 可以看下这个文档[2]. Best, Jark [1]: https://issues.apache.org/jira/browse/FLINK-20162 [2]: https://ci.apache.org/projects/flink/flink-docs-master

Re: flink1.11 sql ddl 连接kafka读取数据,使用事件时间窗口,无法触发,相同的sql使用系统时间触发没有问题

2020-11-14 文章 Jark Wu
重复的问题。我将刚刚的回答也贴在这里。 如果要测试事件时间窗口,请保证以下几点,否则窗口不会触发: 1. 保证所有 partition 都有数据。 2. 且每个 partition 数据的 event time 都在前进 3. 且 event time 前进的距离要超过 window size + watermark offset, 即你的例子中的 10s+1s = 11s 以上如果不满足,则系统不会认为窗口结束,所以窗口就不会触发。 Best, Jark On Sat, 14 Nov 2020 at 16:35, 李世钰 wrote: > 您好,请教您一个问题 > flink1

Re: flink sql ddl连接kafka,flink sql使用事件时间无法正常触发时间窗口

2020-11-14 文章 Jark Wu
如果要测试事件时间窗口,请保证以下几点,否则窗口不会触发: 1. 保证所有 partition 都有数据。 2. 且每个 partition 数据的 event time 都在前进 3. 且 event time 前进的距离要超过 window size + watermark offset, 即你的例子中的 10s+1s = 11s 以上如果不满足,则系统不会认为窗口结束,所以窗口就不会触发。 Best, Jark On Sat, 14 Nov 2020 at 15:11, 李世钰 wrote: > flink版本 flink1.11 > > > flink sql连接kafka

Re: Flink cdc 多表关联处理延迟很大

2020-11-14 文章 Jark Wu
能展示下你的代码吗?是用的维表关联的语法 (FOR SYSTEM TIME AS OF)? 需要明确下,到底是什么节点慢了。 On Fri, 13 Nov 2020 at 19:02, 丁浩浩 <18579099...@163.com> wrote: > 我用flink cdc 对mysql的表进行关联查询,发现flink只能两张表关联之后再跟下一张表关联,导致最后落库的延迟非常大。 > 有没有比较好的优化方案能缓解这样的问题?

Re: flink 1.11.2 cdc: cdc sql 结果表的sink顺序问题, 不同并行度下从save point中恢复job时,会导致sink结果不对!!

2020-11-14 文章 Jark Wu
看起来是这个 jdbc sink bug 导致的 https://issues.apache.org/jira/browse/FLINK-19423 这个 bug 会导致删的时候,取的 pk 索引不对,所以可能导致 index 异常,或是删错数据。 这个bug 会在即将发布的 1.11.3 中修复。 Best, Jark On Fri, 13 Nov 2020 at 13:12, jindy_liu <286729...@qq.com> wrote: > 源表test: > CREATE TABLE test ( > `id` INT, > `name` VARCHAR(255)

??????flink 1.11.2 ????????????

2020-11-14 文章 Asahi Lee
??format=json??flinkjacksonjackson?? --  -- ??: "Asahi Lee"

flink 1.11.2 ????????????

2020-11-14 文章 Asahi Lee
??       ??flink sql 1.11.2??proctime()UTC??+08env.java.optsjvm??+08 json

flink1.11 sql ddl 连接kafka读取数据,使用事件时间窗口,无法触发,相同的sql使用系统时间触发没有问题

2020-11-14 文章 李世钰
您好,请教您一个问题 flink1.11 sql ddl连接kafka,使用事件事件,无法触发窗口,使用process_time系统时间就可以正常触发 create table kafka_table ( `log_id`  string, event_date timestamp(3), process_time as PROCTIME(), ts as event_date, watermark for ts as ts - interval '1' second ) with (  'connector' = 'kafka',  'topic' = 'kafka_table',  'p