Re: flink 1.11 checkpoint使用

2020-07-17 文章 Leonard Xu
Hi， 曹武 这是一个已知bug，这个在1.11.1和1.12.0里已经修复， 如果着急使用，可以自己编译下release-1.11分支。 祝好 Leonard Xu https://issues.apache.org/jira/browse/FLINK-18461 > 在 2020年7月17日，17:12，曹武 <14701319...@163.com> 写道： > >

Re: flink 1.11 checkpoint使用

2020-07-17 文章 曹武
感觉好像是应为从checkpoint启动失败或者是checkpiont文件里面不包含groupby的中间结果,这个怎么排查呀! godfrey he wrote > 为什么要 GROUP BY id,name ,description, weight ？ > 直接 "INSERT INTO sink SELECT id,name ,description, weight FROM > debezium_source" 不能满足需求？ > > 曹武 < > 14701319164@ >> 于2020年7月16日周四 下午9:30写道： > >> 我在使用flink

Re: flink 1.11 checkpoint使用

2020-07-17 文章 曹武
如果去掉group by会抛出异常,请问有没有关这个异常的解决方式: Exception in thread "main" org.apache.flink.table.api.TableException: Provided trait [BEFORE_AND_AFTER] can't satisfy required trait [ONLY_UPDATE_AFTER]. This is a bug in planner, please file an issue. Current node is TableSourceScan(table=[[default_catalog,

Re: flink 1.11 checkpoint使用

2020-07-17 文章 曹武
如果去掉group by会抛出异常,请问有没有关这个异常的解决方式: Exception in thread "main" org.apache.flink.table.api.TableException: Provided trait [BEFORE_AND_AFTER] can't satisfy required trait [ONLY_UPDATE_AFTER]. This is a bug in planner, please file an issue. Current node is TableSourceScan(table=[[default_catalog,

Re: flink 1.11 checkpoint使用

2020-07-16 文章 Jark Wu
Hi, 能确认一下 kafka 中有完整的全量数据吗？ 也就是 这个 DELETE 消息之前，有对应的 INSERT 消息吗？ 如果没有的话，是可能会发生这个现象的（DELETE 在 group by 节点会被认为脏数据而丢掉）。 当然也可以像 godfrey 建议的那样，不 groupby，直接全部字段 INSERT INTO sink，DELETE 就不会被丢弃掉。 Best, Jark On Thu, 16 Jul 2020 at 21:56, godfrey he wrote: > 为什么要 GROUP BY id,name ,description, weight ？

Re: flink 1.11 checkpoint使用

2020-07-16 文章 godfrey he
为什么要 GROUP BY id,name ,description, weight ？ 直接 "INSERT INTO sink SELECT id,name ,description, weight FROM debezium_source" 不能满足需求？ 曹武 <14701319...@163.com> 于2020年7月16日周四 下午9:30写道： > 我在使用flink 1.11.0中得ddl 部分 采用debezium-json做cdc得时候 > 从checkpoint恢复以后,新来op=d的数据会删除失败 > 重启命令:./bin/flink run -m

flink 1.11 checkpoint使用

2020-07-16 文章 曹武
我在使用flink 1.11.0中得ddl 部分 采用debezium-json做cdc得时候 从checkpoint恢复以后,新来op=d的数据会删除失败 重启命令:./bin/flink run -m yarn-cluster /root/bigdata-flink-1.0.jar -s hdfs://prehadoop01:8020/flink/checkpoints/4cc5df8b96e90c1c2a4d3719a77f51d1/chk-819/_metadata 代码: EnvironmentSettings settings =