回复: 回复: Re: 怎样从flink执行计划json生成StreamGraph?

2022-12-01 文章 仙路尽头谁为峰
怎么指定? 文档好像没有。sql的算子语义和DataStream不是一对一的,现在只看到Sink可以配置并行度。 从 Windows 版邮件发送 发件人: casel.chen 发送时间: 2022年12月2日 12:45 收件人: user-zh@flink.apache.org 主题: Re:回复: Re: 怎样从flink执行计划json生成StreamGraph? sql作业最终也会转换成stream api生成jobgraph,因此同样可以支持修改每个算子并行度 在 2022-11-30 11:24:50,"仙路尽头谁为峰" 写道:

Re: Re: flink sql作业无缝升级问题

2022-12-01 文章 yidan zhao
通过savepoint方式先停止作业可以,不停止,你要考虑是否你的作业是否能做到重复处理部分数据不影响准确性。 先做savepoint但不停止作业,新作业启动后,新旧作业是消费的数据是重复的,不会因为相同group就不重复。 因为kafka的消费是2个模式,一个是组模式,还有一个是不受到组约束的。Flink采用的是后者。 我说的那个方法是在kafka后边加一个filter,filter的参数就是start和end,根据start和end过滤数据。 而且这个start和end需要可动态配置,就是不重启作业能配置才行。

Re:回复: Re: 怎样从flink执行计划json生成StreamGraph?

2022-12-01 文章 casel.chen
sql作业最终也会转换成stream api生成jobgraph,因此同样可以支持修改每个算子并行度 在 2022-11-30 11:24:50,"仙路尽头谁为峰" 写道: >Sql作业好像不支持修改每个算子并行度吧,修改并行度需要从头开始重新生成JobGraph提交作业。 >Json主要是贴到Plan Visualizer 开发和调试用。 >https://flink.apache.org/visualizer/ >从 Windows 版邮件发送 > >发件人: yidan zhao >发送时间: 2022年11月30日 10:12 >收件人:

Re:Re: flink sql作业无缝升级问题

2022-12-01 文章 casel.chen
拿kafka source作业为例,新老作业使用相同的consumer group,老作业先做savepoint,完了在老作业还在运行的同时启动新作业从刚才的savepoint恢复会有问题么? 如何设置一个流量开关让新作业“准备”好再打开流量呢?有没有具体实操的例子?还是说需要自己修改flink源码,具体要看哪一个类方法? 在 2022-11-30 20:08:44,"Jiangang Liu" 写道: >Flink目前无法做到无缝升级,需要走stop-with-savepoint、start

Re:FLINK postgresql CDC 报语法错误

2022-12-01 文章 bmw
是查询的时候报错,建表是成功的。 select * from postgres_cdc_test 错误: [ERROR] Could not execute SQL statement. Reason: org.postgresql.util.PSQLException: ERROR: syntax error 在 2022-12-02 10:09:37,"bmw" 写道: HI flink postgresql CDC flink1.12 ,postgresql:9.6.21 报错: CREATE TABLE

FLINK postgresql CDC 报语法错误

2022-12-01 文章 bmw
HI flink postgresql CDC flink1.12 ,postgresql:9.6.21 报错: CREATE TABLE postgres_cdc_test ( id INT, name STRING, PRIMARY KEY (id) NOT ENFORCED ) WITH ( 'connector' = 'postgres-cdc', 'hostname' = '192.168.1.101', 'port' = '5432',

????

2022-12-01 文章 ????