怎么指定? 文档好像没有。sql的算子语义和DataStream不是一对一的,现在只看到Sink可以配置并行度。
从 Windows 版邮件发送
发件人: casel.chen
发送时间: 2022年12月2日 12:45
收件人: user-zh@flink.apache.org
主题: Re:回复: Re: 怎样从flink执行计划json生成StreamGraph?
sql作业最终也会转换成stream api生成jobgraph,因此同样可以支持修改每个算子并行度
在 2022-11-30 11:24:50,"仙路尽头谁为峰" 写道:
通过savepoint方式先停止作业可以,不停止,你要考虑是否你的作业是否能做到重复处理部分数据不影响准确性。
先做savepoint但不停止作业,新作业启动后,新旧作业是消费的数据是重复的,不会因为相同group就不重复。
因为kafka的消费是2个模式,一个是组模式,还有一个是不受到组约束的。Flink采用的是后者。
我说的那个方法是在kafka后边加一个filter,filter的参数就是start和end,根据start和end过滤数据。
而且这个start和end需要可动态配置,就是不重启作业能配置才行。
sql作业最终也会转换成stream api生成jobgraph,因此同样可以支持修改每个算子并行度
在 2022-11-30 11:24:50,"仙路尽头谁为峰" 写道:
>Sql作业好像不支持修改每个算子并行度吧,修改并行度需要从头开始重新生成JobGraph提交作业。
>Json主要是贴到Plan Visualizer 开发和调试用。
>https://flink.apache.org/visualizer/
>从 Windows 版邮件发送
>
>发件人: yidan zhao
>发送时间: 2022年11月30日 10:12
>收件人:
拿kafka source作业为例,新老作业使用相同的consumer
group,老作业先做savepoint,完了在老作业还在运行的同时启动新作业从刚才的savepoint恢复会有问题么?
如何设置一个流量开关让新作业“准备”好再打开流量呢?有没有具体实操的例子?还是说需要自己修改flink源码,具体要看哪一个类方法?
在 2022-11-30 20:08:44,"Jiangang Liu" 写道:
>Flink目前无法做到无缝升级,需要走stop-with-savepoint、start
是查询的时候报错,建表是成功的。
select * from postgres_cdc_test
错误:
[ERROR] Could not execute SQL statement. Reason:
org.postgresql.util.PSQLException: ERROR: syntax error
在 2022-12-02 10:09:37,"bmw" 写道:
HI flink postgresql CDC flink1.12 ,postgresql:9.6.21 报错:
CREATE TABLE
HI flink postgresql CDC flink1.12 ,postgresql:9.6.21 报错:
CREATE TABLE postgres_cdc_test (
id INT,
name STRING,
PRIMARY KEY (id) NOT ENFORCED
) WITH (
'connector' = 'postgres-cdc',
'hostname' = '192.168.1.101',
'port' = '5432',