使用问题咨询:Postgres 数据库作为 Catalog 时如何设置一些其他参数

2022-03-22 文章 17610801...@163.com
使用 Postgres 数据库作为 Catalog 时如何设置一些其他参数,例如sink.buffer-flush.interval,sink.buffer-flush.max-rows 17610801...@163.com

Re: 维度表变化,关联结果全部更新在Flink SQL该如何实现

2022-03-22 文章 wushijjian5
1. 两个流的数据分别存入hbase; 2. 然后起新的消费者,两条流做outer join , 并设置一定时间的TTL: A, 能关联上直接输出 B, 右流为空,左流关联hbase补充右流数据 C, 左流为空,右流关联hbase补充左流数据 3, 全局数据根据一个version或ts可以排序去重 > 2022年3月22日 17:07,Michael Ran 写道: > > 可以考虑存储层 局部更新 > 在 2022-03-21 17:00:31,"zns" <865094...@qq.com.INVALID> 写道: >> Cdc join >> >>>

Re:回复:flink-sql,对于kafka 的一些额外参数如何配置

2022-03-22 文章 Michael Ran
因为 KafkaConnectorOptions 里面没有,所有WITH 参数里面不知道如何加入了 在 2022-03-22 18:22:44,"写虫师" 写道: >-- 原始邮件 -- >发件人: > "user-zh"

????

2022-03-22 文章 ??????

??????flink-sql??????kafka ??????????????????????

2022-03-22 文章 ??????
--  -- ??: "user-zh"

Re:flink-sql,对于kafka 的一些额外参数如何配置

2022-03-22 文章 RS
Hi, partition.discovery.interval.ms 这个是Flink connector kafka里面加上的,KafkaSourceOptions里面定义的, 看下你的kafka-client的版本,官方的是 2.4.1,如果版本一样,那只能先忽略了。 在 2022-03-22 17:10:52,"Michael Ran" 写道: >dear all : > 目前用flink1.4 table api +kafka 的情况下,有各种警告,比如: > The configuration 'partition

flink-sql,对于kafka 的一些额外参数如何配置

2022-03-22 文章 Michael Ran
dear all : 目前用flink1.4 table api +kafka 的情况下,有各种警告,比如: The configuration 'partition.discovery.interval.ms' was supplied but isn't a known config. 这些额外的参数,在SQL WITH参数里面没定义,不知道各位时在哪个位置加入配置的? 有什么建议吗? 感谢!

Re:Re: 维度表变化,关联结果全部更新在Flink SQL该如何实现

2022-03-22 文章 Michael Ran
可以考虑存储层 局部更新 在 2022-03-21 17:00:31,"zns" <865094...@qq.com.INVALID> 写道: >Cdc join > >> 2022年3月21日 14:01,JianWen Huang 写道: >> >> 事实表流A需关联维度表B做数据打宽。需求是当纬度表B发生变化时,关联结果需全部发生变化更新到最新。 >> 例子: >> 变化前: >> A流: >> name gender >> a male >> b male >> c female >> >> 纬度表B: >> namea