使用 Postgres 数据库作为 Catalog
时如何设置一些其他参数,例如sink.buffer-flush.interval,sink.buffer-flush.max-rows
17610801...@163.com
1. 两个流的数据分别存入hbase;
2. 然后起新的消费者,两条流做outer join , 并设置一定时间的TTL:
A, 能关联上直接输出
B, 右流为空,左流关联hbase补充右流数据
C, 左流为空,右流关联hbase补充左流数据
3, 全局数据根据一个version或ts可以排序去重
> 2022年3月22日 17:07,Michael Ran 写道:
>
> 可以考虑存储层 局部更新
> 在 2022-03-21 17:00:31,"zns" <865094...@qq.com.INVALID> 写道:
>> Cdc join
>>
>>>
因为 KafkaConnectorOptions 里面没有,所有WITH 参数里面不知道如何加入了
在 2022-03-22 18:22:44,"写虫师" 写道:
>-- 原始邮件 --
>发件人:
> "user-zh"
-- --
??:
"user-zh"
Hi,
partition.discovery.interval.ms 这个是Flink connector
kafka里面加上的,KafkaSourceOptions里面定义的,
看下你的kafka-client的版本,官方的是 2.4.1,如果版本一样,那只能先忽略了。
在 2022-03-22 17:10:52,"Michael Ran" 写道:
>dear all :
> 目前用flink1.4 table api +kafka 的情况下,有各种警告,比如:
> The configuration 'partition
dear all :
目前用flink1.4 table api +kafka 的情况下,有各种警告,比如:
The configuration 'partition.discovery.interval.ms' was supplied
but isn't a known config.
这些额外的参数,在SQL WITH参数里面没定义,不知道各位时在哪个位置加入配置的?
有什么建议吗?
感谢!
可以考虑存储层 局部更新
在 2022-03-21 17:00:31,"zns" <865094...@qq.com.INVALID> 写道:
>Cdc join
>
>> 2022年3月21日 14:01,JianWen Huang 写道:
>>
>> 事实表流A需关联维度表B做数据打宽。需求是当纬度表B发生变化时,关联结果需全部发生变化更新到最新。
>> 例子:
>> 变化前:
>> A流:
>> name gender
>> a male
>> b male
>> c female
>>
>> 纬度表B:
>> namea