通过key 分成不同 view ,然后不同的view 写不同的表可以吧
在 2021-01-19 17:59:54,"范超" 写道:
>我这边自己的做法是,根据不同的行为时间,将source拆流,然后一个事件对应一个sink
>Sink的逻辑处理都是一致的,只不过配置的表不同。
>
>-邮件原件-
>发件人: hailongwang [mailto:18868816...@163.com]
>发送时间: 2020年11月3日 星期二 0:21
>收件人: user-zh@flink.apache.org
我这边自己的做法是,根据不同的行为时间,将source拆流,然后一个事件对应一个sink
Sink的逻辑处理都是一致的,只不过配置的表不同。
-邮件原件-
发件人: hailongwang [mailto:18868816...@163.com]
发送时间: 2020年11月3日 星期二 0:21
收件人: user-zh@flink.apache.org
主题: Re:Flink Jdbc sink写入多表如何实现
Hi,
目前JDBC sink 不支持分库分表,只能自己实现一个 Sink。具体实现的话,即使 insert Statement 需要在
Hi,
目前JDBC sink 不支持分库分表,只能自己实现一个 Sink。具体实现的话,即使 insert Statement 需要在
writeRecord 阶段根据你的数据的 key 进行生成。
其中还需要将 key 和 statement 的对应关系缓存起来。
之前我内部的版本也支持了这个需求,因为后来在 DB 层面支持分库分表,所以在升级版本时候去掉了。(个人觉得这个是不是 DB 层面应该支持的?)
Best,
Hailong Wang
在 2020-10-30 15:10:33,"张健" 写道:
>hi,
>
>
Hi,张健:
感觉可以根据数据里的字段定义不同的侧输出,然后将各个侧输出通过 jdbc sink 到对应表中。
Best,
Shubin Ruan
在 2020-10-30 16:10:33,"张健" 写道:
>hi,
>
>
>我现在有个需求是一个source进来,然后根据数据里的字段 分发写入
>clickhouse多张表中(比如用户行为事件,上报进来有多种,不同的事件写入不同的表中),我想用Flink的Jdbc
>sink来做,但看接口貌似不能直接实现这样的功能。
>
>
>这个是要自定义一个sink来做嘛?有没有什么简单的实现方式?
>
>
>
>
>