Re:Re: flink canal-json 如何获取每条数据是updata insert delete

2020-09-27 文章 air23
你好 , 我不用canal-json接收了。使用flink-cdc功能,我想请教一下 我想把所有的维表都是用cdc加载,大约有10张左右,然后一个主流cdc表 去做维表join , 这样会很影响性能吗。是否需要配置checkpoint,所有的join都在flink里面 ,打个比方: cdc主表(订单表), cdc(用户,地区,物流,.等10张维度表) 然后用 订单表 join 这些维度表 打宽数据,这样一个很多的join ,实际操作可行吗? 在 2020-09-25 10:39:12,"Jark Wu" 写道: >如果要抽取对应的

Re:Re: flink canal-json 如何获取每条数据是updata insert delete

2020-09-26 文章 Michael Ran
我们也想用,能暴露一个出来不- - 在 2020-09-25 10:39:12,"Jark Wu" 写道: >如果要抽取对应的 type,需要用 format = json, 把 json 的完整数据结构在 DDL 中声明出来(包括 type)。 > >目前 canal-json 是自动将 changelog 转成了 Flink 的 insert/update/delete,而这个 change >flag 目前是不对用户暴露的。 > >Best, >Jark > >On Fri, 25 Sep 2020 at 09:39, air23 wrote: > >> 你好 >> flink