Re: flink 维表关联
Hi 李现 现实确实很难做到对流表进行全量的join,如需全量,state会占用很大的存储,而且后续迁移很困难。请问一下你说的这个方案可以举个例子吗? 原始邮件 发件人:李现stormallin2...@gmail.com 收件人:user-zhuser...@flink.apache.org 发送时间:2019年12月26日(周四) 08:44 主题:Re: flink 维表关联 流的大小应该不是无限制的,应该是有个窗口期?窗口期之外的数据离线处理? xin Destiny nj18652727...@gmail.com于2019年12月25日 周三18:13写道: Hi,lucas.wu: 我个人觉得可以把join的条件和流对应的数据存放在mapstate中,每次维表的缓存更新数据之后,去mapstate中查询,如果存在对应的KV,将新关联后的数据下发; 不过这样state会占用很大的内存,需要主意state的清理 lucas.wu lucas...@xiaoying.com 于2019年12月25日周三 下午5:13写道:hi all: flink的kafka流表与hbase维表关联,维表后面有变动的话,如何将之前关联过的数据进行更新?
Re: flink 维表关联
流的大小应该不是无限制的,应该是有个窗口期?窗口期之外的数据离线处理? xin Destiny 于2019年12月25日 周三18:13写道: > Hi,lucas.wu: > > 我个人觉得可以把join的条件和流对应的数据存放在mapstate中,每次维表的缓存更新数据之后,去mapstate中查询,如果存在对应的KV,将新关联后的数据下发; > 不过这样state会占用很大的内存,需要主意state的清理 > > lucas.wu 于2019年12月25日周三 下午5:13写道: > > > hi all: > > flink的kafka流表与hbase维表关联,维表后面有变动的话,如何将之前关联过的数据进行更新? >
Re: flink 维表关联
Hi,lucas.wu: 我个人觉得可以把join的条件和流对应的数据存放在mapstate中,每次维表的缓存更新数据之后,去mapstate中查询,如果存在对应的KV,将新关联后的数据下发; 不过这样state会占用很大的内存,需要主意state的清理 lucas.wu 于2019年12月25日周三 下午5:13写道: > hi all: > flink的kafka流表与hbase维表关联,维表后面有变动的话,如何将之前关联过的数据进行更新?