使用flink 做维表关联

2019-12-20 文章 lucas.wu
hi 大家好: 最近有在调研使用flink做实时数仓,但是有个问题没弄清楚,就是明细表和维度表做join的时候,该采取什么的方案?目前的想到的就是明细表通过流消费进来,维度表放缓存。但是这种方案有弊端,就是维度表更新后,历史join过的数据无法再更新。不知道大家还有什么其他的方案?ps:目前有看到flink有支持join,这种需要两个表都是流的方式进入flink,然后会将历史的数据保存在state里面,这种对于量大的表会不会有问题?

Re: yarn per job 模式这个报错原因是什么?随机出现

2019-12-20 文章 Yun Tang
Hi 这个异常是因为无法绑定随机端口,在出问题的JM机器上检查一下 netstat,看是不是有大量的连接占用了很多端口。一般这种问题都是因为大量对外连接未关闭导致的,找到是什么类型的进程占用了大量端口。 祝好 唐云 From: rockey...@163.com Sent: Friday, December 20, 2019 15:04 To: user-zh Subject: yarn per job 模式这个报错原因是什么?随机出现 嗨,大家好,flink per