引入随机key最大问题是,本身希望batch方式sink,key太随机压根无法batch。
如果randomKey%1024这样分桶到1024的话,也不行,会导致每个bucket中数据量太少,进而基本都是timeout而sink,而不是达到batchSize,换言之,每次sink都会有1024个并发sink次数。
实际后端的存储可能不期望这么高并发,本身做batch的目的就是希望降低sink次数。
我希望的是按照并发度(比如30并发度)就每次sink30次(或超过30次,因为可能>batchSize,如果都<batchSize,则30个并发都超时sink,也就是一次触发会30次sink)。

yidan zhao <hinobl...@gmail.com> 于2021年2月9日周二 下午3:04写道:

> 如题,当前flink不支持非keyedStream使用定时器,不清楚有啥解决方法吗?
>
> 目前我实现一个sink,带超时希望用到timerservice。但是不支持。
> 同时不希望使用keyedStream,因为会导致数据不均衡。
>
> 除了引入随机key外还有什么方法吗。
>

Reply via email to