我懂你意思,每个输入数据,经过redis、hbase等访问,以及相关调整(比如字段设置等),然后这个记录需要继续作为此算子的输出是吧。

我表达的是指你需要用异步访问redis、hbase方式,这个配合flink的异步算子去实现。所以你说的那个需求基于异步的是可以满足的。

Jacob <17691150...@163.com> 于2021年6月4日周五 下午3:21写道:
>
> @nobleyd 谢谢回复
>
> 你任务A中的redis和hbase是异步还是同步访问,------------------- 同步
>
> 你估计用的是对齐检查点是吧? -------------------是的
>
>
> 同步访问,是因为我们要及时生成新数据,换做异步就无法即时拿到最新的结果数据了
>
> 检查点我刚调整为非对齐方式了,从做完的十个checkpoint来看,state大小确实增加了,但速度尚未变快
>
>
> 消息量确实比较大,处理逻辑也较为复杂,处理逻辑算子的并行度我给了100,source并行度等于topic分区数
>
>
>
> -----
> Thanks!
> Jacob
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

Reply via email to