我懂你意思,每个输入数据,经过redis、hbase等访问,以及相关调整(比如字段设置等),然后这个记录需要继续作为此算子的输出是吧。
我表达的是指你需要用异步访问redis、hbase方式,这个配合flink的异步算子去实现。所以你说的那个需求基于异步的是可以满足的。 Jacob <17691150...@163.com> 于2021年6月4日周五 下午3:21写道: > > @nobleyd 谢谢回复 > > 你任务A中的redis和hbase是异步还是同步访问,------------------- 同步 > > 你估计用的是对齐检查点是吧? -------------------是的 > > > 同步访问,是因为我们要及时生成新数据,换做异步就无法即时拿到最新的结果数据了 > > 检查点我刚调整为非对齐方式了,从做完的十个checkpoint来看,state大小确实增加了,但速度尚未变快 > > > 消息量确实比较大,处理逻辑也较为复杂,处理逻辑算子的并行度我给了100,source并行度等于topic分区数 > > > > ----- > Thanks! > Jacob > -- > Sent from: http://apache-flink.147419.n8.nabble.com/