It also maybe have something to do with my job's first tasks. The second task have two input, one is the kafka source stream(A), another is self-defined mysql source as broadcast stream.(B) In A: I have a 'WatermarkReAssigner', a self-defined operator which add an offset to its input watermark and then forward to downstream. In B: The parallelism is 30, but in my rich function's implementation, only the subtask-0 will do mysql query and send out records, other subtasks do nothing. All subtasks will send max_watermark - 86400_000 as the watermark. Since both the first task have some self-defined source or implementation, I do not know whether the problem have something to do with it.
赵一旦 <hinobl...@gmail.com> 于2021年2月7日周日 下午4:00写道: > 截图也没办法反应动态变化的过程。 > > 目前是10机器的Standalone集群,状态在5G左右。通过flink-client端提交任务,然后web-ui刷新就一直转圈,过一会(几十秒大概)就OK啦,然后刚刚OK一瞬间会有很多个处于Initialize状态的任务,然后慢慢(10s内吧)没掉。 > > flink-client端的话,有时候正常提交完成,有时候出现报错(类似说是重复任务的)。 > > > zilong xiao <acidzz...@gmail.com> 于2021年2月7日周日 下午3:25写道: > >> 有截图吗? >> >> 赵一旦 <hinobl...@gmail.com> 于2021年2月7日周日 下午3:13写道: >> >> > 这个问题现在还有个现象,我提交任务,web >> > UI就类似卡住状态,过一会刷新出来任务,会有4-5个initialize状态的任务,然后几秒之内陆续消失,剩下1个。 >> > >> > 目前怀疑是有什么重试机制,导致重复提交N个任务,然后可能还有什么去重机制,然后其中几个陆续自动停掉? >> > >> > 赵一旦 <hinobl...@gmail.com> 于2021年1月26日周二 上午10:51写道: >> > >> > > >> 如上,目前发现以前很快(10-30s)内能从敲命名到running的任务。现在有时候innitialize阶段就得1-2min。不清楚啥情况。 >> > > >> > >> >