Re: flink1.10 广播流更新卡住
从监控上看没有反压。广播流的数据量并不大,几百k,定时更新的间隔设的是1分钟。 > > >> 在 2020年12月22日,20:53,赵一旦 写道: >> >> 有没有反压。 >> >> 洪雪芬 于2020年12月22日周二 下午7:11写道: >> >>> 对的,广播流算子的并行度一直为1,下游算子的并行度为1则正常,大于1则出现广播流更新卡住的情况,无报错,定位不到问题。 >>> >>> >> 在 2020年12月22日,18:39,赵一旦 写道: > > 并行度1就没问题吗? > > 洪雪芬 于2020年12月22日周二 下午1:45写道: > >> Hi! >> >> >>> 在使用flink广播流实现配置定时更新的过程中,出现下游算子并行度大于1时,下游算子获取更新到的广播流卡住的情况,即广播流算子持续发送数据,但下游算子只接收到前一小部分数据,然后就没有接收到新数据的情况,但无报错日志。 > 但该问题在本地IDEA运行时无法复现,提交到集群上以yarn-cluster模式运行时则会出现。 > 大家有没有遇到过类似的情况?是什么原因导致这样的问题,有什么解决方案吗? > >>>
Re: flink1.10 广播流更新卡住
有没有反压。 洪雪芬 于2020年12月22日周二 下午7:11写道: > 对的,广播流算子的并行度一直为1,下游算子的并行度为1则正常,大于1则出现广播流更新卡住的情况,无报错,定位不到问题。 > > > > 在 2020年12月22日,18:39,赵一旦 写道: > > > > 并行度1就没问题吗? > > > > 洪雪芬 于2020年12月22日周二 下午1:45写道: > > > >> Hi! > >> > >> > 在使用flink广播流实现配置定时更新的过程中,出现下游算子并行度大于1时,下游算子获取更新到的广播流卡住的情况,即广播流算子持续发送数据,但下游算子只接收到前一小部分数据,然后就没有接收到新数据的情况,但无报错日志。 > >> 但该问题在本地IDEA运行时无法复现,提交到集群上以yarn-cluster模式运行时则会出现。 > >> 大家有没有遇到过类似的情况?是什么原因导致这样的问题,有什么解决方案吗? > >> >
Re: flink1.10 广播流更新卡住
对的,广播流算子的并行度一直为1,下游算子的并行度为1则正常,大于1则出现广播流更新卡住的情况,无报错,定位不到问题。 > 在 2020年12月22日,18:39,赵一旦 写道: > > 并行度1就没问题吗? > > 洪雪芬 于2020年12月22日周二 下午1:45写道: > >> Hi! >> >> 在使用flink广播流实现配置定时更新的过程中,出现下游算子并行度大于1时,下游算子获取更新到的广播流卡住的情况,即广播流算子持续发送数据,但下游算子只接收到前一小部分数据,然后就没有接收到新数据的情况,但无报错日志。 >> 但该问题在本地IDEA运行时无法复现,提交到集群上以yarn-cluster模式运行时则会出现。 >> 大家有没有遇到过类似的情况?是什么原因导致这样的问题,有什么解决方案吗? >>
Re: flink1.10 广播流更新卡住
并行度1就没问题吗? 洪雪芬 于2020年12月22日周二 下午1:45写道: > Hi! > > 在使用flink广播流实现配置定时更新的过程中,出现下游算子并行度大于1时,下游算子获取更新到的广播流卡住的情况,即广播流算子持续发送数据,但下游算子只接收到前一小部分数据,然后就没有接收到新数据的情况,但无报错日志。 > 但该问题在本地IDEA运行时无法复现,提交到集群上以yarn-cluster模式运行时则会出现。 > 大家有没有遇到过类似的情况?是什么原因导致这样的问题,有什么解决方案吗? >
flink1.10 广播流更新卡住
Hi! 在使用flink广播流实现配置定时更新的过程中,出现下游算子并行度大于1时,下游算子获取更新到的广播流卡住的情况,即广播流算子持续发送数据,但下游算子只接收到前一小部分数据,然后就没有接收到新数据的情况,但无报错日志。 但该问题在本地IDEA运行时无法复现,提交到集群上以yarn-cluster模式运行时则会出现。 大家有没有遇到过类似的情况?是什么原因导致这样的问题,有什么解决方案吗?