Re: flink1.10 广播流更新卡住

2020-12-22 文章 洪雪芬
从监控上看没有反压。广播流的数据量并不大,几百k,定时更新的间隔设的是1分钟。
> 
> 
>> 在 2020年12月22日,20:53,赵一旦  写道:
>> 
>> 有没有反压。
>> 
>> 洪雪芬  于2020年12月22日周二 下午7:11写道:
>> 
>>> 对的,广播流算子的并行度一直为1,下游算子的并行度为1则正常,大于1则出现广播流更新卡住的情况,无报错,定位不到问题。
>>> 
>>> 
>> 在 2020年12月22日,18:39,赵一旦  写道:
> 
> 并行度1就没问题吗?
> 
> 洪雪芬  于2020年12月22日周二 下午1:45写道:
> 
>> Hi!
>> 
>> 
>>> 在使用flink广播流实现配置定时更新的过程中,出现下游算子并行度大于1时,下游算子获取更新到的广播流卡住的情况,即广播流算子持续发送数据,但下游算子只接收到前一小部分数据,然后就没有接收到新数据的情况,但无报错日志。
> 但该问题在本地IDEA运行时无法复现,提交到集群上以yarn-cluster模式运行时则会出现。
> 大家有没有遇到过类似的情况?是什么原因导致这样的问题,有什么解决方案吗?
> 
>>> 


Re: flink1.10 广播流更新卡住

2020-12-22 文章 赵一旦
有没有反压。

洪雪芬  于2020年12月22日周二 下午7:11写道:

> 对的,广播流算子的并行度一直为1,下游算子的并行度为1则正常,大于1则出现广播流更新卡住的情况,无报错,定位不到问题。
>
>
> > 在 2020年12月22日,18:39,赵一旦  写道:
> >
> > 并行度1就没问题吗?
> >
> > 洪雪芬  于2020年12月22日周二 下午1:45写道:
> >
> >> Hi!
> >>
> >>
> 在使用flink广播流实现配置定时更新的过程中,出现下游算子并行度大于1时,下游算子获取更新到的广播流卡住的情况,即广播流算子持续发送数据,但下游算子只接收到前一小部分数据,然后就没有接收到新数据的情况,但无报错日志。
> >> 但该问题在本地IDEA运行时无法复现,提交到集群上以yarn-cluster模式运行时则会出现。
> >> 大家有没有遇到过类似的情况?是什么原因导致这样的问题,有什么解决方案吗?
> >>
>


Re: flink1.10 广播流更新卡住

2020-12-22 文章 洪雪芬
对的,广播流算子的并行度一直为1,下游算子的并行度为1则正常,大于1则出现广播流更新卡住的情况,无报错,定位不到问题。


> 在 2020年12月22日,18:39,赵一旦  写道:
> 
> 并行度1就没问题吗?
> 
> 洪雪芬  于2020年12月22日周二 下午1:45写道:
> 
>> Hi!
>> 
>> 在使用flink广播流实现配置定时更新的过程中,出现下游算子并行度大于1时,下游算子获取更新到的广播流卡住的情况,即广播流算子持续发送数据,但下游算子只接收到前一小部分数据,然后就没有接收到新数据的情况,但无报错日志。
>> 但该问题在本地IDEA运行时无法复现,提交到集群上以yarn-cluster模式运行时则会出现。
>> 大家有没有遇到过类似的情况?是什么原因导致这样的问题,有什么解决方案吗?
>> 


Re: flink1.10 广播流更新卡住

2020-12-22 文章 赵一旦
并行度1就没问题吗?

洪雪芬  于2020年12月22日周二 下午1:45写道:

> Hi!
>
> 在使用flink广播流实现配置定时更新的过程中,出现下游算子并行度大于1时,下游算子获取更新到的广播流卡住的情况,即广播流算子持续发送数据,但下游算子只接收到前一小部分数据,然后就没有接收到新数据的情况,但无报错日志。
> 但该问题在本地IDEA运行时无法复现,提交到集群上以yarn-cluster模式运行时则会出现。
> 大家有没有遇到过类似的情况?是什么原因导致这样的问题,有什么解决方案吗?
>


flink1.10 广播流更新卡住

2020-12-21 文章 洪雪芬
Hi!
在使用flink广播流实现配置定时更新的过程中,出现下游算子并行度大于1时,下游算子获取更新到的广播流卡住的情况,即广播流算子持续发送数据,但下游算子只接收到前一小部分数据,然后就没有接收到新数据的情况,但无报错日志。
但该问题在本地IDEA运行时无法复现,提交到集群上以yarn-cluster模式运行时则会出现。
大家有没有遇到过类似的情况?是什么原因导致这样的问题,有什么解决方案吗?