Re: PartitionNotFoundException

2023-04-02 Thread Shammon FY 
Hi

出现PartitionNotFoundException通常是指定task的上游有subtask失败了，你可以查看一下上游subtask有没有错误日志，根据错误日志查看具体原因

Best,
Shammon FY

On Mon, Apr 3, 2023 at 10:08 AM zhan...@eastcom-sw.com <
zhan...@eastcom-sw.com> wrote:

>
> hi, 最近从1.14升级到1.16后，kafka消费不定时会出现 
> [org.apache.flink.runtime.io.network.partition.PartitionNotFoundException:
> Partition *** not found.]
> 然后不停自动重启job再继续抛出该异常后 不断重启，直到手动cancel任务后 再启动才恢复正常消费
>
> 在1.14集群中从未出现的问题，升到1.16后才出现，请问是否有配置可以优化或避免该异常？
>

Re: PartitionNotFoundException

2023-04-02 Thread yidan zhao 
设置 taskmanager.network.tcp-connection.enable-reuse-across-jobs 为
false，设置 taskmanager.network.max-num-tcp-connections 大点。
之前有个bug导致这个问题我记得，不知道1.16修复没有。

zhan...@eastcom-sw.com  于2023年4月3日周一 10:08写道：
>
>
> hi, 最近从1.14升级到1.16后，kafka消费不定时会出现 
> [org.apache.flink.runtime.io.network.partition.PartitionNotFoundException: 
> Partition *** not found.]
> 然后不停自动重启job再继续抛出该异常后 不断重启，直到手动cancel任务后 再启动才恢复正常消费
>
> 在1.14集群中从未出现的问题，升到1.16后才出现，请问是否有配置可以优化或避免该异常？