像上面提到的,流式作业可以设置taskmanager.network.tcp-connection.enable-reuse-across-jobs: false,一般作业影响不会有影响
Best, Shammon FY On Mon, Apr 10, 2023 at 9:27 AM zhan...@eastcom-sw.com < zhan...@eastcom-sw.com> wrote: > hi, 上周调整这两参数后,正常运行了近一个星期后 又重现了[PartitionNotFoundException]... > > taskmanager.network.max-num-tcp-connections 只是调整为2,可能是太小了 今天我改为4 再看看 > 或者 将flink版本升级到 1.17 是否可修复该问题? > > From: yidan zhao > Date: 2023-04-03 10:45 > To: user-zh > Subject: Re: PartitionNotFoundException > 设置 taskmanager.network.tcp-connection.enable-reuse-across-jobs 为 > false,设置 taskmanager.network.max-num-tcp-connections 大点。 > 之前有个bug导致这个问题我记得,不知道1.16修复没有。 > > zhan...@eastcom-sw.com <zhan...@eastcom-sw.com> 于2023年4月3日周一 10:08写道: > > > > > > hi, 最近从1.14升级到1.16后,kafka消费不定时会出现 > > [org.apache.flink.runtime.io.network.partition.PartitionNotFoundException: > Partition *** not found.] > > 然后不停自动重启job再继续抛出该异常后 不断重启,直到手动cancel任务后 再启动才恢复正常消费 > > > > 在1.14集群中从未出现的问题,升到1.16后才出现,请问是否有配置可以优化或避免该异常? >