Hi, 可以提供下 JobManager 和相关 TaskManager 的日志吗?
一般来说 PartitionNotFoundException 只在作业启动建立链接的时候才会出现, 根据你的描述,应该是一个消费 Kafka 的流式任务,不太应该在运行一周后 出现 PartitionNotFoundException 可以检查下是否存在其他异常 Best, Weihua On Mon, Apr 10, 2023 at 9:51 AM zhan...@eastcom-sw.com < zhan...@eastcom-sw.com> wrote: > taskmanager.network.tcp-connection.enable-reuse-across-jobs: false > taskmanager.network.max-num-tcp-connections: 4 > > 这两参数已经调整了的,connections 之前只是由1改为2 但运行一周后又出现了 PartitionNotFoundException > > > > From: Shammon FY > Date: 2023-04-10 09:46 > To: user-zh > Subject: Re: Re: PartitionNotFoundException > 像上面提到的,流式作业可以设置taskmanager.network.tcp-connection.enable-reuse-across-jobs: > false,一般作业影响不会有影响 > > Best, > Shammon FY > > On Mon, Apr 10, 2023 at 9:27 AM zhan...@eastcom-sw.com < > zhan...@eastcom-sw.com> wrote: > > > hi, 上周调整这两参数后,正常运行了近一个星期后 又重现了[PartitionNotFoundException]... > > > > taskmanager.network.max-num-tcp-connections 只是调整为2,可能是太小了 今天我改为4 再看看 > > 或者 将flink版本升级到 1.17 是否可修复该问题? > > > > From: yidan zhao > > Date: 2023-04-03 10:45 > > To: user-zh > > Subject: Re: PartitionNotFoundException > > 设置 taskmanager.network.tcp-connection.enable-reuse-across-jobs 为 > > false,设置 taskmanager.network.max-num-tcp-connections 大点。 > > 之前有个bug导致这个问题我记得,不知道1.16修复没有。 > > > > zhan...@eastcom-sw.com <zhan...@eastcom-sw.com> 于2023年4月3日周一 10:08写道: > > > > > > > > > hi, 最近从1.14升级到1.16后,kafka消费不定时会出现 [org.apache.flink.runtime.io > .network.partition.PartitionNotFoundException: > > Partition *** not found.] > > > 然后不停自动重启job再继续抛出该异常后 不断重启,直到手动cancel任务后 再启动才恢复正常消费 > > > > > > 在1.14集群中从未出现的问题,升到1.16后才出现,请问是否有配置可以优化或避免该异常? > > >