退订
谢振爵 我们的使命/愿景：玩出梦想 我们的价值观：用户第一、团队合作、积极探索 我们的人才观：正直、自驱力、同理心、终身学习 地址：上海市徐汇区漕河泾开发区古美路1582号总部园2期C幢2F、6F、7F、12F、艾默生B5F 联系电话：021-64819981 ====================================== 本邮件载有保密信息，请您恪守保密义务，勿向第三人透露，谢谢合作！ ------------------ Original ------------------ From: "Jason_H"<hyb_he...@163.com>; Date: Thu, Aug 25, 2022 02:50 PM To: "user-zh"<user-zh@flink.apache.org>; Subject: 回复： flink自动重启出错 您好，详细报错如下： Caused by: java.lang.RuntimeException: Error while getting state at org.apache.flink.runtime.state.DefaultKeyedStateStore.getMapState(DefaultKeyedStateStore.java:109) at org.apache.flink.streaming.api.operators.StreamingRuntimeContext.getMapState(StreamingRuntimeContext.java:232) at com.myouchai.mishap.transformation.process.AsyncDecisionUpgrade.open(AsyncDecisionUpgrade.java:61) at org.apache.flink.api.common.functions.util.FunctionUtils.openFunction(FunctionUtils.java:34) at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.open(AbstractUdfStreamOperator.java:100) at org.apache.flink.streaming.api.operators.co.CoBroadcastWithKeyedOperator.open(CoBroadcastWithKeyedOperator.java:91) at org.apache.flink.streaming.runtime.tasks.RegularOperatorChain.initializeStateAndOpenOperators(RegularOperatorChain.java:110) at org.apache.flink.streaming.runtime.tasks.StreamTask.restoreGates(StreamTask.java:711) at org.apache.flink.streaming.runtime.tasks.StreamTaskActionExecutor$1.call(StreamTaskActionExecutor.java:55) at org.apache.flink.streaming.runtime.tasks.StreamTask.restoreInternal(StreamTask.java:687) at org.apache.flink.streaming.runtime.tasks.StreamTask.restore(StreamTask.java:654) at org.apache.flink.runtime.taskmanager.Task.runWithSystemExitMonitoring(Task.java:958) at org.apache.flink.runtime.taskmanager.Task.restoreAndInvoke(Task.java:927) at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:766) at org.apache.flink.runtime.taskmanager.Task.run(Task.java:575) at java.lang.Thread.run(Thread.java:748) Caused by: org.apache.flink.util.StateMigrationException: For heap backends, the new state serializer (org.apache.flink.api.common.typeutils.base.MapSerializer@b3dd31ab) must not be incompatible with the old state serializer (org.apache.flink.api.common.typeutils.base.MapSerializer@35a76e76). at org.apache.flink.runtime.state.heap.HeapKeyedStateBackend.tryRegisterStateTable(HeapKeyedStateBackend.java:211) at org.apache.flink.runtime.state.heap.HeapKeyedStateBackend.createInternalState(HeapKeyedStateBackend.java:276) at org.apache.flink.runtime.state.ttl.TtlStateFactory.createTtlStateContext(TtlStateFactory.java:225) at org.apache.flink.runtime.state.ttl.TtlStateFactory.createMapState(TtlStateFactory.java:177) at org.apache.flink.runtime.state.ttl.TtlStateFactory.createState(TtlStateFactory.java:132) at org.apache.flink.runtime.state.ttl.TtlStateFactory.createStateAndWrapWithTtlIfEnabled(TtlStateFactory.java:72) at org.apache.flink.runtime.state.AbstractKeyedStateBackend.getOrCreateKeyedState(AbstractKeyedStateBackend.java:302) at org.apache.flink.runtime.state.AbstractKeyedStateBackend.getPartitionedState(AbstractKeyedStateBackend.java:353) at org.apache.flink.runtime.state.DefaultKeyedStateStore.getPartitionedState(DefaultKeyedStateStore.java:115) at org.apache.flink.runtime.state.DefaultKeyedStateStore.getMapState(DefaultKeyedStateStore.java:106) ... 15 more | | Jason_H | | hyb_he...@163.com | ---- 回复的原邮件 ---- | 发件人 | yue ma<mayuefi...@gmail.com> | | 发送日期 | 2022年8月25日 13:56 | | 收件人 | <user-zh@flink.apache.org> | | 主题 | Re: flink自动重启出错 | 你好，可以贴下完整的 JM/TM 日志嘛。 感觉不是很符合预期 ， 如果是自动failover 的话应该不会发生 StateMig rationException Jason_H <hyb_he...@163.com> 于2022年8月25日周四 09:36写道： 您好，报错如下： cause by: java.lang.RuntimeException: Error while getting state org.apache.flink.util.StateMigrationException: For heap backends, the new state serializer must not be incompatible with the old state serializer | | Jason_H | | hyb_he...@163.com | ---- 回复的原邮件 ---- | 发件人 | yue ma<mayuefi...@gmail.com> | | 发送日期 | 2022年8月24日 16:48 | | 收件人 | <user-zh@flink.apache.org> | | 主题 | Re: flink自动重启出错 | 你好 ～可以贴下更详细的报错 Hangxiang Yu <master...@gmail.com> 于2022年8月24日周三 13:10写道： 是DS作业吗？可以share下使用state的部分吗？ On Sat, Aug 20, 2022 at 3:35 PM Jason_H <hyb_he...@163.com> wrote: 您好，改过任务，但是 是以新的任务启动的，改动很大，并不依赖之前老的任务 | | Jason_H | | hyb_he...@163.com | ---- 回复的原邮件 ---- | 发件人 | Michael Ran<greemqq...@163.com> | | 发送日期 | 2022年8月20日 15:31 | | 收件人 | tsreape...@gmail.com<user-zh@flink.apache.org> | | 主题 | 回复：flink自动重启出错 | 改过任务吗? | | greemqq...@163.com | | 邮箱：greemqq...@163.com | ---- 回复的原邮件 ---- | 发件人 | Jason_H<hyb_he...@163.com> | | 日期 | 2022年08月19日 11:52 | | 收件人 | flink中文邮件组<user-zh@flink.apache.org> | | 抄送至 | | | 主题 | flink自动重启出错 | cause by: java.lang.RuntimeException: Error while getting state org.apache.flink.util.StateMigrationException: For heap backends, the new state serializer must not be incompatible with the old state serializer 大家好，我最近遇到一个很奇怪的问题，我的作业自动重启的时候报这个错，我上网查了一下，说是状态不兼容，但是我的作业都是新的作业启动的，没有根据之前的ck恢复，然后跑一段时间就报这个错，它是自动重启的时候，就报这个错了，这个有遇到过吗？有没有什么解决办法？ 强调：作业是新的，没有基于之前的作业的ck进行重启。 | | Jason_H | | hyb_he...@163.com | -- Best, Hangxiang.
