回复:flink自动重启出错
改过任务吗? | | greemqq...@163.com | | 邮箱:greemqq...@163.com | 回复的原邮件 | 发件人 | Jason_H | | 日期 | 2022年08月19日 11:52 | | 收件人 | flink中文邮件组 | | 抄送至 | | | 主题 | flink自动重启出错 | cause by: java.lang.RuntimeException: Error while getting state org.apache.flink.util.StateMigrationException: For heap backends, the new state serializer must not be incompatible with the old state serializer 大家好,我最近遇到一个很奇怪的问题,我的作业自动重启的时候报这个错,我上网查了一下,说是状态不兼容,但是我的作业都是新的作业启动的,没有根据之前的ck恢复,然后跑一段时间就报这个错,它是自动重启的时候,就报这个错了,这个有遇到过吗?有没有什么解决办法? 强调:作业是新的,没有基于之前的作业的ck进行重启。 | | Jason_H | | hyb_he...@163.com |
回复:flink自动重启出错
您好,改过任务,但是 是以新的任务启动的,改动很大,并不依赖之前老的任务 | | Jason_H | | hyb_he...@163.com | 回复的原邮件 | 发件人 | Michael Ran | | 发送日期 | 2022年8月20日 15:31 | | 收件人 | tsreape...@gmail.com | | 主题 | 回复:flink自动重启出错 | 改过任务吗? | | greemqq...@163.com | | 邮箱:greemqq...@163.com | 回复的原邮件 | 发件人 | Jason_H | | 日期 | 2022年08月19日 11:52 | | 收件人 | flink中文邮件组 | | 抄送至 | | | 主题 | flink自动重启出错 | cause by: java.lang.RuntimeException: Error while getting state org.apache.flink.util.StateMigrationException: For heap backends, the new state serializer must not be incompatible with the old state serializer 大家好,我最近遇到一个很奇怪的问题,我的作业自动重启的时候报这个错,我上网查了一下,说是状态不兼容,但是我的作业都是新的作业启动的,没有根据之前的ck恢复,然后跑一段时间就报这个错,它是自动重启的时候,就报这个错了,这个有遇到过吗?有没有什么解决办法? 强调:作业是新的,没有基于之前的作业的ck进行重启。 | | Jason_H | | hyb_he...@163.com |
Re: flink sql支持监听单个文件内容变化吗?
比较建议对于这种监听数据新增的需求,将记录写到Message Queue中然后再让Flink读取,这样会好实现一些。 On Fri, 19 Aug 2022 at 4:55 PM, Weihua Hu wrote: > Hi, > 不支持监听单个文件的变化,但是可以监听某个目录下文件的新增。 > > [1] > > https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/filesystem/#source > > Best, > Weihua > > > On Fri, Aug 19, 2022 at 11:56 AM casel.chen wrote: > > > flink sql支持监听单个文件内容变化吗?文件中每一行是一条记录,对外输出的模式可以全量或者变量。 >
flink cdc如何将捕获变更记录转成canal json格式输出到下游kafka?
flink cdc如何将捕获变更记录转成canal json格式输出到下游kafka? flink cdc获取的是debezium格式记录(用的是 JsonDebeziumDeserializationSchema),要如何转换成canal json格式输出呢?有没有例子或关键代码展示?谢谢!