Re: flink 任务运行抛ClassNotFoundException

2024-07-18 Thread Yanquan Lv
你好, 假设 xxx.shade. 是你用于 shade 的前缀。 grep -rn 'org.apache.hudi.com.xx.xx.xxx.A' 和grep -rn 'xxx.shade.org.apache.hudi.com.xx.xx.xxx.A' 出来的结果一致吗? ℡小新的蜡笔不见嘞、 <1515827...@qq.com.invalid> 于2024年7月18日周四 20:14写道: > 您好,感谢您的回复。 > 我理解应该是都做了 shade 处理,我这边用了您的 grep -rn 命令查看了下没问题。而且,这个 >

Re: flink 任务运行抛ClassNotFoundException

2024-07-18 Thread Yanquan Lv
你好,这个类被 shade 了,但是调用这个类的其他类可能在不同的 jar 包,没有都被 shade 处理。可以 grep -rn 'org.apache.hudi.com.xx.xx.xxx.A' 看看所有调用这个类的包是不是都做了 shade 处理。 ℡小新的蜡笔不见嘞、 <1515827...@qq.com.invalid> 于2024年7月18日周四 18:31写道: > 请问,Flink 任务运行期间 偶尔会抛出 ClassNotFoundException 异常,这个一般是什么原因,以及怎么解决呢?信息如下: > * 这个类确实存在于 任务Jar 里面 > * 这个类是经过

Re: Postgres-CDC start replication fails after stop/start on flink stream

2024-07-04 Thread Yanquan Lv
Hi, David. We've met a similar problem of pg connection, the error message is 'Socket is closed' and we put a lot of effort into investigating, but we couldn't find the reason. Then we modify the publication mode[1] and only subscribe the changes of certain table with following connector options:

Re: Re:cdc读取oracle数据如何解析

2024-06-26 Thread Yanquan Lv
uot;:[{"type":"struct","fields":[{"type":"int32","optional":false,"field":"scale"},{"type":"bytes","optional":false,"field":"value"}],"optional":false,"name"

Re: 回复:cdc读取oracle数据如何解析

2024-06-26 Thread Yanquan Lv
你好,你的 ID 和 PRINCE 字段类型是 decimal 吗,decimal 默认的展示方式是使用 BASE64 处理 可以通过添加下面代码来让展示信息更直观。 Map customConverterConfigs = new HashMap<>(); customConverterConfigs.put(JsonConverterConfig.DECIMAL_FORMAT_CONFIG, "numeric"); JsonDebeziumDeserializationSchema schema = new

Re: flink cdc 3.0 schema变更问题

2024-06-13 Thread Yanquan Lv
你好,DataStream 的方式需要设置 includeSchemaChanges(true) 参数,并且设置自定义的 deserializer,参考这个链接[1]。 如果不想使用 json 的方式,希望自定义 deserializer,从 SourceRecord 里提取 ddl 的方式可以参考这个链接[2]提供的方案。 [1]

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-20 Thread Yanquan Lv
Congratulations and Looking forward to future versions! Jark Wu 于2024年3月21日周四 10:47写道: > Congratulations and welcome! > > Best, > Jark > > On Thu, 21 Mar 2024 at 10:35, Rui Fan <1996fan...@gmail.com> wrote: > > > Congratulations! > > > > Best, > > Rui > > > > On Thu, Mar 21, 2024 at 10:25 AM

Re: 根据flink job web url可以获取到JobGraph信息么?

2024-03-01 Thread Yanquan Lv
https://nightlies.apache.org/flink/flink-docs-master/docs/ops/rest_api/#jobs-jobid-plan 通过 /jobs/:jobid/plan 能获得 ExecutionGraph 的信息,不知道能不能包含你需要的信息。 casel.chen 于2024年3月2日周六 14:19写道: > 正在运行的flink作业能够通过其对外暴露的web url获取到JobGraph信息么?

Re: flink重启机制

2024-02-27 Thread Yanquan Lv
图片没有显示出来。container 调度是由 yarn 控制的,yarn 会优先选择运行中的节点。按理说 container 不会调度到下线的节点,你通过 yarn web 或者 yarn node -list 确认了吗? chenyu_opensource 于2024年2月27日周二 18:30写道: > 你好,flink任务提交到yarn上,由于某个节点下线导致flink任务失败,如下: > > 同时重试超过次数,任务失败,如下图: > > 我想问一下,flink重试机制中 >