Re: Flink savepoint迁移问题

2021-03-12 文章
gt; 写道: > 有没有可能flink在读取savepoint文件时,就做了反序列化,在这个过程中失败了。 确实是这样的,checkpoint 把 serializer 也 snapshot 了。 重新看了下 stack,应该是 deserialize `MessageId` 的时候出错的。你可以看下,pulsar 的版本是不是也有变动?有的话,这两个版本之间的某个 `MessageId` 实现是不是有字段变动?感觉你们应该用 `MessageId.toByteArray`。 On March 11, 2021 at 20:26:15, 赵 建云 (z

Re: Flink savepoint迁移问题

2021-03-11 文章
ormation.of(new TypeHint>() { }))); 不兼容的 state 更新,如果不好做 schema migration,可以试试 StatefulSinkWriterOperator 的方法:同时读取新旧 state + 只写新 state。 可以等 streamnative 的人确认下。 On March 11, 2021 at 10:43:53, 赵 建云 (zhaojianyu...@outlook.com<mailto:zhaojianyu...@outlook.com>) wrote: 社区各位大佬,我遇到了一个Flink版本升级后,savepo

Re: Flink savepoint迁移问题

2021-03-10 文章
现在是我在维护pulsar-flink connector,是存在不兼容的升级。还是个很坑的改动。我现在尝试旧的迁移新的字段上方法,会报这个错误。我对1.11支持的代码进行修改,将state的数据结构改成旧版本的形式,同样也是这个错误。你说的StatefulSinkWriterOperator我研究下怎么使用。 2021年3月11日 上午11:36,Kezhu Wang mailto:kez...@gmail.com>> 写道: StatefulSinkWriterOperator

Flink savepoint迁移问题

2021-03-10 文章
社区各位大佬,我遇到了一个Flink版本升级后,savepoint不会正确恢复问题。 版本从1.9.3 升级到1.11.0或1.11.3. 连接器使用的pulsar的连接器。在Source的checkpoint数据结构如下 oldUnionOffsetStates = stateStore.getUnionListState( new ListStateDescriptor<>( OFFSETS_STATE_NAME, TypeInformation.of(new TypeHint>() {

Re: 【bug】flink 1.11使用连接器时schema丢失DataType指定的物理信息

2020-08-19 文章
是的,新的DynamicTable在开发中。table api下不能绑定物理类型的情况,导致了一些类型兼容问题,现在有了解决的方案。 赵建云 2020年8月20日 2020年8月20日 下午2:27,Jingsong Li mailto:jingsongl...@gmail.com>> 写道: 1.11 就用新的source sink接口吧 On Wed, Aug 19, 2020 at 12:43 AM 赵 建云 mailto:zhaojianyu...@outlook.com>> wrote: 补充图片链

Re: 【bug】flink 1.11使用连接器时schema丢失DataType指定的物理信息

2020-08-18 文章
补充图片链接 创建连接器 http://image.zhaojianyun.com/mweb/bug1.png TableSourceSinkFactory中的创建sink http://image.zhaojianyun.com/mweb/bug2.png TableSchema的运行时物理信息 http://image.zhaojianyun.com/mweb/bug3.png 2020年8月18日 下午10:09,赵 建云 mailto:zhaojianyu...@outlook.com>> 写道: hello all: 我在为flink 1.11开发新的连接器

【bug】flink 1.11使用连接器时schema丢失DataType指定的物理信息

2020-08-18 文章
(java.sql.Date.class);中,在运行时物理类型java.sql.Date丢失了,实际使用的是java.time.LocalDate。 * 创建连接器 [创建连接器] * TableSourceSinkFactory中的创建sink [TableSourceSinkFactory中的创建sink] * TableSchema的运行时物理信息 [TableSchema的运行时物理信息] 我在flink的jira没找到提交问题的按钮,so,就把问题发在了中文组里,请大家支持下这个问题~ 赵建云 2020年8月18日