gt; 写道:
> 有没有可能flink在读取savepoint文件时,就做了反序列化,在这个过程中失败了。
确实是这样的,checkpoint 把 serializer 也 snapshot 了。
重新看了下 stack,应该是 deserialize `MessageId` 的时候出错的。你可以看下,pulsar
的版本是不是也有变动?有的话,这两个版本之间的某个 `MessageId` 实现是不是有字段变动?感觉你们应该用
`MessageId.toByteArray`。
On March 11, 2021 at 20:26:15, 赵 建云
(z
ormation.of(new TypeHint>() {
})));
不兼容的 state 更新,如果不好做 schema migration,可以试试 StatefulSinkWriterOperator 的方法:同时读取新旧
state + 只写新 state。
可以等 streamnative 的人确认下。
On March 11, 2021 at 10:43:53, 赵 建云
(zhaojianyu...@outlook.com<mailto:zhaojianyu...@outlook.com>) wrote:
社区各位大佬,我遇到了一个Flink版本升级后,savepo
现在是我在维护pulsar-flink
connector,是存在不兼容的升级。还是个很坑的改动。我现在尝试旧的迁移新的字段上方法,会报这个错误。我对1.11支持的代码进行修改,将state的数据结构改成旧版本的形式,同样也是这个错误。你说的StatefulSinkWriterOperator我研究下怎么使用。
2021年3月11日 上午11:36,Kezhu Wang mailto:kez...@gmail.com>> 写道:
StatefulSinkWriterOperator
社区各位大佬,我遇到了一个Flink版本升级后,savepoint不会正确恢复问题。
版本从1.9.3 升级到1.11.0或1.11.3.
连接器使用的pulsar的连接器。在Source的checkpoint数据结构如下
oldUnionOffsetStates = stateStore.getUnionListState(
new ListStateDescriptor<>(
OFFSETS_STATE_NAME,
TypeInformation.of(new TypeHint>() {
是的,新的DynamicTable在开发中。table api下不能绑定物理类型的情况,导致了一些类型兼容问题,现在有了解决的方案。
赵建云
2020年8月20日
2020年8月20日 下午2:27,Jingsong Li
mailto:jingsongl...@gmail.com>> 写道:
1.11 就用新的source sink接口吧
On Wed, Aug 19, 2020 at 12:43 AM 赵 建云
mailto:zhaojianyu...@outlook.com>> wrote:
补充图片链
补充图片链接
创建连接器
http://image.zhaojianyun.com/mweb/bug1.png
TableSourceSinkFactory中的创建sink
http://image.zhaojianyun.com/mweb/bug2.png
TableSchema的运行时物理信息
http://image.zhaojianyun.com/mweb/bug3.png
2020年8月18日 下午10:09,赵 建云
mailto:zhaojianyu...@outlook.com>> 写道:
hello all:
我在为flink 1.11开发新的连接器
(java.sql.Date.class);中,在运行时物理类型java.sql.Date丢失了,实际使用的是java.time.LocalDate。
*
创建连接器
[创建连接器]
*
TableSourceSinkFactory中的创建sink
[TableSourceSinkFactory中的创建sink]
*
TableSchema的运行时物理信息
[TableSchema的运行时物理信息]
我在flink的jira没找到提交问题的按钮,so,就把问题发在了中文组里,请大家支持下这个问题~
赵建云
2020年8月18日