Re: Flink1.2对 key 进行分区，和 hash 分区有什么区别?
首先，本身就是对key做的hash哈。只不过不是直接分配到并行的subtask，而是先分到maxParallelism，然后再分到subtask。加了一层主要是方便状态scala。
刘文 于2021年4月6日周二 上午9:33写道：
>
>
> Flink1.2对 key 进行分区，和 hash 分区有什么区别?
> 如: 分区数值 = key 的 hash值 % 并行度？
>
> 为什么不直接使用 hash 进行分区?
>
> KeyGroupStreamPartitioner.java
>
> @Override
> public int selectChannel(SerializationDelegate> record) {
>K key;
>try {
> key = keySelector.getKey(record.getInstance().getValue());
>} catch (Exception e) {
> throw new RuntimeException("Could not extract key from " +
> record.getInstance().getValue(), e);
>}
>return KeyGroupRangeAssignment.assignKeyToParallelOperator(key,
> maxParallelism, numberOfChannels);
> }
>
>
>
>
>
Re: flink 创建hbase出错
今天看到spi相关的资料，明白了一些，maven把类打进jar包，但是里面的类不是全部加载进内存，而且有使用到才加载，而像sinktable或者soucetable这些调用一般都是通过多态调用的，导致实现类不会加载，导致找不到。而如果放在lib目录，flink启动的时候会手动加载里面的类。 --Original-- From: "lucas.wu"
CheckpointedFunction#snapshotState????????????????
class A extends KeyedProcessFunction
Re: （无主题）
退订 guoyb <861277...@qq.com> 于2021年4月6日周二 下午5:57写道： > To remove your address from the list, send a message to: > > > > ---原始邮件--- > 发件人: "郭华威" 发送时间: 2021年4月6日(周二) 下午5:52 > 收件人: "user-zh@flink.apache.org" 主题: 回复：（无主题） > > > 请问如何退订 > > 在2021年04月06日 16:37，郭华威 写道： > 退订
Flink1.12.0版本 FlinkStreaming 如何将偏移量提交到kafka 0.11
flink 1.12版本 kafka版本0.11版本 目前可以消费，但是偏移量无法提交到kafka 我试过相同的代码，kafka版本2.4.1就可以提交偏移量到kafka 目前kafka 0.11版本有问题。无法提交。 有没有大佬帮忙想想办法。如何解决这个版本问题。
回复：（无主题）
To remove your address from the list, send a message to:
回复：（无主题）
请问如何退订 在2021年04月06日 16:37，郭华威 写道： 退订
Re: 如何手动读取Savepoints中的内容？
已解决，阅读完善相关源码后，了解到。需要通过BatchEnvironment，把Savepoint当做输入，然后构造序列化解析器和类型等信息，通过DataSet.collect()进行解析，就可以读取到目标数据了。 -- Sent from: http://apache-flink.147419.n8.nabble.com/
（无主题）
退订
如何手动读取Savepoints中的内容？
目前有个需求想要实现Flink SQL的保存点，但是由于在SQL中operator
uid是随机生成的，一旦修改SQL会导致无法读取到Savepoints中的状态信息。
想到一种方式是正常执行Savepoint操作，然后启动的时候手动读取Savepoint中的内容，获取Kafka每个分区的消费offset，再替换到SQL代码中。
目前通过在源码中打印相关日志可以发现，保存点触发时，消费的记录正常读取到9，但是手动读取的时候，却找不到这个而信息。
下面是我手动读取的代码，以下内容是参考Savepoint单元测试中的读取案例：
String savepointPath =
"hdfs://namenode:8020/flink/savepoints/test040603/savepoint-a2cfcd-2ee1c4afcf9f";
CompletedCheckpointStorageLocation location =
AbstractFsCheckpointStorageAccess
.resolveCheckpointPointer(savepointPath);
try (DataInputStream stream = new
DataInputStream(location.getMetadataHandle().openInputStream())) {
CheckpointMetadata metadata = Checkpoints
.loadCheckpointMetadata(stream,
Thread.currentThread().getContextClassLoader(), savepointPath);
System.out.println(metadata);
} catch (IOException e) {
e.printStackTrace();
}
通过debug发现，有三个operator，但是记录的offset是1038，而不是9，不知道正确的读取方法是什么？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
回复： Flink 1.12.2 sql api 使用parquet格式报错
加下测试看看，你这很明显没找到包 ---原始邮件--- 发件人: "user-zh-return-12015-861277329=qq.com"https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/formats/parquet.html 添加的依赖， 是需要把nbsp;flink-parquet_2.11 文件手动添加到 lib 目录才可以的吗？ --nbsp;原始邮件nbsp;-- 发件人: "user-zh" <17610775...@163.comgt;; 发送时间:nbsp;2021年4月4日(星期天) 下午4:08 收件人:nbsp;"user-zh"https://mp.weixin.qq.com/s/HqXaREr_NZbZ8lgu_yi7yA - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/
（无主题）
退订
?????? Flink 1.12.2 sql api ????parquet????????
??https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/formats/parquet.html flink-parquet_2.11 ?? lib ---- ??: "user-zh" <17610775...@163.com; :2021??4??4??(??) 4:08 ??:"user-zh"https://mp.weixin.qq.com/s/HqXaREr_NZbZ8lgu_yi7yA - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/
回复：（无主题）
退订 | | hello | | yangx...@163.com | Signature is customized by Netease Mail Master 在2021年04月06日 11:46，郭华威 写道： 退订
