2022-09-09 11:36:42,866 INFO
org.apache.flink.runtime.executiongraph.ExecutionGraph
[] - Source: HiveSource-ods_jt_hrs.ods_hrmis_HR_EMPL_Education (1/1)
(2a68412dab3602a1eeda5a750b308e23) switched from RUNNING to FAILED on
container_1658144991761_106260_01_02 @ hhny-cdh05 (dataPort=4
hi, 在我的理解里，savePoint 的作用和 checkPoint 是类似的，只是在 flink 1.16 以前 savePoint
只支持全量的 savePoint，底层都是采用的 barrier 实现机制。但是在1.16的规划文档里（
https://cwiki.apache.org/confluence/display/FLINK/FLIP-203%3A+Incremental+savepoints），savepoint
也将支持增量的模式。
当 savepoint 触发时， source 会去保存状态，是会停止消费的。
郑 致远 于2022年9月8日周四 19:39写道：
各位大神好.
请教
savepoint 也是用 barrier机制实现的吗?
savepoint 触发的时候, source算子会停止从kafka消费吗?
定时器需要keyedStateBackend，所以必须是KeyedStream才能使用定时器。
如果让上游数据不改变subTask可以考虑DataStreamUtils#reinterpretAsKeyedStream方法，这是一个实验功能，见[1]。需要保证原来的DataStream已经是按key分组过的。
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/datastream/experimental/
在 2022-09-08 16:31:36，"junjie
请问ProcessFunction中有onTimer方法，但是使用时提示必须是KeyedStream才能使用定时器，是否有不用转keyedStream就可以使用Timer的Function类。
发件人： r pp
发送时间： 2022-09-08 16:14
收件人： user-zh
主题： Re: 关于keyby()如何保留原并行度的问题
keyby() 时，还没有选好分组呢，这个只是告诉flink 要根据什么分组，所有也没有Runtime...
junjie.m...@goupwith.com 于2022年9月8日周四 14:17写道：
> hi：
> flink ke
keyby() 时，还没有选好分组呢，这个只是告诉flink 要根据什么分组，所有也没有Runtime...
junjie.m...@goupwith.com 于2022年9月8日周四 14:17写道：
> hi：
> flink keyby()时能否获取到subTask的编号，根据编号分组，让上游数据可以继续保持原有的数据依然在同一个subTask中进行后续计算。
>
> 在AbstractRichFunction类中this.getRuntimeContext().getIndexOfThisSubtask()可以获取编号，但是keyby()的KeySelector类中没有getR
应该是为了 流批一体 。不丢数据
Kyle Zhang 于2022年9月8日周四 08:37写道：
> Hi all,
> 看table
> store的介绍也是关于数据湖存储以及用于实时流式读取的，那在定位上与iceberg、hudi等项目有什么不一样么，为什么要再开发一个项目？
>
> Best.
>
--
Best，
pp
