应该是为了 流批一体 。不丢数据
Kyle Zhang 于2022年9月8日周四 08:37写道:
> Hi all,
> 看table
> store的介绍也是关于数据湖存储以及用于实时流式读取的,那在定位上与iceberg、hudi等项目有什么不一样么,为什么要再开发一个项目?
>
> Best.
>
--
Best,
pp
keyby() 时,还没有选好分组呢,这个只是告诉flink 要根据什么分组,所有也没有Runtime...
junjie.m...@goupwith.com 于2022年9月8日周四 14:17写道:
> hi:
> flink keyby()时能否获取到subTask的编号,根据编号分组,让上游数据可以继续保持原有的数据依然在同一个subTask中进行后续计算。
>
> 在AbstractRichFunction类中this.getRuntimeContext().getIndexOfThisSubtask()可以获取编号,但是keyby()的KeySelector类中没有getR
请问ProcessFunction中有onTimer方法,但是使用时提示必须是KeyedStream才能使用定时器,是否有不用转keyedStream就可以使用Timer的Function类。
发件人: r pp
发送时间: 2022-09-08 16:14
收件人: user-zh
主题: Re: 关于keyby()如何保留原并行度的问题
keyby() 时,还没有选好分组呢,这个只是告诉flink 要根据什么分组,所有也没有Runtime...
junjie.m...@goupwith.com 于2022年9月8日周四 14:17写道:
> hi:
> flink ke
定时器需要keyedStateBackend,所以必须是KeyedStream才能使用定时器。
如果让上游数据不改变subTask可以考虑DataStreamUtils#reinterpretAsKeyedStream方法,这是一个实验功能,见[1]。需要保证原来的DataStream已经是按key分组过的。
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/datastream/experimental/
在 2022-09-08 16:31:36,"junjie
各位大神好.
请教
savepoint 也是用 barrier机制实现的吗?
savepoint 触发的时候, source算子会停止从kafka消费吗?
hi, 在我的理解里,savePoint 的作用和 checkPoint 是类似的,只是在 flink 1.16 以前 savePoint
只支持全量的 savePoint,底层都是采用的 barrier 实现机制。但是在1.16的规划文档里(
https://cwiki.apache.org/confluence/display/FLINK/FLIP-203%3A+Incremental+savepoints),savepoint
也将支持增量的模式。
当 savepoint 触发时, source 会去保存状态,是会停止消费的。
郑 致远 于2022年9月8日周四 19:39写道:
2022-09-09 11:36:42,866 INFO
org.apache.flink.runtime.executiongraph.ExecutionGraph
[] - Source: HiveSource-ods_jt_hrs.ods_hrmis_HR_EMPL_Education (1/1)
(2a68412dab3602a1eeda5a750b308e23) switched from RUNNING to FAILED on
container_1658144991761_106260_01_02 @ hhny-cdh05 (dataPort=4