Re: 请问,flink支持StreamFileSink在将pending文件转为finished的时候做一些操作吗

2021-02-03 文章 Paul Lam
如果使用 RollOnCheckpoint 的文件滚动策略,可以开发一个 UDF 实现 CheckpointListener 接口,在 notifyCheckpointComplete 函数里面发消息。不过要注意这个消息可能会重复。 Best, Paul Lam > 2021年2月3日 17:36,上官 <17635713...@163.com> 写道: > > 各位大神,我的工作需要Flink将DataStream中的数据写入到HDFS上,我需要在flink将写入文件变为下游可读的时候,发送一个消息到消息队列,请问Flink支持这种操作吗

请问,flink支持StreamFileSink在将pending文件转为finished的时候做一些操作吗

2021-02-03 文章 上官
各位大神,我的工作需要Flink将DataStream中的数据写入到HDFS上,我需要在flink将写入文件变为下游可读的时候,发送一个消息到消息队列,请问Flink支持这种操作吗