各位好! 祝大家新年快乐!
--版本 FLINK 1.9.1 ON YARN --过程 1.定义一个 EventTimeSessionWindows.withGap(Time.hours(1))窗口 2.定义一个new Trigger(),每隔固定间隔计算一次,并且输出 3.定义一个new ProcessWindowFunction(),每隔固定时间计算一次,并且输出,并且不保留已经计算的数据 --问题 new ProcessWindowFunction()中通过iter.remove();来将计算过的数据去掉, 使用MemoryStateBackend可以达到预期的目标,在固定间隔的计算周期内,都不会包含上一次的值。 使用RocksDBStateBackend该iter.remove();步骤会不生效,下次计算还会有历史数据。 这种计算场景有更好的计算方法吗? --部分代码 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); new ProcessWindowFunction{ public void process(Tuple tuple, Context context, Iterable<StringBean> elements, Collector<String> out) throws Exception { for (Iterator<StringBean> iter = elements.iterator(); iter.hasNext(); ) { .... iter.remove(); } } .... }