Re: FlinkSQL kafka2hive每次检查点导致任务失败

2021-11-28 文章 yidan zhao
hi,有人清楚如上问题吗,确认下是不是bug,我感觉是某种情况下会导致的问题,这个情况大概率是flink应该兼容考虑的。 yidan zhao 于2021年11月26日周五 下午2:19写道: > 我认为这个应该是bug。 > > yidan zhao 于2021年11月26日周五 上午11:18写道: > >> 如题,注意,非检查点本身失败,而是检查点完成后导致任务失败。 >> >> 目前跟进报错是PartitionTimeCommitTrigger.committablePartitions部分如下代码报的异常: >> >> if (!watermarks.containsKey

Re: FlinkSQL kafka2hive每次检查点导致任务失败

2021-11-25 文章 yidan zhao
我认为这个应该是bug。 yidan zhao 于2021年11月26日周五 上午11:18写道: > 如题,注意,非检查点本身失败,而是检查点完成后导致任务失败。 > > 目前跟进报错是PartitionTimeCommitTrigger.committablePartitions部分如下代码报的异常: > > if (!watermarks.containsKey(checkpointId)) { > throw new IllegalArgumentException( > String.format( >

FlinkSQL kafka2hive每次检查点导致任务失败

2021-11-25 文章 yidan zhao
如题,注意,非检查点本身失败,而是检查点完成后导致任务失败。 目前跟进报错是PartitionTimeCommitTrigger.committablePartitions部分如下代码报的异常: if (!watermarks.containsKey(checkpointId)) { throw new IllegalArgumentException( String.format( "Checkpoint(%d) has not been snapshot. The watermark information is