Re: 关于flink sql的kafka source的开始消费offset相关问题。
hi 那你只需要设置从 latest-offset 开始消费,并且禁用 checkpoint 就行了,至于重启的次数,可以通过 metrics 中的 numRestarts 去获取. - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/
Re: 关于flink sql的kafka source的开始消费offset相关问题。
hi, 本质上来说，你的做法有点hack其实不推荐，如果非要这么做的话，你还可以通过 numRestarts [1] 的指标来看重启了多少次。 [1] https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/ops/metrics/#availability 祝好 唐云 From: yidan zhao Sent: Friday, June 4, 2021 11:52 To: user-zh Subject: Re: 关于flink sql的kafka source的开始消费offset相关问题。 本质需求是我一个转发任务，本身检查点失败以及任务失败一般都是压力高，所以我希望重启是忽略堆积的数据从最新数据开始消费。我希望任务失败了就自动重启从最新开始继续转发。 yidan zhao 于2021年6月4日周五 上午11:51写道： > > 那就挺难受的，我之前还想过一个办法是，禁止sql 任务的检查点功能就可以了。但是呢，flink禁止检查点后web > UI就无法显示重启次数了，任务的重启的监控现在都只能通过开启检查点才能反映出来（ckpt失败数量、ckpt restored数量）。 > > JasonLee <17610775...@163.com> 于2021年6月4日周五 上午11:49写道： > > > > hi > > > > sql 也是会从上一次成功的 checkpoint 中保存的 offset 位置开始恢复数据的. > > > > > > > > - > > Best Wishes > > JasonLee > > -- > > Sent from: http://apache-flink.147419.n8.nabble.com/
Re: 关于flink sql的kafka source的开始消费offset相关问题。
本质需求是我一个转发任务，本身检查点失败以及任务失败一般都是压力高，所以我希望重启是忽略堆积的数据从最新数据开始消费。我希望任务失败了就自动重启从最新开始继续转发。 yidan zhao 于2021年6月4日周五 上午11:51写道： > > 那就挺难受的，我之前还想过一个办法是，禁止sql 任务的检查点功能就可以了。但是呢，flink禁止检查点后web > UI就无法显示重启次数了，任务的重启的监控现在都只能通过开启检查点才能反映出来（ckpt失败数量、ckpt restored数量）。 > > JasonLee <17610775...@163.com> 于2021年6月4日周五 上午11:49写道： > > > > hi > > > > sql 也是会从上一次成功的 checkpoint 中保存的 offset 位置开始恢复数据的. > > > > > > > > - > > Best Wishes > > JasonLee > > -- > > Sent from: http://apache-flink.147419.n8.nabble.com/
Re: 关于flink sql的kafka source的开始消费offset相关问题。
那就挺难受的，我之前还想过一个办法是，禁止sql 任务的检查点功能就可以了。但是呢，flink禁止检查点后web UI就无法显示重启次数了，任务的重启的监控现在都只能通过开启检查点才能反映出来（ckpt失败数量、ckpt restored数量）。 JasonLee <17610775...@163.com> 于2021年6月4日周五 上午11:49写道： > > hi > > sql 也是会从上一次成功的 checkpoint 中保存的 offset 位置开始恢复数据的. > > > > - > Best Wishes > JasonLee > -- > Sent from: http://apache-flink.147419.n8.nabble.com/
Re: 关于flink sql的kafka source的开始消费offset相关问题。
hi sql 也是会从上一次成功的 checkpoint 中保存的 offset 位置开始恢复数据的. - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/
