大家好,
我在学习Flink checkpoint时,做了一个示例没有得到期望结果,麻烦帮忙看看是哪里设置有问题。谢谢
1. 启动checkpoint
2. 设置statebackend为FsStateBackend
3. 从socketTextStream读取数据,统计单词个数
(“hello”, 5), (“world”, 1)
4. 通过触发异常,来模拟终止程序
5. 重新启动程序,那么启动之后的统计数据的初始值应该是上一次checkpoint 成功存储的值
(“hello”, 5), (“world”, 1) , 那么再次输入hello,
最后的解决方案是在 kubernetes-session.sh 启动参数中增加:
-Dakka.ask.timeout=100s -Dweb.timeout=100
或者直接修改 configmap 中的 flink-conf.yml
经过多次测试,该问题的根源应该是 slot 太多导致初始的 1ms timeout 不够用,但 1.13 增加参数后仍会出现异常,1.14 则没有问题。
再次感谢 huweihua
On Apr 29 2022, at 9:49 am, Pan Junxun wrote:
> 感谢大佬指点,我换到 1.14.4 后这个问题解决了
>
>
咨询下各位大佬
flink sql在做批处理时,生产环境一般都用什么来做定时调度?
如果存在job之间的依赖,生产环境是又是采用什么来做通知的?
我这面主要是想把hive sql 修改为 flink sql
退订