Flink - 1.11.6 - FsStateBackend没有存储checkpoint

2022-04-29 文章 Arthur Li
大家好, 我在学习Flink checkpoint时,做了一个示例没有得到期望结果,麻烦帮忙看看是哪里设置有问题。谢谢 1. 启动checkpoint 2. 设置statebackend为FsStateBackend 3. 从socketTextStream读取数据,统计单词个数 (“hello”, 5), (“world”, 1) 4. 通过触发异常,来模拟终止程序 5. 重新启动程序,那么启动之后的统计数据的初始值应该是上一次checkpoint 成功存储的值 (“hello”, 5), (“world”, 1) , 那么再次输入hello,

Re: Flink native kubernetes 下没有足够的 slot 问题

2022-04-29 文章 Pan Junxun
最后的解决方案是在 kubernetes-session.sh 启动参数中增加: -Dakka.ask.timeout=100s -Dweb.timeout=100 或者直接修改 configmap 中的 flink-conf.yml 经过多次测试,该问题的根源应该是 slot 太多导致初始的 1ms timeout 不够用,但 1.13 增加参数后仍会出现异常,1.14 则没有问题。 再次感谢 huweihua On Apr 29 2022, at 9:49 am, Pan Junxun wrote: > 感谢大佬指点,我换到 1.14.4 后这个问题解决了 > >

flink 1.14

2022-04-29 文章 guanyq
咨询下各位大佬 flink sql在做批处理时,生产环境一般都用什么来做定时调度? 如果存在job之间的依赖,生产环境是又是采用什么来做通知的? 我这面主要是想把hive sql 修改为 flink sql

退订

2022-04-29 文章 leon
退订