你好,可以发送邮件到 user-zh-unsubscr...@flink.apache.org 来退订。
lei-tian 于2023年1月18日周三 19:22写道:
> 取消订阅
>
>
>
> | |
> totorobabyf...@163.com
> |
> |
> 邮箱:totorobabyf...@163.com
> |
首次快照时间是一个随机数,计算逻辑如下。你可以尝试设置下execution.checkpointing.min-pause
private long getRandomInitDelay() {
return ThreadLocalRandom.current().nextLong(minPauseBetweenCheckpoints,
baseInterval + 1L);
}
aiden <18765295...@163.com> 于2023年1月5日周四 14:06写道:
>
Flink目前无法做到无缝升级,需要走stop-with-savepoint、start
job的流程,但是在这之间可以做一些优化来缩短恢复时间。比如,把新作业先启动起来,申请好资源,同时停掉老作业,将做好的savepoint用来触发新作业的执行。
casel.chen 于2022年11月29日周二 08:38写道:
> 线上有一个流量较大的flink sql作业需要升级添加业务字段,当前主要是kafka (canal) 多表关联写入 mongodb
> 数据同步场景,除了source offset外无其他状态,如何让用户对升级无感呢?
>
Hi,退订发送任意内容至邮箱user-zh-unsubscr...@flink.apache.org 即可
TROY <13574806...@126.com> 于2022年10月17日周一 14:46写道:
> 退订
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2022-10-13 00:19:15,"陈鑫" 写道:
> >退订
> >
>
intermediate
savepoints指的是非stop-with-savepoint,也就是不停止作业的情况下做savepoint。我的感觉是,这个时候的savepoint不会commit(比如sink写出到外部系统),如果作业失败会从最近一次的checkpoint恢复。如果恰好有一个作业从savepoint恢复,两个作业同时跑,可能会造成结果的重复或者不一致,这个时候最好丢弃掉sink(换uid)。对于只有一个作业运行的情况,比如停了作业再恢复,是不会有问题的。
林影 于2022年4月22日周五 17:05写道:
> 在Flink
如果状态比较小,可以直接考虑使用filesystem,这种perRecord的操作还是比较耗时的。
deng xuezhao 于2022年3月18日周五 11:19写道:
> 退订
>
>
>
> 在 Peihui He ,2022年3月18日 上午11:18写道:
>
> Hi, all
>
> 如题,flink 任务使用rocksdb 做为状态后端,任务逻辑大概意思是:
> 来一条数据先判断该数据的key 是否再mapstat 中, 然后再将该key 写入mapstat中。
>
> 产生问题是当数据跑一段时间后,判断是否存在线程cpu总是100%,堆栈如下:
>
>
异常提示的很明确了,做savepoint的过程中有的task不在running状态,你可以看下你的作业是否发生了failover。
QiZhu Chan 于2022年3月8日周二 17:37写道:
> Hi,
>
> 各位社区大佬们,帮忙看一下如下报错是什么原因造成的?正常情况下客户端日志应该返回一个savepoint路径,但却出现如下异常日志,同时作业已被停止并且查看hdfs有发现当前job产生的savepoint文件
>
>
>
>
>
只存计算结果,来一条数据更新一次状态并且下发出去。具体可以参考下state:
https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/state/
hjw <1010445...@qq.com.invalid> 于2022年3月9日周三 01:32写道:
> 如下一段sql:SELECT color, sum(id) FROM T GROUP BY
>
作业在启动时可以使用 Processor API加载状态,可以参考
https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/libs/state_processor_api/
huangzhi...@iwgame.com 于2022年2月23日周三 20:28写道:
>
> flink是否能够做到程序第一次启动还没有checkpoint的情况下,对状态进行初始化?
>
>
> huangzhi...@iwgame.com
>