Re: 取消订阅

2023-01-18 Thread Jiangang Liu
你好,可以发送邮件到 user-zh-unsubscr...@flink.apache.org 来退订。 lei-tian 于2023年1月18日周三 19:22写道: > 取消订阅 > > > > | | > totorobabyf...@163.com > | > | > 邮箱:totorobabyf...@163.com > |

Re: checkpoint首次触发时间疑问

2023-01-04 Thread Jiangang Liu
首次快照时间是一个随机数,计算逻辑如下。你可以尝试设置下execution.checkpointing.min-pause private long getRandomInitDelay() { return ThreadLocalRandom.current().nextLong(minPauseBetweenCheckpoints, baseInterval + 1L); } aiden <18765295...@163.com> 于2023年1月5日周四 14:06写道: >

Re: flink sql作业无缝升级问题

2022-11-30 Thread Jiangang Liu
Flink目前无法做到无缝升级,需要走stop-with-savepoint、start job的流程,但是在这之间可以做一些优化来缩短恢复时间。比如,把新作业先启动起来,申请好资源,同时停掉老作业,将做好的savepoint用来触发新作业的执行。 casel.chen 于2022年11月29日周二 08:38写道: > 线上有一个流量较大的flink sql作业需要升级添加业务字段,当前主要是kafka (canal) 多表关联写入 mongodb > 数据同步场景,除了source offset外无其他状态,如何让用户对升级无感呢? >

Re: 退订

2022-10-17 Thread Jiangang Liu
Hi,退订发送任意内容至邮箱user-zh-unsubscr...@flink.apache.org 即可 TROY <13574806...@126.com> 于2022年10月17日周一 14:46写道: > 退订 > > > > > > > > > > > > > > > > 在 2022-10-13 00:19:15,"陈鑫" 写道: > >退订 > > >

Re: 关于Flink1.15文档,有一些小疑惑求助

2022-04-22 Thread Jiangang Liu
intermediate savepoints指的是非stop-with-savepoint,也就是不停止作业的情况下做savepoint。我的感觉是,这个时候的savepoint不会commit(比如sink写出到外部系统),如果作业失败会从最近一次的checkpoint恢复。如果恰好有一个作业从savepoint恢复,两个作业同时跑,可能会造成结果的重复或者不一致,这个时候最好丢弃掉sink(换uid)。对于只有一个作业运行的情况,比如停了作业再恢复,是不会有问题的。 林影 于2022年4月22日周五 17:05写道: > 在Flink

Re: RocksDB 读 cpu 100% 如何调优

2022-03-17 Thread Jiangang Liu
如果状态比较小,可以直接考虑使用filesystem,这种perRecord的操作还是比较耗时的。 deng xuezhao 于2022年3月18日周五 11:19写道: > 退订 > > > > 在 Peihui He ,2022年3月18日 上午11:18写道: > > Hi, all > > 如题,flink 任务使用rocksdb 做为状态后端,任务逻辑大概意思是: > 来一条数据先判断该数据的key 是否再mapstat 中, 然后再将该key 写入mapstat中。 > > 产生问题是当数据跑一段时间后,判断是否存在线程cpu总是100%,堆栈如下: > >

Re: flink on yarn任务停止发生异常

2022-03-08 Thread Jiangang Liu
异常提示的很明确了,做savepoint的过程中有的task不在running状态,你可以看下你的作业是否发生了failover。 QiZhu Chan 于2022年3月8日周二 17:37写道: > Hi, > > 各位社区大佬们,帮忙看一下如下报错是什么原因造成的?正常情况下客户端日志应该返回一个savepoint路径,但却出现如下异常日志,同时作业已被停止并且查看hdfs有发现当前job产生的savepoint文件 > > > > >

Re: Flink计算机制疑问

2022-03-08 Thread Jiangang Liu
只存计算结果,来一条数据更新一次状态并且下发出去。具体可以参考下state: https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/state/ hjw <1010445...@qq.com.invalid> 于2022年3月9日周三 01:32写道: > 如下一段sql:SELECT color, sum(id) FROM T GROUP BY >

Re: 状态初始化

2022-02-23 Thread Jiangang Liu
作业在启动时可以使用 Processor API加载状态,可以参考 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/libs/state_processor_api/ huangzhi...@iwgame.com 于2022年2月23日周三 20:28写道: > > flink是否能够做到程序第一次启动还没有checkpoint的情况下,对状态进行初始化? > > > huangzhi...@iwgame.com >