Re: 取消订阅
你好,可以发送邮件到 user-zh-unsubscr...@flink.apache.org 来退订。 lei-tian 于2023年1月18日周三 19:22写道: > 取消订阅 > > > > | | > totorobabyf...@163.com > | > | > 邮箱:totorobabyf...@163.com > |
Re: checkpoint首次触发时间疑问
首次快照时间是一个随机数,计算逻辑如下。你可以尝试设置下execution.checkpointing.min-pause private long getRandomInitDelay() { return ThreadLocalRandom.current().nextLong(minPauseBetweenCheckpoints, baseInterval + 1L); } aiden <18765295...@163.com> 于2023年1月5日周四 14:06写道: > hello,我们需求是要将kafka数据落到hive中,为了避免hive小文件问题,采用了一小时checkpoint,具体参数为: > > bsEnv.enableCheckpointing(360); > bsEnv.setStateBackend(new HashMapStateBackend()); > > bsEnv.getCheckpointConfig().setCheckpointStorage("hdfs://xxx/user/flink/checkpoint/serverlog/hc"); > > 但在执行时发现首次checkpoint并没有按照一小时触发. > 作业执行时间为:2023-01-05 10:04:17,但首次checkpoint时间为:2023-01-05 10:34:19 > checkpoint首次触发时间是和什么有关?以及通过什么参数可以设置吗? >
Re: flink sql作业无缝升级问题
Flink目前无法做到无缝升级,需要走stop-with-savepoint、start job的流程,但是在这之间可以做一些优化来缩短恢复时间。比如,把新作业先启动起来,申请好资源,同时停掉老作业,将做好的savepoint用来触发新作业的执行。 casel.chen 于2022年11月29日周二 08:38写道: > 线上有一个流量较大的flink sql作业需要升级添加业务字段,当前主要是kafka (canal) 多表关联写入 mongodb > 数据同步场景,除了source offset外无其他状态,如何让用户对升级无感呢? > 常规的停止作业再启动作业至少要几十秒,会造成消息积压告警,有没有可能先启新作业待运行平稳后再停止老作业?kafka > group使用同一个,作业启动从group-offsets开始可以吗?另外,如果是有大状态作业又要如何无缝升级?
Re: 退订
Hi,退订发送任意内容至邮箱user-zh-unsubscr...@flink.apache.org 即可 TROY <13574806...@126.com> 于2022年10月17日周一 14:46写道: > 退订 > > > > > > > > > > > > > > > > 在 2022-10-13 00:19:15,"陈鑫" 写道: > >退订 > > >
Re: 关于Flink1.15文档,有一些小疑惑求助
intermediate savepoints指的是非stop-with-savepoint,也就是不停止作业的情况下做savepoint。我的感觉是,这个时候的savepoint不会commit(比如sink写出到外部系统),如果作业失败会从最近一次的checkpoint恢复。如果恰好有一个作业从savepoint恢复,两个作业同时跑,可能会造成结果的重复或者不一致,这个时候最好丢弃掉sink(换uid)。对于只有一个作业运行的情况,比如停了作业再恢复,是不会有问题的。 林影 于2022年4月22日周五 17:05写道: > 在Flink 官网savepoint的页面中,出现下面一段话 > Starting from Flink 1.15 intermediate savepoints (savepoints other than > created with stop-with-savepoint > < > https://nightlies.apache.org/flink/flink-docs-master/docs/ops/state/savepoints/#stopping-a-job-with-savepoint > >) > are not used for recovery and do not commit any side effects. > > intermediate savepoints具体指的是什么呢? >
Re: RocksDB 读 cpu 100% 如何调优
如果状态比较小,可以直接考虑使用filesystem,这种perRecord的操作还是比较耗时的。 deng xuezhao 于2022年3月18日周五 11:19写道: > 退订 > > > > 在 Peihui He ,2022年3月18日 上午11:18写道: > > Hi, all > > 如题,flink 任务使用rocksdb 做为状态后端,任务逻辑大概意思是: > 来一条数据先判断该数据的key 是否再mapstat 中, 然后再将该key 写入mapstat中。 > > 产生问题是当数据跑一段时间后,判断是否存在线程cpu总是100%,堆栈如下: > > "process (6/18)#0" Id=80 RUNNABLE (in native) > at org.rocksdb.RocksDB.get(Native Method) > at org.rocksdb.RocksDB.get(RocksDB.java:2084) > at > > org.apache.flink.contrib.streaming.state.RocksDBMapState.contains(RocksDBMapState.java:173) > at > > org.apache.flink.runtime.state.UserFacingMapState.contains(UserFacingMapState.java:72) > at > > com.huanju.security.soc.internal.hs.bigdata.FileScanToTiDB$$anon$12.processElement(FileScanToTiDB.scala:156) > at > > com.huanju.security.soc.internal.hs.bigdata.FileScanToTiDB$$anon$12.processElement(FileScanToTiDB.scala:145) > at > > org.apache.flink.streaming.api.operators.KeyedProcessOperator.processElement(KeyedProcessOperator.java:83) > at > > org.apache.flink.streaming.runtime.tasks.OneInputStreamTask$StreamTaskNetworkOutput.emitRecord(OneInputStreamTask.java:233) > at > org.apache.flink.streaming.runtime.io > .AbstractStreamTaskNetworkInput.processElement(AbstractStreamTaskNetworkInput.java:134) > at > org.apache.flink.streaming.runtime.io > .AbstractStreamTaskNetworkInput.emitNext(AbstractStreamTaskNetworkInput.java:105) > at > org.apache.flink.streaming.runtime.io > .StreamOneInputProcessor.processInput(StreamOneInputProcessor.java:65) > at > > org.apache.flink.streaming.runtime.tasks.StreamTask.processInput(StreamTask.java:496) > at > > org.apache.flink.streaming.runtime.tasks.StreamTask$$Lambda$624/715942770.runDefaultAction(Unknown > Source) > at > > org.apache.flink.streaming.runtime.tasks.mailbox.MailboxProcessor.runMailboxLoop(MailboxProcessor.java:203) > at > > org.apache.flink.streaming.runtime.tasks.StreamTask.runMailboxLoop(StreamTask.java:809) > at > > org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:761) > at > org.apache.flink.runtime.taskmanager.Task$$Lambda$773/520411616.run(Unknown > Source) > at > > org.apache.flink.runtime.taskmanager.Task.runWithSystemExitMonitoring(Task.java:958) > at > org.apache.flink.runtime.taskmanager.Task.restoreAndInvoke(Task.java:937) > at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:766) > at org.apache.flink.runtime.taskmanager.Task.run(Task.java:575) > at java.lang.Thread.run(Thread.java:748) > > 但是看checkpoint数据,才100m左右 > > 请问大家 rocksdb 是出现什么性能瓶颈了呢? 改怎么调优呢? >
Re: flink on yarn任务停止发生异常
异常提示的很明确了,做savepoint的过程中有的task不在running状态,你可以看下你的作业是否发生了failover。 QiZhu Chan 于2022年3月8日周二 17:37写道: > Hi, > > 各位社区大佬们,帮忙看一下如下报错是什么原因造成的?正常情况下客户端日志应该返回一个savepoint路径,但却出现如下异常日志,同时作业已被停止并且查看hdfs有发现当前job产生的savepoint文件 > > > > >
Re: Flink计算机制疑问
只存计算结果,来一条数据更新一次状态并且下发出去。具体可以参考下state: https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/state/ hjw <1010445...@qq.com.invalid> 于2022年3月9日周三 01:32写道: > 如下一段sql:SELECT color, sum(id) FROM T GROUP BY > colorFlink在实际计算中会将T流整个存入状态里,流中来一条数据触发一次全流计算。亦或是状态只存计算结果,来了新的一条数据,在原来同group > by key(color)结果进行加减即可。这种具体Flink的运行机制请问有文档翻阅或者有规律进行总结吗?谢谢。
Re: 状态初始化
作业在启动时可以使用 Processor API加载状态,可以参考 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/libs/state_processor_api/ huangzhi...@iwgame.com 于2022年2月23日周三 20:28写道: > > flink是否能够做到程序第一次启动还没有checkpoint的情况下,对状态进行初始化? > > > huangzhi...@iwgame.com >