Re: 取消订阅
你好，可以发送邮件到 user-zh-unsubscr...@flink.apache.org 来退订。 lei-tian 于2023年1月18日周三 19:22写道： > 取消订阅 > > > > | | > totorobabyf...@163.com > | > | > 邮箱：totorobabyf...@163.com > |
Re: checkpoint首次触发时间疑问
首次快照时间是一个随机数，计算逻辑如下。你可以尝试设置下execution.checkpointing.min-pause
private long getRandomInitDelay() {
return ThreadLocalRandom.current().nextLong(minPauseBetweenCheckpoints,
baseInterval + 1L);
}
aiden <18765295...@163.com> 于2023年1月5日周四 14:06写道：
> hello，我们需求是要将kafka数据落到hive中，为了避免hive小文件问题，采用了一小时checkpoint，具体参数为：
>
> bsEnv.enableCheckpointing(360);
> bsEnv.setStateBackend(new HashMapStateBackend());
>
> bsEnv.getCheckpointConfig().setCheckpointStorage("hdfs://xxx/user/flink/checkpoint/serverlog/hc");
>
> 但在执行时发现首次checkpoint并没有按照一小时触发.
> 作业执行时间为：2023-01-05 10:04:17，但首次checkpoint时间为：2023-01-05 10:34:19
> checkpoint首次触发时间是和什么有关？以及通过什么参数可以设置吗？
>
Re: flink sql作业无缝升级问题
Flink目前无法做到无缝升级，需要走stop-with-savepoint、start job的流程，但是在这之间可以做一些优化来缩短恢复时间。比如，把新作业先启动起来，申请好资源，同时停掉老作业，将做好的savepoint用来触发新作业的执行。 casel.chen 于2022年11月29日周二 08:38写道： > 线上有一个流量较大的flink sql作业需要升级添加业务字段，当前主要是kafka (canal) 多表关联写入 mongodb > 数据同步场景，除了source offset外无其他状态，如何让用户对升级无感呢？ > 常规的停止作业再启动作业至少要几十秒，会造成消息积压告警，有没有可能先启新作业待运行平稳后再停止老作业？kafka > group使用同一个，作业启动从group-offsets开始可以吗？另外，如果是有大状态作业又要如何无缝升级？
Re: 退订
Hi，退订发送任意内容至邮箱user-zh-unsubscr...@flink.apache.org 即可 TROY <13574806...@126.com> 于2022年10月17日周一 14:46写道： > 退订 > > > > > > > > > > > > > > > > 在 2022-10-13 00:19:15，"陈鑫" 写道： > >退订 > > >
Re: 关于Flink1.15文档，有一些小疑惑求助
intermediate savepoints指的是非stop-with-savepoint，也就是不停止作业的情况下做savepoint。我的感觉是，这个时候的savepoint不会commit（比如sink写出到外部系统），如果作业失败会从最近一次的checkpoint恢复。如果恰好有一个作业从savepoint恢复，两个作业同时跑，可能会造成结果的重复或者不一致，这个时候最好丢弃掉sink（换uid）。对于只有一个作业运行的情况，比如停了作业再恢复，是不会有问题的。 林影 于2022年4月22日周五 17:05写道： > 在Flink 官网savepoint的页面中，出现下面一段话 > Starting from Flink 1.15 intermediate savepoints (savepoints other than > created with stop-with-savepoint > < > https://nightlies.apache.org/flink/flink-docs-master/docs/ops/state/savepoints/#stopping-a-job-with-savepoint > >) > are not used for recovery and do not commit any side effects. > > intermediate savepoints具体指的是什么呢？ >
Re: RocksDB 读 cpu 100% 如何调优
如果状态比较小，可以直接考虑使用filesystem，这种perRecord的操作还是比较耗时的。 deng xuezhao 于2022年3月18日周五 11:19写道： > 退订 > > > > 在 Peihui He ，2022年3月18日 上午11:18写道： > > Hi, all > > 如题，flink 任务使用rocksdb 做为状态后端，任务逻辑大概意思是： > 来一条数据先判断该数据的key 是否再mapstat 中， 然后再将该key 写入mapstat中。 > > 产生问题是当数据跑一段时间后，判断是否存在线程cpu总是100%，堆栈如下： > > "process (6/18)#0" Id=80 RUNNABLE (in native) > at org.rocksdb.RocksDB.get(Native Method) > at org.rocksdb.RocksDB.get(RocksDB.java:2084) > at > > org.apache.flink.contrib.streaming.state.RocksDBMapState.contains(RocksDBMapState.java:173) > at > > org.apache.flink.runtime.state.UserFacingMapState.contains(UserFacingMapState.java:72) > at > > com.huanju.security.soc.internal.hs.bigdata.FileScanToTiDB$$anon$12.processElement(FileScanToTiDB.scala:156) > at > > com.huanju.security.soc.internal.hs.bigdata.FileScanToTiDB$$anon$12.processElement(FileScanToTiDB.scala:145) > at > > org.apache.flink.streaming.api.operators.KeyedProcessOperator.processElement(KeyedProcessOperator.java:83) > at > > org.apache.flink.streaming.runtime.tasks.OneInputStreamTask$StreamTaskNetworkOutput.emitRecord(OneInputStreamTask.java:233) > at > org.apache.flink.streaming.runtime.io > .AbstractStreamTaskNetworkInput.processElement(AbstractStreamTaskNetworkInput.java:134) > at > org.apache.flink.streaming.runtime.io > .AbstractStreamTaskNetworkInput.emitNext(AbstractStreamTaskNetworkInput.java:105) > at > org.apache.flink.streaming.runtime.io > .StreamOneInputProcessor.processInput(StreamOneInputProcessor.java:65) > at > > org.apache.flink.streaming.runtime.tasks.StreamTask.processInput(StreamTask.java:496) > at > > org.apache.flink.streaming.runtime.tasks.StreamTask$$Lambda$624/715942770.runDefaultAction(Unknown > Source) > at > > org.apache.flink.streaming.runtime.tasks.mailbox.MailboxProcessor.runMailboxLoop(MailboxProcessor.java:203) > at > > org.apache.flink.streaming.runtime.tasks.StreamTask.runMailboxLoop(StreamTask.java:809) > at > > org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:761) > at > org.apache.flink.runtime.taskmanager.Task$$Lambda$773/520411616.run(Unknown > Source) > at > > org.apache.flink.runtime.taskmanager.Task.runWithSystemExitMonitoring(Task.java:958) > at > org.apache.flink.runtime.taskmanager.Task.restoreAndInvoke(Task.java:937) > at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:766) > at org.apache.flink.runtime.taskmanager.Task.run(Task.java:575) > at java.lang.Thread.run(Thread.java:748) > > 但是看checkpoint数据，才100m左右 > > 请问大家 rocksdb 是出现什么性能瓶颈了呢？ 改怎么调优呢？ >
Re: flink on yarn任务停止发生异常
异常提示的很明确了，做savepoint的过程中有的task不在running状态，你可以看下你的作业是否发生了failover。 QiZhu Chan 于2022年3月8日周二 17:37写道： > Hi, > > 各位社区大佬们，帮忙看一下如下报错是什么原因造成的？正常情况下客户端日志应该返回一个savepoint路径，但却出现如下异常日志，同时作业已被停止并且查看hdfs有发现当前job产生的savepoint文件 > > > > >
Re: Flink计算机制疑问
只存计算结果，来一条数据更新一次状态并且下发出去。具体可以参考下state： https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/state/ hjw <1010445...@qq.com.invalid> 于2022年3月9日周三 01:32写道： > 如下一段sql：SELECT color, sum(id) FROM T GROUP BY > colorFlink在实际计算中会将T流整个存入状态里，流中来一条数据触发一次全流计算。亦或是状态只存计算结果，来了新的一条数据，在原来同group > by key（color)结果进行加减即可。这种具体Flink的运行机制请问有文档翻阅或者有规律进行总结吗?谢谢。
Re: 状态初始化
作业在启动时可以使用 Processor API加载状态，可以参考 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/libs/state_processor_api/ huangzhi...@iwgame.com 于2022年2月23日周三 20:28写道： > > flink是否能够做到程序第一次启动还没有checkpoint的情况下，对状态进行初始化？ > > > huangzhi...@iwgame.com >
