flink 1.13 k8s native 启动找不到 KubernetesSessionClusterEntrypoint

镜像: flink:1.13.0-scala_2.11 sed: cannot rename /opt/flink/conf/sed1yRdDY: Device or resource busy sed: cannot rename /opt/flink/conf/sed03zP3W: Device or resource busy /docker-entrypoint.sh: line 73: /opt/flink/conf/flink-conf.yaml: Read-only file system sed: cannot rename /opt/flink/conf/sedFtORA

Re: rocksdb状态后端最多保留checkpoints问题

增量快照的原理是sst文件共享，系统会自动帮助你管理sst文件的引用，类似java的引用，并不会因为一个快照删除了就会把实际的数据删除掉。 也就不会发生你说的情况 tison 于2021年5月28日周五 上午1:47写道： > rocksdb 增量 checkpoint 不是你这么理解的，总的不会恢复不了。原因可以参考下面的材料 > > - > https://flink.apache.org/features/2018/01/30/incremental-checkpointing.html > 官方 blog 介绍 > - https://www.bilibili.com/vide

Re: Re: flink on yarn 模式下，yarn集群的resource-manager切换导致flink应用程序重启，并且未从最后一次checkpoint恢复

那应该是master failover后把快照信息丢失了，ha应该能解决这个问题。 董建 <62...@163.com> 于2021年5月28日周五 下午6:24写道： > 稳定复现 > checkpoint 正常生成，在web ui和hdfs目录里边都可以确认。 > 我们jobmanager没有做ha，不知道是否是这个原因导致的？ > 日志里边能看到是从指定的-s恢复的，没有指定-s的时候，重启的时候也并没有使用最新的checkpoint文件。 > 目前这个问题困扰了我很久，也没有一个好的思路，下一步先把ha搞起来再试试。 > >> org.apache.flink.configura

Re:Re: flink on yarn 模式下，yarn集群的resource-manager切换导致flink应用程序重启，并且未从最后一次checkpoint恢复

稳定复现 checkpoint 正常生成，在web ui和hdfs目录里边都可以确认。 我们jobmanager没有做ha，不知道是否是这个原因导致的？ 日志里边能看到是从指定的-s恢复的，没有指定-s的时候，重启的时候也并没有使用最新的checkpoint文件。 目前这个问题困扰了我很久，也没有一个好的思路，下一步先把ha搞起来再试试。 >> org.apache.flink.configuration.GlobalConfiguration [] - Loading >> configuration property: execution.savepoint.path

Re: flink hive批量作业报FileNotFoundException

hi: 您好,我想请问一下您这个问题您解决了吗,我们也遇到了这个问题。不过我们的环境是standalone.的。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink on yarn 模式下，yarn集群的resource-manager切换导致flink应用程序重启，并且未从最后一次checkpoint恢复

这种情况是不符合预期的。请问通过以下步骤可以稳定复现吗？ 1、从savepoint恢复； 2、作业开始定期做savepoint； 3、作业failover。 如果是的话，可能需要排查下checkpoint 文件是否存在，zookeeper上是否更新。 如果还是有问题，需要通过日志来排查了。 董建 <62...@163.com> 于2021年5月28日周五 下午5:37写道： > 我遇到的问题现象是这样的 > > > > > 1、flink版本flink-1.12.2，启动命令如下，指定-s是因为job有做过cancel，这里重启。 > > > > > flink run -d -s >

flink on yarn 模式下，yarn集群的resource-manager切换导致flink应用程序重启，并且未从最后一次checkpoint恢复

我遇到的问题现象是这样的 1、flink版本flink-1.12.2，启动命令如下，指定-s是因为job有做过cancel，这里重启。 flink run -d -s hdfs:///user/flink/checkpoints/default/f9b85edbc6ca779b6e60414f3e3964f2/chk-100 -t yarn-per-job -m yarn-cluser -D yarn.application.name= /tmp/flink-1.0-SNAPSHOT.jar -c com.test.myStream --profile pr

Re: 关于 flinksql 维表的问题

感谢各位的建议 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 回复：Flink sql的state ttl设置

想问下state ttl能针对单表设置吗？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 流与流 left join

恩恩，单表table 有什么方式能设置ttl吗？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 流与流 left join

恩恩，是可以的 ，但是有些缺点 1.B表本身是维表属性，inter join B表如果有重复数据，会造成数据冗余 2.inter join 会有大量多余state数据 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Re:Re: flink sql cdc并行度问题

如果你是自己实现MongoDB sink的话，你描述的方法看起来是可行的，不过这种实现方式相对比较复杂。 sql keyby可以考虑使用flink提供的 Deduplication 功能。这样的话MongoDB sink就可以开多个并行度，而不用考虑不同key的顺序问题了 -- Sent from: http://apache-flink.147419.n8.nabble.