是我的代码问题，我set sp的时候streamGraph里面的算子还没有构建出来，正确的做法是在生成jobGraph的时候set 进去。 感谢
Jark Wu 于2020年9月15日周二 上午11:31写道：
> 是不是你的 cp 恢复的代码，没有执行任何的 insert into 语句？
>
> On Mon, 14 Sep 2020 at 20:15, Harold.Miao wrote:
>
> > 还有一点是 我们修改了sql-client代码， 让任务从cp恢复，修改如下
> >
> > private StreamExecutionEnvironment
Hi
你可以参考这里[1] 自己进行一些修改尝试，来分析 metadata 文件
[1]
https://github.com/apache/flink/blob/master/flink-runtime/src/test/java/org/apache/flink/runtime/checkpoint/CheckpointMetadataLoadingTest.java
Best,
Congxian
Harold.Miao 于2020年9月15日周二 下午1:58写道：
> 是同一个insert任务， 只是重启任务的时候 ，我加了这些代码，构造一个
是同一个insert任务， 只是重启任务的时候 ，我加了这些代码，构造一个 SavepointRestoreSettings 来恢复cp
请教 我如何判断cp真正写入了hdfs呢，meta文件有什么工具可以解析吗
谢谢
Jark Wu 于2020年9月15日周二 上午11:31写道：
> 是不是你的 cp 恢复的代码，没有执行任何的 insert into 语句？
>
> On Mon, 14 Sep 2020 at 20:15, Harold.Miao wrote:
>
> > 还有一点是 我们修改了sql-client代码， 让任务从cp恢复，修改如下
> >
> >
1. 程序挂掉，是会自动从上一个 checkpoint 恢复的，只需要你配上重启机制即可。
2. 如果你希望改了 sql 代码还能复用之前的 state ，sql client 目前是不支持从指定 savepoint/checkpoint
恢复的，需要自己Table API program，然后通过 flink run 来运行。
（注意这种方式也不一定能复用 state，要看拓扑结构和 state 结构是否有改变）
Best,
Jark
On Mon, 14 Sep 2020 at 09:53, Harold.Miao wrote:
> 从checkpoint恢复
是不是你的 cp 恢复的代码，没有执行任何的 insert into 语句？
On Mon, 14 Sep 2020 at 20:15, Harold.Miao wrote:
> 还有一点是 我们修改了sql-client代码， 让任务从cp恢复，修改如下
>
> private StreamExecutionEnvironment createStreamExecutionEnvironment() {
>final StreamExecutionEnvironment env =
>
还有一点是 我们修改了sql-client代码， 让任务从cp恢复，修改如下
private StreamExecutionEnvironment createStreamExecutionEnvironment() {
final StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
* LOG.info("restore cp exist: {}",
Hi
如果你的 state 都非常小的话，可能就会保存在 meta 文件中了，这样的话就只有 _metadata
这一个文件的。具体逻辑可以看一下这里[1]
[1]
https://github.com/apache/flink/blob/9b0fb562898b809b860cf0065ded7a45c49300af/flink-runtime/src/main/java/org/apache/flink/runtime/checkpoint/metadata/MetadataV2V3SerializerBase.java#L442
Best,
Congxian
hi all
flink 版本： 1.11.1
我们利用sql-client提交任务， flink-conf.yaml配置如下
state.backend: filesystem
state.backend.fs.checkpointdir:
hdfs:///ai/flink/checkpoint/dataclean/hl-redis0902/checkpoint-data/23252
state.checkpoints.dir:
hdfs:///ai/flink/checkpoint/dataclean/hl-redis0902/checkpoint-meta/23252
从checkpoint恢复 官方还不支持 我司是修改了sql-client来支持这个需求的
引领 于2020年9月4日周五 下午6:13写道：
>
>
> 想尝试采用flink-cdc 来清洗数据，但是尝试下来，困于几点：
> ① 使用sql-client 开启checkpoint ，如果程序挂掉，该如何接着checkpoint，继续执行相应程序。尤其是在执行group
> by或者是count等操作时该如何办？
> ② 如果以上方式不行，是否可以采用写代码的形式，重启时指定checkpoint，但还是采用flink-cdc的方式去消费
> | |
> 引领
> |
> |
>
想尝试采用flink-cdc 来清洗数据，但是尝试下来，困于几点：
① 使用sql-client 开启checkpoint ，如果程序挂掉，该如何接着checkpoint，继续执行相应程序。尤其是在执行group
by或者是count等操作时该如何办？
② 如果以上方式不行，是否可以采用写代码的形式，重启时指定checkpoint，但还是采用flink-cdc的方式去消费
| |
引领
|
|
yrx73...@163.com
|
签名由网易邮箱大师定制
10 matches
Mail list logo
