??2??
1checkpointchk- ??chk-1??chk-2
,
2checkpoint??state??
??
final StreamExecutionEnvironment streamExecutionEnvironment
-- --
??:
"user-zh"
<13162790...@163.com
??2??
1checkpointchk- ??chk-1??chk-2
,
2checkpoint??state??
??
final StreamExecutionEnvironment streamExecutionEnvironment
??2??
1checkpointchk- ??chk-1??chk-2
,
2checkpoint??state??
??
final StreamExecutionEnvironment streamExecutionEnvironment
??2??
1checkpointchk- ??chk-1??chk-2
,
2checkpoint??state??
??
final StreamExecutionEnvironment streamExecutionEnvironment
??checkpoint??
StreamExecutionEnvironment.getCheckpointConfig().setFailOnCheckpointingErrors(true);
/**
* Sets the expected behaviour for tasks in case that they encounter an error
in their checkpointing procedure.
* If this is set to true, the task will fail
??flink??
??checkpoint
: LakeShen
Sent: Sunday, January 19, 2020 18:55
To: user ; user-zh@flink.apache.org
; dev
Subject: Flink 1.6, increment Checkpoint, the shared dir stored the last year
checkpoint state
Hi community,
now I have a flink sql job, and I set the flink sql sate retention
time, there are three
Hi community,
now I have a flink sql job, and I set the flink sql sate retention
time, there are three dir in flink checkpoint dir :
1. chk -xx dir
2. shared dir
3. taskowned dir
I find the shared dir store the last year checkpoint state,the only reason
I thought is that the latest
状态先存到本地 比直接存到 HDFS 速度更快,对于 RocksDBStateBackend,状态会先存到本地,然后异步存储到 HDFS。
Px New <15701181132mr@gmail.com> 于2020年1月10日周五 上午10:27写道:
> Yes, CheckPoint 是一个封装后的Meta信息 而这个被封装的Meta信息是有所有Operator 的state 的组成了
>
> hahaha sc 于2019年11月29日周五 下午4:12写道:
>
> >
> >
> flink的每条数据既然都做了checkpoint,做成全局分布式一致性快照,那还需要
Yes, CheckPoint 是一个封装后的Meta信息 而这个被封装的Meta信息是有所有Operator 的state 的组成了
hahaha sc 于2019年11月29日周五 下午4:12写道:
>
> flink的每条数据既然都做了checkpoint,做成全局分布式一致性快照,那还需要本地state干啥呢?是否可以理解成,本地state是一致性快照的一部分而已?
> 昨天看了 社区的直播回放,听PMC的介绍,好像不是一回事。
>
Hi
Checkpoint 是所有本地 state 的一个快照,用于程序出现故障后,进行恢复使用。
Best,
Congxian
hahaha sc 于2019年11月29日周五 下午4:12写道:
>
> flink的每条数据既然都做了checkpoint,做成全局分布式一致性快照,那还需要本地state干啥呢?是否可以理解成,本地state是一致性快照的一部分而已?
> 昨天看了 社区的直播回放,听PMC的介绍,好像不是一回事。
>
flink的每条数据既然都做了checkpoint,做成全局分布式一致性快照,那还需要本地state干啥呢?是否可以理解成,本地state是一致性快照的一部分而已?
昨天看了 社区的直播回放,听PMC的介绍,好像不是一回事。
13 matches
Mail list logo