就是open什么时候被调用,当任务异常后自动重启或者状态数据迁移后,open会不会又打开一次,就是类似这种生命周期 state的范围除了我提到的,是否可以多个算子共享
在 2022-08-30 15:41:51,"yue ma" <mayuefi...@gmail.com> 写道: >我想你是想了解 task 的生命周期 ? 可以看看这个文档 >https://nightlies.apache.org/flink/flink-docs-master/docs/internals/task_lifecycle/ >, state 的范围具体是指什么问题呢 ? 感觉都可以在官方文档上找到答案 > > >曲洋 <quyanghao...@126.com> 于2022年8月30日周二 14:50写道: > >> 了解了,我还想请教一下,比如open的生命周期,state的范围,这种要从什么地方可以了解到,我发现一个难点就是我甚至不知道怎么搜索 >> >> 在 2022-08-30 14:34:57,"yanfei lei" <fredia...@gmail.com> 写道: >> >Hi, >> >1) state无法在不同的算子共享,如yue ma的建议,或许可以把需要共享的部分存储在外部系统,然后在两个map里访问同一个外部系统以实现共享 >> >2) 除开operatorState,或许自定义一个总是返回相同值的keySelector,也可以把所有的key都聚合到一起。 >> > >> >yue ma <mayuefi...@gmail.com> 于2022年8月30日周二 14:20写道: >> > >> >> hi >> >> 1) flink 内部的 state 算子之间是不可以共享的,所以你可能需要借助外部的存储(比如 redis)来做类似的事情 >> >> 2) 你可以看看 operatorState 的使用方式 >> >> >> >> >> https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/state/#operator-state >> >> >> >> >> >> 曲洋 <quyanghao...@126.com> 于2022年8月30日周二 12:32写道: >> >> >> >> > 各位好, >> >> > 我想请教两个问题: >> >> > 1) flink的state是否可以在不同的算子共享,比如,第一个map我有一个state,到了第二个map我继续拿到这个state? >> >> > 2) flink的state有没有不需要keyby的,因为想统计一个总量,还没有合适的key可以选择? >> >> > >> >> > >> >> >>