了解了,我还想请教一下,比如open的生命周期,state的范围,这种要从什么地方可以了解到,我发现一个难点就是我甚至不知道怎么搜索
在 2022-08-30 14:34:57，"yanfei lei" 写道：
>Hi,
>1) state无法在不同的算子共享，如yue ma的建议，或许可以把需要共享的部分存储在外部系统，然后在两个map里访问同一个外部系统以实现共享
>2) 除开operatorState，或许自定义一个总是返回相同值的keySelector，也可以把所有的key都聚合到一起。
>
>yue ma 于2022年8月30日周二 14:20写道：
>
>> hi
>> 1
Hi,
1) state无法在不同的算子共享，如yue ma的建议，或许可以把需要共享的部分存储在外部系统，然后在两个map里访问同一个外部系统以实现共享
2) 除开operatorState，或许自定义一个总是返回相同值的keySelector，也可以把所有的key都聚合到一起。
yue ma 于2022年8月30日周二 14:20写道：
> hi
> 1） flink 内部的 state 算子之间是不可以共享的，所以你可能需要借助外部的存储（比如 redis）来做类似的事情
> 2） 你可以看看 operatorState 的使用方式
>
> https://nightlies.a
懂了,那我就大概知道怎么做了,感谢
在 2022-08-30 14:18:25，"yue ma" 写道：
>hi
>1） flink 内部的 state 算子之间是不可以共享的，所以你可能需要借助外部的存储（比如 redis）来做类似的事情
>2） 你可以看看 operatorState 的使用方式
>https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/state/#operator-state
>
>
>曲洋 于2022年8月30日周二 12:32写道：
>
hi
1） flink 内部的 state 算子之间是不可以共享的，所以你可能需要借助外部的存储（比如 redis）来做类似的事情
2） 你可以看看 operatorState 的使用方式
https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/state/#operator-state
曲洋 于2022年8月30日周二 12:32写道：
> 各位好,
>我想请教两个问题:
> 1) flink的state是否可以在不同的算子共享,比如,第一个map我有一
那我理解了,描述的太清晰了,我确实之前没理解state的生命周期和使用方法,十分感谢
在 2022-08-29 18:42:51，"Zhiwen Sun" 写道：
>你应该没有正确理解 state 的使用
>
>我们一般在程序里面是用的是 KeyedState ， 也就是和 key 伴随的。
>
>基于上面，所以 open() 里面只能对 state 进行初始化， 但是没有办法设置 state 的 value，因为这时候没有 key ；
>另外一方面，也不会在 map() 的时候去 new state （可以认为 state 是一个大的 Map，你 map 的时候只是操作其中的一个
>k
各位好,
我想请教两个问题:
1) flink的state是否可以在不同的算子共享,比如,第一个map我有一个state,到了第二个map我继续拿到这个state?
2) flink的state有没有不需要keyby的,因为想统计一个总量,还没有合适的key可以选择?
【问题描述】
启用HA配置之后，taskmanager pod一直处于创建-停止-创建的过程，无法启动任务
1. 任务配置和启动过程
a) 修改conf/flink.yaml配置文件，增加HA配置
kubernetes.cluster-id: realtime-monitor
high-availability:
org.apache.flink.kubernetes.highavailability.KubernetesHaServicesFactory
high-availability.storageDir: file:///opt/flink/checkpoi
你应该没有正确理解 state 的使用
我们一般在程序里面是用的是 KeyedState ， 也就是和 key 伴随的。
基于上面，所以 open() 里面只能对 state 进行初始化， 但是没有办法设置 state 的 value，因为这时候没有 key ；
另外一方面，也不会在 map() 的时候去 new state （可以认为 state 是一个大的 Map，你 map 的时候只是操作其中的一个
key）。
回到你的需求，你应该在 open() 的时候保存相关信息到类变量里面，当 map() 的时候再去 update state。
Zhiwen Sun
On
Hi，退订发送任意内容至邮箱user-zh-unsubscr...@flink.apache.org 即可.
Best,
Yuxin
hihl 于2022年8月29日周一 14:05写道：
>
>
Hi，退订发送任意内容至邮箱user-zh-unsubscr...@flink.apache.org 即可.
Best,
Yuxin
廖启发 于2022年8月29日周一 15:52写道：
> 退订
>
有一个线上flink作业在人为主动创建保存点时失败，作业有两个算子：从kafka读取数据和写到mongodb，都是48个并行度，出错后查看到写mongodb算子一共48个task，完成了45个，还有3个tasks超时（超时时长设为3分钟），正常情况下完成一次checkpoint要4秒，状态大小只有23.7kb。出错后，查看作业日志如下。在创建保存点失败后作业周期性的检查点生成也都失败了(每个算子各有3个tasks超时)。使用的是FileStateBackend，DFS用的是阿里云oss。请问出错会是因为什么原因造成的？
+5
[2022-08-29 15:38:32]
content:
退订
12 matches
Mail list logo
