就是open什么时候被调用,当任务异常后自动重启或者状态数据迁移后,open会不会又打开一次,就是类似这种生命周期
state的范围除了我提到的,是否可以多个算子共享
在 2022-08-30 15:41:51，"yue ma" 写道：
>我想你是想了解 task 的生命周期 ？ 可以看看这个文档
>https://nightlies.apache.org/flink/flink-docs-master/docs/internals/task_lifecycle/
>， state 的范围具体是指什么问题呢 ？ 感觉都可以在官方文档上找到答案
&g
年8月30日周二 14:20写道：
>
>> hi
>> 1） flink 内部的 state 算子之间是不可以共享的，所以你可能需要借助外部的存储（比如 redis）来做类似的事情
>> 2） 你可以看看 operatorState 的使用方式
>>
>> https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/state/#operator-state
>>
>>
>> 曲洋
懂了,那我就大概知道怎么做了,感谢
在 2022-08-30 14:18:25，"yue ma" 写道：
>hi
>1） flink 内部的 state 算子之间是不可以共享的，所以你可能需要借助外部的存储（比如 redis）来做类似的事情
>2） 你可以看看 operatorState 的使用方式
>https://nightlies.apache.org/flink/flink-docs-master/docs/dev/datastream/fault-tolerance/state/#operator-state
>
>
是一个大的 Map，你 map 的时候只是操作其中的一个
>key）。
>
>回到你的需求，你应该在 open() 的时候保存相关信息到类变量里面，当 map() 的时候再去 update state。
>
>
>
>
>
>
>Zhiwen Sun
>
>
>
>On Fri, Aug 26, 2022 at 1:55 PM 曲洋 wrote:
>
>>
>> 对的,是后者,statAccumulator.value()
各位好,
我想请教两个问题:
1) flink的state是否可以在不同的算子共享,比如,第一个map我有一个state,到了第二个map我继续拿到这个state?
2) flink的state有没有不需要keyby的,因为想统计一个总量,还没有合适的key可以选择?
che/flink/blob/master/flink-libraries/flink-state-processing-api/src/test/java/org/apache/flink/state/api/input/WindowReaderTest.java>
>.
>
>Best,
>Yanfei
>
>2022年8月18日 上午10:05，曲洋 写道：
>
>Hi dear engineers,
>
>I have one question: does flink streaming support get
Hi dear engineers,
I have one question: does flink streaming support getting the state.I override
the open method in the map processor,initializing the state(some metric for the
data) .How can I get the state in my window?
Thanks for your help!
Hi dear engineers,
I have one question: does flink streaming support getting the state.I override
the open method in the map processor,initializing
Hi dear engineers,
One small question: does flink sql support UDTAGG? (user-defined table
aggregate function), seems only supported in flink
两个窗口同时存在，窗口触发计算就是水印时间大于窗口endtime，那也就是两个窗口都会触发计算
>
>smq
>
>发件人: 曲洋
>发送时间: 2021年5月8日 16:46
>收件人: user-zh@flink.apache.org
>主题: Re:回复：关于watermark和window
>
>
>
>
>
>
>
>现在是这两点满足的，因为乱序原因存在两个窗口，watermark时间同时大于两个窗口的end_time
>
>
>
>
&
dow
>
>非常感谢你的回答，那是不是也就是说如果窗口过小，periodic watermark
>产生周期也比较长的话，会出现大量窗口延迟？
>
>在 2021-05-08 15:09:06，"Anlen" <2968969...@qq.com 写道：
>这两个窗口会按照window 结束时间从小到大触发窗口计算
>
>
>
>---原始邮件---
>发件人: "曲洋"发送时间: 2021年5月8日(周六) 下午2:10
>收件人: "user-zh&qu
非常感谢你的回答，那是不是也就是说如果窗口过小，periodic watermark
产生周期也比较长的话，会出现大量窗口延迟？
在 2021-05-08 15:09:06，"Anlen" <2968969...@qq.com> 写道：
>这两个窗口会按照window 结束时间从小到大触发窗口计算
>
>
>
>---原始邮件---
>发件人: "曲洋"发送时间: 2021年5月8日(周六) 下午2:10
>收件人: "user-zh"主
各位好，
我最近遇到了一个场景，就是当我使用window和periodic watermark的时候。
如果我的window时间设置的比较短，比如3秒，然后数据流假设为(6，5，3，1，2，4)。
此时watermark还没有产生，那么应该会有两个并行的window被创建（3，1，2）(6，5，4)。
这时watermark产生了，时间戳是7，同时超过了这两个窗口的边界.
那么此时会发生什么，两个窗口同时触发计算，或者第一窗口触发计算？
Hi Experts,
Given that a window in the stream is configured with short window size like
timeWinodw(3s)，
and I gotta utilize Event time and Periodic Watermark.
The stream input is [watermark(7) | 6, 5, 3, 4, 1, 2],
and then two windows are created (3,1,2) (6,5,4) before watermark(7) arriving.
But
你好，
我们使用Flink跑线上任务已经稳定运行两个多月了，一直没有什么问题，在没有任何改动的情况下突然TasManager开始挂掉，经过看日期发现，报了以下错误：
ERROR org.apache.kafka.common.metrics.Metrics - Error
when removing metric from org.apache.kafka.common.metrics.JmxReporter
org.apache.kafka.common.KafkaException: Error registering mbean
14 matches
Mail list logo
