多谢多谢
回复的原邮件
| 发件人 | Weihua Hu |
| 日期 | 2023年06月14日 12:32 |
| 收件人 | user-zh@flink.apache.org |
| 抄送至 | |
| 主题 | Re: (无主题) |
>
> 这个状态变量是否需要用transient来修饰
ValueState 再 Rich fuction 的 open 方法中被初始化,不应该被序列化和反序列化,建议使用 transient 来修饰。
但实际上自定义函数的序列化、反序列化只在任务部署阶段执行,而且初始状态下 ValueState 的值是
退订
On Thu, Jun 15, 2023 at 7:23 PM im huzi wrote:
> 退订
>
> On Tue, Jun 13, 2023 at 08:51 casel.chen wrote:
>
> > 线上跑了200多个flink
> >
> sql作业,接了prometheus指标(prometheus定期来获取作业指标)监控后没跑一会儿就将prometheus内存打爆(开了64GB内存),查了一下是因为指标名称过长导致的。
> > flink
> >
>
退订
On Tue, Jun 13, 2023 at 08:51 casel.chen wrote:
> 线上跑了200多个flink
> sql作业,接了prometheus指标(prometheus定期来获取作业指标)监控后没跑一会儿就将prometheus内存打爆(开了64GB内存),查了一下是因为指标名称过长导致的。
> flink
> sql作业的指标名称一般是作业名称+算子名称组成的,而算子名称是由sql内容拼出来的,在select字段比较多或sql较复杂的情况下容易生成过长的名称,
> 请问这个问题有什么好的办法解决吗?
是这个原因,学习了,感谢!
在 2023-06-15 16:25:30,"yuanfeng hu" 写道:
>消费者要设置事务隔离级别
>
>> 2023年6月15日 16:23,163 写道:
>>
>> 据我了解,kafka支持事务,开启checkpoint及exactly-once后仅当checkpoint执行完毕后才能将数据写入kafka中。测试:flink读取kafka的topic
>> a写入topic b,开启checkpoint及exactly-once,flink未执行完新一次的checkpoint,但topic
>>
消费者要设置事务隔离级别
> 2023年6月15日 16:23,163 写道:
>
> 据我了解,kafka支持事务,开启checkpoint及exactly-once后仅当checkpoint执行完毕后才能将数据写入kafka中。测试:flink读取kafka的topic
> a写入topic b,开启checkpoint及exactly-once,flink未执行完新一次的checkpoint,但topic
> b已经可以消费到新数据,这是什么原因?请大家指教!
据我了解,kafka支持事务,开启checkpoint及exactly-once后仅当checkpoint执行完毕后才能将数据写入kafka中。测试:flink读取kafka的topic
a写入topic b,开启checkpoint及exactly-once,flink未执行完新一次的checkpoint,但topic
b已经可以消费到新数据,这是什么原因?请大家指教!