TTL的配置再调用每个execNode转换成operator的方法,来做到Transformation级别的TTL控制,这个配置开放给平台的用户,通过Transformation的id做识别,是否能给一些建议
gygz...@163.com
发件人: Yun Tang
发送时间: 2021-12-09 10:57
收件人: user-zh
主题: Re: flink sql支持细粒度的状态配置
Hi 你好,
我认为这是一个很好的需求,对于data stream以及python API来说,state
TTL都是通过API逐个配置的,你的需求就可以直接满足。但是对于SQL来说,由于
个任务每个sql配置不同的TTL时间,这种场景应该如何去做 ?
gygz...@163.com
应该如何去做 ?
gygz...@163.com
在datastream中针对事件时间而迟到的数据可以通过sideOutPut收集出来做二次处理补偿结果
但是针对flink sql 计算过程中因为延迟而丢弃的数据,应该如何获取呢 ?
特别是一些金融交易额的计算,希望数据延迟了也不会影响最终结果
谢谢
gygz...@163.com