退订
退订
Flink interval join问题
Hi,各位大佬! Flink SQL双流JOIN,先有的A流后有的B流,现在需要对A流状态保留7天,然后用B流去关联A流 正确的写法是 B between A and A + INTERVAL '7' DAY 还是 B between A - INTERVAL '7' DAY and A 期待大佬们的答复~! 非常感谢~!
退订
退订
邮件归档访问不了
想看当时的讨论情况,但是这个访问不了。 http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Move-Flink-ML-pipeline-API-and-library-code-to-a-separate-repository-named-flink-ml-tc49420.html
Re: Flink Kafka e2e exactly once问题询问
我的理解是超过kafka transaction timeout时间重启flink任务才会发生未提交数据丢失的情况, kafka不会无限期的保存未提交事务数据。 正常情况下的flink重启是不会出现数据丢失的。 在 2021/12/31 11:31, zilong xiao 写道: 看官方文档中有介绍说当kafka事务超时时,可能会出现数据丢失的情况,那就是说,Flink没办法完全保证端到端exactly once是么?想请教下社区大佬,我这么理解是正确的吗?一直都听说Flink 写kafka是可以保证端到端exactly once的,看到文档描述有点懵 文档地址: https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/connectors/datastream/kafka/#kafka-producers-and-fault-tolerance 关键字:"If the time between Flink application crash and completed restart is larger than Kafka’s transaction timeout there will be data loss (Kafka will automatically abort transactions that exceeded timeout time)."
Re: Flink interval join问题
B between A and A + INTERVAL '7' DAY 个人感觉 A between B - INTERVAL '7' DAY and B 更容易理解一些 参见: https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/table/sql/queries/joins/#interval-joins 在 2021/12/31 17:57, mayifan 写道: Hi,各位大佬! Flink SQL双流JOIN,先有的A流后有的B流,现在需要对A流状态保留7天,然后用B流去关联A流 正确的写法是 B between A and A + INTERVAL '7' DAY 还是 B between A - INTERVAL '7' DAY and A 期待大佬们的答复~! 非常感谢~!
来自guifeng huang的邮件
退订