Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congrats and thanks all for the efforts! Best Regards, Yu On Tue, 19 Mar 2024 at 11:51, gongzhongqiang wrote: > > Congrats! Thanks to everyone involved! > > Best, > Zhongqiang Gong > > Lincoln Lee 于2024年3月18日周一 16:27写道： >> >> The Apache Flink community is very happy to announce the release of

[ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Dear Flinkers, As you may have noticed, we are pleased to announce that Flink Table Store has joined the Apache Incubator as a separate project called Apache Paimon(incubating) [1] [2] [3]. The new project still aims at building a streaming data lake platform for high-speed data ingestion,

[ANNOUNCE] Call for Presentations for ApacheCon Asia 2022 streaming track

Hi everyone, ApacheCon Asia [1] will feature the Streaming track for the second year. Please don't hesitate to submit your proposal if there is an interesting project or Flink experience you would like to share with us! The conference will be online (virtual) and the talks will be pre-recorded.

Re: Flink OLAP 与 Trino TPC-DS 对比

感谢大家的分享和分析，也期待Flink在相关方向的持续优化！ Let's make Flink great together. :-) btw, 第5个引用的语雀文档链接已过期，建议使用google doc并更新一下链接 Best Regards, Yu On Sun, 1 May 2022 at 21:57, Zhilong Hong wrote: > Hello, > > 这段时间我们针对 LuNing 反馈的问题进行了深入的分析调研，在此将结论同步给社区。特别感谢 LuNing 反馈这一问题并与我们一起进行分析排查。 > > 根据我们的分析，造成 Flink 1.14

Re: [ANNOUNCE] Apache Flink 1.13.2 released

Thanks Yun Tang for being our release manager and everyone else who made the release possible! Best Regards, Yu On Fri, 6 Aug 2021 at 13:52, Yun Tang wrote: > > The Apache Flink community is very happy to announce the release of Apache > Flink 1.13.2, which is the second bugfix release for

Re: flink 1.12.2-rc2 被挖矿

Hi, 从上述描述上看，并不能确认是Flink的安全漏洞，建议进行更多测试，确认之后再向Flink社区报告。 近期已知的Flink安全漏洞包括CVE-2020-1960 , CVE-2020-17518 和 CVE-2020-17519

Re: flink 1.12.2-rc2 被挖矿

能再给一些细节吗？确认是Flink的问题导致的吗？怀疑的漏洞是哪个？ 最近1.12.2 rc2正在release voting阶段，我们希望尽快确认是否存在安全漏洞并及时修复（如果有），谢谢。 Best Regards, Yu On Mon, 1 Mar 2021 at 13:26, macdoor wrote: > 我编译的flink 1.12.2-rc2 被挖矿，这个漏洞之前不是堵住了吗？ > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: [ANNOUNCE] Apache Flink 1.10.3 released

Thanks Xintong for being our release manager and everyone else who made the release possible! Best Regards, Yu On Fri, 29 Jan 2021 at 15:05, Xintong Song wrote: > The Apache Flink community is very happy to announce the release of Apache > Flink 1.10.3, which is the third bugfix release for

Re: Flink对IoTDB的支持

暂时没有听到相关的计划，如果有相关需求，欢迎在社区发起讨论 @jincheng sun 金城老师看有没有什么补充？谢谢 Best Regards, Yu On Fri, 2 Oct 2020 at 19:21, milan183sansiro wrote: > 请问社区有无对IoTDB的source或sink的支持计划 > >

Re: [ANNOUNCE] Apache Flink 1.11.2 released

Thanks Zhu Zhu for being our release manager and everyone else who made the release possible! Best Regards, Yu On Thu, 17 Sep 2020 at 13:29, Zhu Zhu wrote: > The Apache Flink community is very happy to announce the release of Apache > Flink 1.11.2, which is the second bugfix release for the

Re: Flink 1.10.1版本StreamingFileSink写入HDFS失败

Hi 王剑， 我认为你的分析是正确的，相关代码在超过lease的soft limit之后应该主动调用一下recover lease的逻辑。你是否愿意提交一个patch来fix该问题？我在JIRA上也留言了，后续可以直接在JIRA上讨论。 另外，更正一下JIRA链接：https://issues.apache.org/jira/browse/FLINK-18592 Best Regards, Yu On Tue, 11 Aug 2020 at 15:16, Jian Wang wrote: > Hi all， > > 我们在使用flink-1.10.1 on YARN(版本:

Re: flink1.10.1/1.11.1 使用sql 进行group 和 时间窗口 操作后 状态越来越大

看到生产上使用的还是1.8.2版本，请问同样的作业使用1.8.2的表现是怎样的？ Best Regards, Yu On Thu, 6 Aug 2020 at 16:29, op <520075...@qq.com> wrote: > 感谢回答 > 我之前用1.10也有同样的问题 > > > > > --原始邮件-- > 发件人: > "user-zh" >

Re: flink1.10.1/1.11.1 使用sql 进行group 和 时间窗口 操作后 状态越来越大

@鱼子酱 请问同样的作业，都使用RocksDB增量checkpoint，在1.8.2版本和1.11.1版本下的表现是否一致？还是说只有1.11.1版本下增量大小会单调增加？ @op 类似的问题，请问使用FsStateBackend，是否在不同Flink版本下测试过？表现是否一致？ 上述问题主要想确认一下新版本的表现和旧版本是否一致，如果不一致则有可能是新版本中引入的bug。谢谢。 Best Regards, Yu On Thu, 6 Aug 2020 at 13:52, Congxian Qiu wrote: > Hi >

[ANNOUNCE] Apache Flink 1.10.1 released

The Apache Flink community is very happy to announce the release of Apache Flink 1.10.1, which is the first bugfix release for the Apache Flink 1.10 series. Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data streaming

Re: 请问Flink-1.10.1 release可以在哪里下载？（无正文）

1.10.1还剩余最后一个blocker [1]，解决之后将创建Release Candidate并启动投票，预计还需要1-2周时间，感谢关注。 Best Regards, Yu [1] https://issues.apache.org/jira/browse/FLINK-16662 On Thu, 16 Apr 2020 at 17:24, godfrey he wrote: > 目前社区已经在讨论 release-1.10.1 RC [1] 的发布 > > [1] > >

Re: The question about the FLIP-45

Hi LakeShen, Sorry for the late response. For the first question, literally, the stop command should be used if one means to stop the job instead of canceling it. For the second one, since FLIP-45 is still under discussion [1] [2] (although a little bit stalled due to priority), we still don't

Re: 关于在读和写频率都很高的情况下怎么优化rocksDB

Hi, 您给出的链接里的文档是面向最新发布版本，也就是1.10.0的，在之前的版本里RocksDB使用的不是Managed Memory，所以文档里的一些调优指导也不会有效。 建议先了解一下1.10.0里RocksDB内存管理的相关内容 [1]，我们提供了一些配置以方便调节读写缓存的比例，了解之后可以试用1.10.0版本并尝试根据文档进行性能调优。 另外，如果升级并进行简单的调试依然无效，并且确认是由于state瓶颈导致作业反压，那么归根结底需要对RocksDB进行调优。建议参考RocksDB官方的相关文档 [2] 进行尝试。 希望这些信息可以帮到您。 Best Regards,

Re: flink rocksdb状态后端物理内存溢出的问题

建议升级到1.10.0版本，该版本默认对RocksDB backend的内存使用会有限制，更多资料请参考官方文档 [1]。 Best Regards, Yu [1] https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/state/state_backends.html#memory-management On Thu, 20 Feb 2020 at 17:42, chanamper wrote: > 请教一下，我采用flink >

Re: 咨询一下 RocksDB 状态后端的调优经验

Hi， 如唐云所述，FLINK-7289 [1] 所有的开发工作已经完成，目前剩余的工作是补充end-to-end测试以及完善文档，因此release-1.10分支的代码功能已经完全可用了 我们建议使用FLINK-7289实现的方式来控制rocksdb内存，这将极大的简化用户所需的配置，只需要设置"state.backend.rocksdb.memory.managed"为true并调整managed memory大小，或者通过"state.backend.rocksdb.memory.fixed-per-slot" 配置对应单个slot RocksDB可使用的最大内存即可

[DISCUSS] State TTL支持EventTime

大家好， 也许大家已经注意到通过FLINK-12005[1]我们提出了在State中支持基于EventTime[2]的TTL[3]语义，有关这个特性我们希望向大家发起一个讨论/调查，包括下述问题： 1. 在您的应用场景下是否需要基于EventTime的state TTL？如果需要，请简单描述场景和需求原因，这是决定我们是否开发该特性的关键。 2. 在TTL定义中有两个关键的时间，一个是数据的时间戳，另外一个是检查数据是否过期的当前时间(currentTime)。由于流式计算的特点，数据有可能“乱序”到达，而Flink为了处理这种情况引入了watermark的概念。因此对于