Flink 开发进展

1.Release

■ Piotr Nowojski 宣布 release-1.11 分支冻结。
[1]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNECE-release-1-11-branch-cut-td41668.html

■ 1.10.1 已成功发版,发版日志见下链接。
[2]
https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315522&version=12346891

■ 1.10.1 发版后,Seth Wiesman 发现 FLINK-16684 修改了 StreamingFileSink
(@PublicEvolving) 的 API,导致 1.10.0 和 1.10.1 之间存在二进制不兼容问题。
[3]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Discuss-Breaking-API-Change-in-1-10-1-td41377.html

2.Dev

■ 当用户使用 per-job 模式提交任务时,当前的 History Server 无法聚合的显示这些任务。Gyula 对 History
Server 进行了修改,实现了一个可以聚合不同集群任务的看板。
[4]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Rework-History-Server-into-Global-Dashboard-td41393.html

3.FLIP

■ [Runtime] Aljoscha Krettek 宣布 FLIP-126 投票通过,FLIP-126 旨在对 Watermark
Assigners 进行重构。
[5]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-126-FLIP-126-Unify-and-separate-Watermark-Assigners-td41349.html

4.Discuss

■ [Config] Stephan Ewen 发起了将 state.backend.fs.memory-threshold 的默认值从 1K 提升到
100K 的讨论,目的是减少小文件。大家对该改动可能导致 state 变大,从而导致 OOM 的问题进行了讨论。
[6]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-increase-quot-state-backend-fs-memory-threshold-quot-from-1K-to-100K-td41475.html

■ [Develop] 关于 @PublicEvolving 注解的 class 需要在相同的 minor 版本修复 bug 时提供 API 和
二进制兼容的投票正在进行。
[7]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-Guarantee-that-PublicEvolving-classes-are-API-and-binary-compatible-across-bug-fix-releases-x-y-td41543.html

■ [Doc] 关于构建一个 Flink 学习资料平台的讨论正在进行,详情见邮件。
[8]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Add-a-material-web-page-under-quot-https-flink-apache-org-quot-td41298.html

■ [Doc] 当前的发布流程会出现 dist.apache.org 中的下载链接不稳定的问题,Chesnay Schepler
修改了发布指南,只有在完成发布后,才可以从 dist.apache.org 中移除老版本。
[9]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/NOTICE-Deletion-of-older-releases-from-dist-apache-org-td41422.html

5.Other

■ [Security] Chesnay Schepler 发布了 CVE-2020-1960
安全漏洞。攻击者可借助特制请求利用该漏洞进行中间人攻击,入侵通过JMX与进程建立的连接,获取传递的数据。以下版本受到影响:1.1.0 to
1.1.5,1.2.0 to 1.2.1,1.3.0 to 1.3.3,1.4.0 to 1.4.2,1.5.0 to 1.5.6,1.6.0 to
1.6.4,1.7.0 to 1.7.2,1.8.0 to 1.8.3,1.9.0 to 1.9.2,1.10.0。修复方案见邮件。
[10]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/CVE-2020-1960-Apache-Flink-JMX-information-disclosure-vulnerability-td41437.html

■ [CI] 当前对于 PR 端到端的测试任务使用的资源达到了 Flink 的 Azure Pipelines 账号的上限,Robert
Metzger 不得不手动取消掉一些端到端的测试。Robert Metzger 正在积极寻找解决办法。
[11]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/NOTICE-Azure-Pipelines-Status-td41455.html

邮件问题答疑

■ [Debug] 李佳宸遇到了在集群关闭时,Pushgateway 仍然存有metrics数据的问题,杨纲给予了解答,当通过 yarn kill
的方式停掉任务时,Pushgateway 内存中缓存的指标不会被清理。
[12]
http://apache-flink.147419.n8.nabble.com/Prometheus-Pushgateway-Flink-td3041.html

■ [Runtime] 1101300123遇到了 AppendOnlyTopNFunction 报数组越界的问题,云邪确认是一个
bug,创建了issue FLINK-17625。
[13]
http://apache-flink.147419.n8.nabble.com/1-10-flinkSQL-row-number-top1-td3056.html

■ [Debug] Jeff 希望能够监控 task 级别的内存使用情况,由于运行在同一个
JVM,进程中的不同线程的内存开销分析代价会比较高,不适合实时计算场景,所以不支持 task 级别的内存监控。
[14]http://apache-flink.147419.n8.nabble.com/task-td3075.html

■ [Stateful Function] Annemarie Burger 希望能在 Stateful Function 中使用窗口功能。Igal
Shilman 告知当前 Stateful Function 不支持窗口功能,同时提供了 DelayedMessage 的变通方法。
[15]
http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Window-processing-in-Stateful-Functions-td34966.html

■ [Debug] Jacky Du 在 AWS EMR Debug 使用 JITWatch 报错,Xintong Song 指出,当在
flink-conf.yaml 配置 JITWatch 参数时不能使用引号。
[16]
http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-Memory-analyze-on-AWS-EMR-td35036.html

■ [Runtime] Ken Krugler 希望自定义重启策略,Zhu Zhu 告知自 1.10 版本开始,RestartStrategy 被
RestartBackoffTimeStrategy 替代,RestartBackoffTimeStrategy 暂不支持自定义重启策略。
[17]
http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-restart-strategy-on-specific-exception-td24665.html

活动 / 博客文章 / 其他

■ Flink Forward Global 2020 暂定于10月19日 - 21日在线上举行,目前正在征集议题。
[18]https://www.flink-forward.org/global-2020/call-for-presentations

■ Apache Flink 杭州站线上 Meetup 圆满结束,直播回放如下:
[19]https://developer.aliyun.com/live/2772

■ Flink 1.10 细粒度资源管理解析
[20]https://mp.weixin.qq.com/s/NZXtKlRNnWdWDNtU7cml2Q

■ Flink 与 Hive 的磨合期
[21]https://mp.weixin.qq.com/s/TH3TXKebXJ0nAKUh8wfxUw

■ 如何用一套引擎搞定机器学习全流程?
[22]https://mp.weixin.qq.com/s/c5bZy_v15FtT1oJGW0UAWQ

Reply via email to