Re: 如何进行主页中文翻译任务

2022-05-21 文章 Zhilong Hong
Hi, 振宇: Flink官方主页的代码位于 [1],目录下所有以.zh.md 为结尾的文件都是中文版本。至于 Documentation Style 的中文文档则在 [2],目前确实没有翻译成中文,如果你感兴趣的话可以参考文档 [3] 进行代码贡献。首先在JIRA [4] 上新建一个Issue,用英文阐述相关信息。在Apache Flink Committer将该Issue指定给你以后,就可以在目录 [1] 下提pull request了~ Best, Zhilong [1]

Re: Flink OLAP 与 Trino TPC-DS 对比

2022-05-08 文章 Zhilong Hong
十分感谢Yu Li老师的提醒,原邮件中第5个文档连接(即《10GiB TPCDS数据集测试结果》)已经更新至Google Docs [1]。 [1] https://docs.google.com/spreadsheets/d/1nietTOrFg93p7k7L82lGPlUjwCpw97bWfP21xI_MLcE/edit?usp=sharing Best, Zhilong Hong On Fri, May 6, 2022 at 4:51 PM Yu Li wrote: > 感谢大家的分享和分析,也期待Flink在相关方向的持续优化! > > Let's m

Re: Flink OLAP 与 Trino TPC-DS 对比

2022-05-01 文章 Zhilong Hong
的差距已大幅缩短,详见 [5]。 目前在 OLAP 场景下 Flink 与 Trino 确实还存在差距,社区目前也正在针对这一场景进行优化 [6]。我们目前在阿里内部的开发分支上,已经追平了 Trino 的性能,相关优化预计会在 Flink 1.16、1.17 两个版本中陆续贡献回社区。 Best, Zhilong Hong [1] https://github.com/ververica/flink-sql-gateway [2] https://cwiki.apache.org/confluence/display/FLINK/FLIP-91%3A+Support+SQL

Re: The file STDOUT does not exist on the TaskExecutor 异常

2022-04-20 文章 Zhilong Hong
Hello, 卓宇: 这个是REST API的报错,说明你在Flink Dashboard中TaskManager页面点击了Stdout选项卡,但对应的TaskManager上访问不到stdout文件,因此报错。该错误不会影响任务的正常运行,可以忽略。 Best, Zhilong On Wed, Apr 20, 2022 at 3:06 PM 陈卓宇 <2572805...@qq.com.invalid> wrote: > 大佬您好: > 小弟想问一下这个异常是什么原因产生的,对生产有何影响,如何消除 > >

Re: Flink OLAP 与 Trino TPC-DS 对比

2022-04-15 文章 Zhilong Hong
Hello, Luning! 我们目前也正在关注Flink在OLAP场景的性能表现,请问你测试的Flink和Trino版本分别是什么呢?另外我看到flink-sql-benchmark中所使用的集群配置和你的不太一样,可能需要根据集群资源对flink-conf.yaml中taskmanager.memory.process.size等资源配置进行调整。 Best, Zhilong On Fri, Apr 15, 2022 at 2:38 PM LuNing Wang wrote: > 跑了100个 TPC-DS SQL > 10 GB

Re: io.network.netty.exception

2022-03-07 文章 Zhilong Hong
Hi, 明文: 这个报错实际上是TM失联,一般是TM被kill导致的,可以根据TM的Flink日志和GC日志、集群层面的NM日志(YARN环境)或者是K8S日志查看TM被kill的原因。一般情况下可能是:gc时间过长导致TM心跳超时被kill、TM内存超用导致container/pod被kill等等。 Best. Zhilong On Mon, Mar 7, 2022 at 10:18 AM 潘明文 wrote: > HI 读kafka,入hbase和kafka > flink任务经常性报错 > >

Re: TaskManager的Slot的释放时机

2022-01-25 文章 Zhilong Hong
Hello, johnjlong: TaskExecutor#cancel是RPC调用,不包含TM是否存活的信息。TM是否存活是由Heartbeat Service来负责检测的,目前heartbeat.timeout配置项 [1] 的默认值为50s。而RPC调用的超时配置项akka.ask.timeout [2] 的默认值为10s。如果想要尽快检测到TM丢失的情况,可以将这两个配置项的值调小,但这有可能会导致集群或作业不稳定。 关于降低heartbeat timeout时长社区目前已有讨论,具体可以参考:[3] 和 [4] [1]

Re: flink作业支持资源自动扩缩容吗?

2021-12-11 文章 Zhilong Hong
流作业的话可以看一下自1.13版本开始引入的Reactive模式 [1] 和Adaptive调度,会根据资源的变化对作业并发度进行调整。用户可以根据作业指标对资源进行调整,flink即会根据资源变化对作业进行调整。批作业的话可以了解一下1.15版本中即将推出的Adaptive批调度模式 [2],在这种模式下节点并发度会随着数据量自动进行调整。 [1] https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/deployment/elastic_scaling/ [2]

Re: [ANNOUNCE] Apache Flink 1.11.2 released

2020-09-18 文章 Zhilong Hong
Thank you, @ZhuZhu, for driving this release! Best regards, Zhilong From: Zhu Zhu Sent: Thursday, September 17, 2020 13:29 To: dev ; user ; user-zh ; Apache Announce List Subject: [ANNOUNCE] Apache Flink 1.11.2 released The Apache Flink community is very