Re: Flink 1.18.2 release date

Hi Yang IIRC, 1.18.2 has not been kicked off yet. Best regards, Weijie Yang LI 于2024年5月30日周四 22:33写道： > Dear Flink Community, > > Anyone know about the release date for 1.18.2? > > Thanks very much, > Yang >

Re: Java 17 incompatibilities with Flink 1.18.1 version

I believe we ran cron test also on JDK17 and JDK21. Best regards, Weijie Zhanghao Chen 于2024年5月30日周四 19:35写道： > Hi Rajat, > > There's no need to get Flink libraries' compiled version on jdk17. The > only things you need to do are: > > >1. Configure the JAVA_HOME env to use JDK 17 on both

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congratulations! Well done. Best regards, Weijie Feng Jin 于2024年3月21日周四 11:40写道： > Congratulations! > > > Best, > Feng > > > On Thu, Mar 21, 2024 at 11:37 AM Ron liu wrote: > > > Congratulations! > > > > Best, > > Ron > > > > Jark Wu 于2024年3月21日周四 10:46写道： > > > > > Congratulations and

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congratulations! Well done. Best regards, Weijie Feng Jin 于2024年3月21日周四 11:40写道： > Congratulations! > > > Best, > Feng > > > On Thu, Mar 21, 2024 at 11:37 AM Ron liu wrote: > > > Congratulations! > > > > Best, > > Ron > > > > Jark Wu 于2024年3月21日周四 10:46写道： > > > > > Congratulations and

Re: Elasticsearch sink suppport

Hi Tauseef, > Any version greater than 1.17 does not support elasticsearch sink connector Can you explain in more detail what does not support mean here? IIRC, flink-connector-elasticsearch is guaranteed to compile in 1.18 and 1.19 via nightly CI workflow. Best regards, Weijie Tauseef

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congratulations! Thanks release managers and all the contributors involved. Best regards, Weijie Leonard Xu 于2024年3月18日周一 16:45写道： > Congratulations, thanks release managers and all involved for the great > work! > > > Best, > Leonard > > > 2024年3月18日 下午4:32，Jingsong Li 写道： > > > >

Re: [ANNOUNCE] Apache Flink 1.19.0 released

Congratulations! Thanks release managers and all the contributors involved. Best regards, Weijie Leonard Xu 于2024年3月18日周一 16:45写道： > Congratulations, thanks release managers and all involved for the great > work! > > > Best, > Leonard > > > 2024年3月18日 下午4:32，Jingsong Li 写道： > > > >

Re: 关于DataStream API计算批数据的聚合值

你好： Batch 模式下的 reduce 操作默认应该就是只输出最后一条数据(per-key)的。Agg 的话可能有点麻烦，可以使用 GlobalWindow + 自定义 Trigger 来 Workaround. Best regards, Weijie Liu Join 于2023年7月26日周三 09:10写道： > 例如：我使用DataStream api计算批数据也就是有界流的平均值，如何实现只输出最后一条平均值的数据，不输出中间值 >

Re: 如果DataSet API 被彻底废掉了，那我如何用DataStream实现分区、排序这个需求？

你好， 首先，Batch Shuffle 的中间数据都是会落盘的。其次，对于 Sort 这个操作来说，上面给出的解法和Dataset一致，都不会落盘。 Best regards, Weijie jinzhuguang 于2023年7月12日周三 17:28写道： > 如果我的数据量很大，内存装不下，flink在batch > mode下的行为是否会像传统的批处理系统，例如hive那样，会进行shuffe、中间数据落盘等操作。 > > > 2023年7月12日 17:05，weijie guo 写道： > > > > >

Re: 如果DataSet API 被彻底废掉了，那我如何用DataStream实现分区、排序这个需求？

你好，对于DataSet中不按照key进行全量聚合/排序的API（例如，sortPartition/mapPartition），DataStream上目前没有直接提供相同的API，但可以通过组合DataStream上现有的API实现相同的功能。 以mapPartition为例，可以通过以下三个步骤实现相同的功能： 1. dataStream.map(record -> (subtaskIndex， record))，为每个Record增加处理该record时子任务编号。 2.

Re: Network Buffers

Hi Pritam, The legacy config option `taskmanager.network.numberOfBuffers` is deprecated and will be ignored, so please do not refer to it. The exact size of network memory calculated through `taskmanager.memory.network.fraction`, while also ensuring that it is within the constraints of min and

Re: [ANNOUNCE] Apache Flink 1.16.2 released

n Fri, May 26, 2023 at 4:41 PM Martijn Visser > wrote: > > > Thank you Weijie and those who helped with testing! > > > > On Fri, May 26, 2023 at 1:06 PM weijie guo > > wrote: > > > > > The Apache Flink community is very happy to announce the release of &

Re: [ANNOUNCE] Apache Flink 1.16.2 released

n Fri, May 26, 2023 at 4:41 PM Martijn Visser > wrote: > > > Thank you Weijie and those who helped with testing! > > > > On Fri, May 26, 2023 at 1:06 PM weijie guo > > wrote: > > > > > The Apache Flink community is very happy to announce the release of &

[ANNOUNCE] Apache Flink 1.17.1 released

The Apache Flink community is very happy to announce the release of Apache Flink 1.17.1, which is the first bugfix release for the Apache Flink 1.17 series. Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data

[ANNOUNCE] Apache Flink 1.17.1 released

The Apache Flink community is very happy to announce the release of Apache Flink 1.17.1, which is the first bugfix release for the Apache Flink 1.17 series. Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data

[ANNOUNCE] Apache Flink 1.16.2 released

The Apache Flink community is very happy to announce the release of Apache Flink 1.16.2, which is the second bugfix release for the Apache Flink 1.16 series. Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data

Re: Query on RestartPipelinedRegionFailoverStrategy

Hi Prabhu, If the edge between a -> b -> c -> d -> e all are point-wise, In theory, it should form two regions. Best regards, Weijie Prabhu Joseph 于2023年5月15日周一 09:58写道： > Hi, I am testing the Flink Fine-Grained Recovery >

Re: flink batch execution mode

Hi Lu, At present, Flink is still based on row format in the runtime execution layer and vectorization relies mostly on automatic compiler optimizations of the JVM. Best regards, Weijie Shammon FY 于2023年4月27日周四 10:52写道： > Hi Lu, > > Currently, Flink does not have official benchmark results

Re: unsubscribe

To unsubscribe, please send an email to user-unsubscr...@flink.apache.org Best regards, Weijie Natia Chachkhiani 于2023年2月28日周二 01:21写道： >

Re: 退订

退订请发送邮件到 user-zh-unsubscr...@flink.apache.org Best regards, Weijie 宋品如 于2023年2月22日周三 11:37写道： > 退订 > > > > > > > > > > > -- > > 祝工作顺利，生活愉快！ > 发件人：宋品如 > 岗位：大数据开发

Re: 退订

退订请发送邮件到 user-zh-unsubscr...@flink.apache.org Best regards, Weijie 646208563 于2023年2月22日周三 11:39写道： > 退订

Re: Disable the chain of the Sink operator

Hi wu, I don't think it is a good choice to directly change the strategy of chain. Operator chain usually has better performance and resource utilization. If we directly change the chain policy between them, users can no longer chain them together, which is not a good starting point. Best

Re: Disable the chain of the Sink operator

Hi wu, I don't think it is a good choice to directly change the strategy of chain. Operator chain usually has better performance and resource utilization. If we directly change the chain policy between them, users can no longer chain them together, which is not a good starting point. Best

Re: 退订

Hi, 你需要发送邮件到 user-zh-unsubscr...@flink.apache.org 而不是 user-zh@flink.apache.org. Best regards, Weijie wujunxi <462329...@qq.com.invalid> 于2023年2月7日周二 16:52写道： > 退订

Re: Task Manger is getting failed

t; I am just print 15 word in beam pipeline program. Any idea why taking too > much memory? > > Get Outlook for iOS <https://aka.ms/o0ukef> > ---------- > *From:* weijie guo > *Sent:* Monday, February 6, 2023 8:37:58 AM > *To:* P Singh > *Cc:* Use

Re: Task Manger is getting failed

Hi, It seems that TM is unexpected un-reachable. You can confirm whether TM is OutOfMemory. Best regards, Weijie P Singh 于2023年2月5日周日 15:06写道： > Hi Team, > > I am submitting a beam python job to flink clusters on a local machine by > minikube. when i submit the job it appears on the flink

Re: Flink消费消息队列写入HDFS

你好，可以使用FileSink，这个是基于新的sink API的。 Best regards, Weijie Howie Yang 于2023年2月2日周四 16:28写道： > Hey， > > > 最近想把消费日志写入到HDFS中，找这块的connector发现大部分都停留在使用 BucketingSink 的方式，这个好像是老版本的api了， > 这块官方推荐的最新的方式是什么呢？ > > > > > > > > > > > -- > > Best, > Howie

Re: Reducing Checkpoint Count for Chain Operator

> operator creates their own checkpoint at checkpointing time . Rather than > creating a checkpoint per operator in checkpointing time. Can I have one > checkpoint per OperatorChain? This is my question. > > Thanks > > On Wed, Feb 1, 2023 at 1:02 AM weijie guo > wrote: >

Re: [ANNOUNCE] Apache Flink 1.16.1 released

Thank Martin for managing the release and all the people involved. Best regards, Weijie Konstantin Knauf 于2023年2月2日周四 06:40写道： > Great. Thanks, Martijn for managing the release. > > Am Mi., 1. Feb. 2023 um 20:26 Uhr schrieb Martijn Visser < > martijnvis...@apache.org>: > > > The Apache

Re: [ANNOUNCE] Apache Flink 1.16.1 released

Thank Martin for managing the release and all the people involved. Best regards, Weijie Konstantin Knauf 于2023年2月2日周四 06:40写道： > Great. Thanks, Martijn for managing the release. > > Am Mi., 1. Feb. 2023 um 20:26 Uhr schrieb Martijn Visser < > martijnvis...@apache.org>: > > > The Apache

Re: OOM taskmanager

Hi Marco, I think you may need to do heap-dump for TM to check whether there is memory leak. Best regards, Weijie

Re: Reducing Checkpoint Count for Chain Operator

Hi Talat, Can you elaborate on what it means to create one checkpoint object per chain operator more than all operators? If you mean to do checkpoint independently for each task, this is not supported. Best regards, Weijie Talat Uyarer via user 于2023年2月1日周三 15:34写道： > Hi, > > We have a job

Re: Flink SQL 如何优化以及处理反压

最好先找到导致下游处理过慢的瓶颈算子，适当扩大一下并发。如果还不行，看下jstack的情况，可能需要调整逻辑。 Best regards, Weijie ssmq <374060...@qq.com.invalid> 于2023年1月31日周二 17:22写道： > 你可以测试不写入clickhouse是否还存在反压，如果不是因为写入瓶颈的话就从你的处理逻辑优化了 > > > 发件人: lxk > 发送时间: 2023年1月31日 15:16 > 收件人: user-zh@flink.apache.org > 主题: Flink SQL 如何优化以及处理反压 > >

Re: 退订

Hello, 退订请发邮件到user-zh-unsubscr...@flink.apache.org Best regards, Weijie 唐凯 于2023年1月19日周四 15:54写道： > 退订 > > > > > 唐凯 > mrdon...@foxmail.com > > > >

Re: 任务本地运行正常，提交到集群报错 - 图片挂掉，文字贴一下报错信息，非常抱歉打扰

ping 127.0.0.1:33271 可以ping通吗 Best regards, Weijie yidan zhao 于2023年1月12日周四 17:48写道： > 看报错 Could not connect to BlobServer at address > localhost/127.0.0.1:33271，你本地的配置是不是不对。提交到什么模式部署的集群，配置是否配对了。 > > WD.Z 于2023年1月10日周二 10:56写道： > > > > >

Re: 关于Flink重启策略疑惑

你好 1.Flink中(JM)JobMaster会监控各个Task的状态，如果Task由于某些原因失败了，JM触发failover,并且决策哪些task应该被重新启动。当然，如果JM挂掉的话，Flink支持配置高可用(HA),通过持久化一些信息到外部系统，从而做到通过standby JM正确接管作业。 2.无论单个Task挂掉还是TaskManager挂掉failover流程都可以正确处理，处理流程基本是一致的，TaskManager挂掉可以认为是上面所有被调度上去的Task fail了。 Best regards, Weijie 李义 于2022年12月9日周五

Re: batch mode如何同步等待执行结果

什么部署模式(per-job/session/application)，另外是不是使用Detach参数，例如-d或者-yd Best regards, Weijie 唐世伟 于2022年11月9日周三 10:00写道： > 谢谢回复，这个应该只能在table api或者sql的情况下使用，stream api应该不行吧 > > > > 2022年11月8日 下午8:10，yuxia 写道： > > > > set table.dml-sync = true > > 是不是可以 > > > > Best regards, > > Yuxia > > > > - 原始邮件

Re: 关于LocalTransportException的优化方向咨询

r还是flink的jar。flink的jar不需要，因为我是standalone集群。 > 任务jar的话，这出现另外一个问题，如果一个TM分配到120*10=1200个task，那么任务jar不会分发这么多次吧。 > > weijie guo 于2022年10月31日周一 12:54写道： > > > > 你好，请问使用的flink版本是多少？ > > 1.15的话TM间是有connection reuse的，默认TM间建立一个物理TCP连接。 > > > 并发大了的话，你的TM只有一个slot，启动的TM会变多。ta

Re: 关于busy,idle,backpressure的指标

可以提供一下A、B中一些并发的thread dump吗 Best regards, Weijie yidan zhao 于2022年10月30日周日 17:26写道： > 当前我发现部分奇怪现象，比如A=>B。 > 存在A处于反压，但是B全部都是idle的，busy为0，这种情况是什么原因呢？ >

Re: 关于LocalTransportException的优化方向咨询

你好，请问使用的flink版本是多少？ 1.15的话TM间是有connection reuse的，默认TM间建立一个物理TCP连接。 并发大了的话，你的TM只有一个slot，启动的TM会变多。task全变成running的状态变慢的因素也比较多：有些TM容器在的结点比较慢、下载jar包时间长、state restore慢等 Best regards, Weijie yidan zhao 于2022年10月30日周日 11:36写道： > 如题，我生产集群频繁报 org.apache.flink.runtime.io >

Re: Re: 关于如何得到管道中哪些源是有界和无界的问题

t; > org.apache.flink.table.api.TableException: Unsupported mode 'AUTOMATIC' > for 'execution.runtime-mode'. Only an explicit BATCH or STREAMING mode is > supported in Table API. > > > > 是后续版本已经支持execution.runtime-mode=AUTOMATIC了吗？ > > > > > > 发件人： weijie guo > > 发送

Re: Re: 关于如何得到管道中哪些源是有界和无界的问题

有的source的有界/无界来判断整个管道是有界/无界的，如果所有scnSource都是有界的则管道必定是有界管道，否则管道就是无界管道。 > > > 发件人： weijie guo > 发送时间： 2022-10-28 15:44 > 收件人： user-zh > 主题： Re: Re: 关于如何得到管道中哪些源是有界和无界的问题 > Hi, junjie: > > 我想先了解一下你的目的是什么，为什么需要在Table API中判断Source的Boundness，这些信息对你的场景的帮助是什么？ > > Best regar

Re: Re: 关于如何得到管道中哪些源是有界和无界的问题

Hi, junjie: 我想先了解一下你的目的是什么，为什么需要在Table API中判断Source的Boundness，这些信息对你的场景的帮助是什么？ Best regards, Weijie junjie.m...@goupwith.com 于2022年10月28日周五 15:36写道： > public static DynamicTableSource FactoryUtil.createTableSource(@Nullable > Catalog catalog,ObjectIdentifier objectIdentifier,

Re: flink remote shuffle example运行出错

你好，你是在flink standalone模式下提交的作业吗,另外用的flink是官网download的Apache Flink 1.14.0 for Scala 2.12 吗 casel.chen 于2021年12月2日周四 上午8:12写道： > 按照 https://github.com/flink-extended/flink-remote-shuffle 上的指南试着运行flink >

Re: New blog post published - Sort-Based Blocking Shuffle Implementation in Flink

It's really an amazing job to fill in the defects of flink in batch shuffle. I really appreciate the work done in io scheduling, the sequential reading of the shuffle reader can greatly improve the disk IO performance and stability. Sort-based shuffle realizes this feature in a concise and

Re: [ANNOUNCE] Apache Flink 1.11.2 released

Good job! Very thanks @ZhuZhu for driving this and thanks for all contributed to the release! best, Weijie Zhu Zhu-2 wrote > The Apache Flink community is very happy to announce the release of Apache > Flink 1.11.2, which is the second bugfix release for the Apache Flink 1.11 > series. > >