Re: 采集mysql全量的时候出现oom问题

从报错信息看，是由于JM的堆内存不够，可以尝试把JM内存调大，一种可能的原因是mysql表全量阶段分片较多，导致SourceEnumerator状态较大。 Best, Shawn Huang wyk 于2024年4月8日周一 17:46写道： > > > 开发者们好: > flink版本1.14.5 > flink-cdc版本 2.2.0 > > 在使用flink-cdc-mysql采集全量的时候,全量阶段会做checkpoint,但是checkpoint的时候会出现oom问题,这个有什么办法吗? >具体报错如附件文本以及下图所示: > > >

Re: flink cdc metrics 问题

/metrics/MySqlSourceReaderMetrics.java Best, Shawn Huang casel.chen 于2024年4月8日周一 12:01写道： > 请问flink cdc对外有暴露一些监控metrics么？ > 我希望能够监控到使用flink cdc的实时作业当前未消费的binlog数据条数，类似于kafka topic消费积压监控。 > 想通过这个监控防止flink cdc实时作业消费慢而被套圈（最大binlog条数如何获取？）

Re: Re: 1.19自定义数据源

.qq.com/s/CAxAgVDzHZ6vZ3BSvi9mlA> Best, Shawn Huang liuchao 于2024年3月28日周四 15:39写道： > 找一个实现source接口的算子，参考一下 > > > 刘超 > liuchao1...@foxmail.com > > > > > > > > > --原始邮件-- > 发件人: >

Re: 退订

Hi，退订可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅来自 user-zh@flink.apache.org 邮件列表的邮件，邮件列表的订阅管理，可以参考[1] [1] https://flink.apache.org/zh/what-is-flink/community/ Best, Shawn Huang 雷刚 于2024年2月29日周四 14:41写道： > 退订

Re: flink sql作业如何统计端到端延迟

Flink有一个端到端延迟的指标，可以参考以下文档[1]，看看是否有帮助。 [1] https://nightlies.apache.org/flink/flink-docs-release-1.18/zh/docs/ops/metrics/#end-to-end-latency-tracking Best, Shawn Huang casel.chen 于2024年2月21日周三 15:31写道： > flink sql作业从kafka消费mysql过来的canal > json消息，经过复杂处理后写入doris，请问如何统计doris表记录的端到端时延？m

Re: 退订

Hi，退订可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅来自 user-zh@flink.apache.org 邮件列表的邮件，邮件列表的订阅管理，可以参考[1] [1] https://flink.apache.org/zh/what-is-flink/community/ Best, Shawn Huang 18679131354 <18679131...@163.com> 于2024年2月27日周二 14:32写道： > 退订

Re: flink job task在taskmanager上分布不均衡

看你的描述应该是Standalone部署模式。 默认调度方法是以slot为单位的，并且会倾向于分配到同一个TaskManager的slot中。 想要充分利用所有slot，一个方法是把集群中slot总数设为所有作业的并行度之和， 或者尝试将配置项cluster.evenly-spread-out-slots设为true。 Best, Shawn Huang 张锴 于2021年5月7日周五 下午7:50写道： > 给l另一个job设置个组别名，不同的组不会slot共享，会跑到别的slot上，slot可以灵活的运行在不同的TM上。 > > allanqinjy 于2

Re: 退订

Hi, 退订需要发邮件到 user-zh-unsubscr...@flink.apache.org 可以参考 https://flink.apache.org/zh/community.html#section-1 Best, Shawn Huang Natasha <13631230...@163.com> 于2021年1月22日周五 下午5:04写道： > > > 退订

Re: 帮忙推荐下flink是用啥可视化的客户端？

你说的客户端是指什么？Flink 默认在 8081 端口提供了 Web UI，可以提交和取消任务，查看日志和一些基础指标。 Best, Shawn Huang yinghua...@163.com 于2020年12月3日周四 下午8:46写道： >

Re: 邮件退订

Hi, 退订需要发邮件到 user-zh-unsubscr...@flink.apache.org 可以参考 https://flink.apache.org/zh/community.html#section-1 Best, Shawn Huang wangleigis 于2020年11月14日周六 上午11:55写道： > > > > > > > 退订 > > > > > > > > > > > -- > > 祝：工作顺利，完事如意！

Re: slot数量与并行度的大小关系

-docs-release-1.11/zh/concepts/flink-architecture.html#task-slots-and-resources [3] https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/parallel.html Best, Shawn Huang hl9...@126.com 于2020年11月11日周三 下午2:58写道： > Hi，all： > 我在flink > web面板上提交了1个job，job的并行度为15，flink集群slot总数为1

Re: 关于cluster.evenly-spread-out-slots参数的底层原理

利用率计算方式是：看某个 slot 所在的 TaskManager 中有多少 slot 还没有被分配，空闲的越多，利用率越小，否则越大。 最后，你提问中说的均衡我没有太理解。某个算子的并发子任务是不会被分配到同一个slot中的， 但如果想把这些子任务均匀分配到不同机器上，这个当前的调度算法应该是无法保证的。 Best, Shawn Huang 赵一旦 于2020年11月5日周四 下午10:18写道： > 有没有人对cluster.evenly-spread-out-slots参数了解比较深入的给讲解下。 > > 我主要想知道，设置这个参数为true之后。Flink