回复: flink on yarn 模式,在jar任务中,怎么获取rest port

2024-08-01 文章 wjw_bigdata
退订 回复的原邮件 | 发件人 | Lei Wang | | 发送日期 | 2024年8月1日 14:08 | | 收件人 | | | 主题 | Re: flink on yarn 模式,在jar任务中,怎么获取rest port | 在 flink-conf.yaml 中可以指定 rest.port, 可指定一个范围 On Wed, Jul 31, 2024 at 8:44 PM melin li wrote: flink on yarn 模式, rest port 是随机的,需要获取rest port,有什么好办法?

回复:请问BackPressure是否影响Watermarks机制

2024-08-01 文章 wjw_bigdata
退订 回复的原邮件 | 发件人 | wjw_bigdata | | 发送日期 | 2024年8月1日 14:22 | | 收件人 | user-zh@flink.apache.org | | 主题 | 回复:请问BackPressure是否影响Watermarks机制 | 退订 回复的原邮件 | 发件人 | wjw_bigdata | | 发送日期 | 2024年8月1日 14:21 | | 收件人 | user-zh@flink.apache.org | | 抄送人 | user-zh@flink.apache.org |

回复:请问BackPressure是否影响Watermarks机制

2024-08-01 文章 wjw_bigdata
退订 回复的原邮件 | 发件人 | wjw_bigdata | | 发送日期 | 2024年8月1日 14:21 | | 收件人 | user-zh@flink.apache.org | | 抄送人 | user-zh@flink.apache.org | | 主题 | 回复:请问BackPressure是否影响Watermarks机制 | 退订 回复的原邮件 | 发件人 | jwfktv | | 发送日期 | 2024年8月1日 14:20 | | 收件人 | user-zh@flink.apache.org | |

回复:请问BackPressure是否影响Watermarks机制

2024-08-01 文章 wjw_bigdata
退订 回复的原邮件 | 发件人 | jwfktv | | 发送日期 | 2024年8月1日 14:20 | | 收件人 | user-zh@flink.apache.org | | 主题 | 请问BackPressure是否影响Watermarks机制 | Hi: 各位好,最近使用PyFlink 1.18.0的Window deduplication能力来获取每分钟最后一条记录,输出到数据库中。数据来源是kafka,事件时间使用的是kafka记录的metadata中的timestamp字段。

请问BackPressure是否影响Watermarks机制

2024-08-01 文章 jwfktv
Hi: 各位好,最近使用PyFlink 1.18.0的Window deduplication能力来获取每分钟最后一条记录,输出到数据库中。数据来源是kafka,事件时间使用的是kafka记录的metadata中的timestamp字段。 日常计算没有问题,但是一旦我想要回拉当天数据,就会产生一些奇怪的问题。比如我有一个topic,只有一个partition,每天大概8千万-1亿数据,我的任务设置成1个parallelism,使用flink sql实现任务。

请问BackPressure是否影响Watermarks机制

2024-08-01 文章 jwfktv
Hi: 各位好,最近使用PyFlink 1.18.0的Window deduplication能力来获取每分钟最后一条记录,输出到数据库中。数据来源是kafka,事件时间使用的是kafka记录的metadata中的timestamp字段。 日常计算没有问题,但是一旦我想要回拉当天数据,就会产生一些奇怪的问题。比如我有一个topic,只有一个partition,每天大概8千万-1亿数据,我的任务设置成1个parallelism,使用flink sql实现任务。

Re: flink on yarn 模式,在jar任务中,怎么获取rest port

2024-08-01 文章 Lei Wang
在 flink-conf.yaml 中可以指定 rest.port, 可指定一个范围 On Wed, Jul 31, 2024 at 8:44 PM melin li wrote: > flink on yarn 模式, rest port 是随机的,需要获取rest port,有什么好办法? >