Re: 回复： flink sql 如何提高下游并发度？

flink 1.12 及以上版本  sql kafka sink 支持参数： sink.parallelism  指定 sink 的并行度 On 2022/1/11 17:06, 许友昌 wrote: hi, 设置了parallelism=10 ,实际上是分配了 10 个 slot，flink 是会共享 slot 的，所以 sink 会有 10 线程。 在2022年1月11日 16:53，RS 写道： Hi， 请教下，比如设置了parallelism=10，source kafka的topic分区为3，那source、后面的处理和sink的并发度是3还是10？

Re: Tumbling Windows 窗口可开的最小单位

1ms ，但是在数量不是特别大的场景下，小长度的窗口没有意义，flink 默认的网络缓冲区超时时间是 100ms 应该不怎么影响性能，就跟你在流中直接跟一个 process方法差不多（定时器一直在刷） On 2021/11/5 12:32, 李航飞 wrote: 滚动窗口最小可开多大，100ms？ 对性能有什么影响吗？

flink 动态分区策略

各位大佬，在执行flink 流任务的时候，经常会出现，某几台服务器的 CPU比较高（共 用集群，还有很多其他组件），导致在这些机器上的算子的延迟远远高于其他机器上的 算子， 请 flink 是否有动态分区策略或者 Taskmanager 迁移策略，可以完成类似于 spark 在算子执行很慢的情况下，master 会起一个一样的算子，如果后起的算子先完成任 务，任务也可见继续往下游执行。 感谢各位大佬

RE: flink1.11 kafka sql connector

默认应该是 Kafka 的自动提交，开了Checkpoint 就 Checkpoint 提交 -Original Message- From: user-zh-return-6960-wxchunjhyy=163@flink.apache.org On Behalf Of Dream-底限 Sent: Wednesday, August 26, 2020 10:42 AM To: user-zh@flink.apache.org Subject: flink1.11 kafka sql connector hi

RE: 关于sink失败 不消费kafka消息的处理

可以参考下这个： https://www.cnblogs.com/bethunebtj/p/9168274.html#5-%E4%B8%BA%E6%89%A7%E8%A1%8C%E4%BF%9D%E9%A9%BE%E6%8A%A4%E8%88%AAfault-tolerant%E4%B8%8E%E4%BF%9D%E8%AF%81exactly-once%E8%AF%AD%E4%B9%89 -Original Message- From: user-zh-return-6980-wxchunjhyy=163@flink.apache.org On Behalf

RE: Flink运行时可以转移数据吗？

如果自己实现 KeySelector ，可以感知 下游节点的反压，动态调整 KeySelector 策 略 就可以 -Original Message- From: user-zh-return-6979-wxchunjhyy=163@flink.apache.org On Behalf Of Sun_yijia Sent: Wednesday, August 26, 2020 2:17 PM To: user-zh Subject: Flink运行时可以转移数据吗？ 在做反压相关的代码，想请教各位大佬。

RE: flink消费kafka提交偏移量

可以参考下这个： https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/connectors/ kafka.html#kafka-consumers-offset-committing-behaviour-configuration -Original Message- From: user-zh-return-6007-wxchunjhyy=163@flink.apache.org On Behalf Of 小学 生 Sent: 2020年7月30日 10:57 To: user-zh

RE: Flink使用Kafka作为source时checkpoint成功提交offset的机制

Kafka Consumer source，一个Process算子和一个Sink算子 那么在这条消息到达Process算子，还未到达Sink算子时，提交offset是100吗？ On Wed, 29 Jul 2020 at 14:51, venn wrote: > checkpoint成功时就会把它的offset提交，可以看下这个类: FlinkKafkaConsumerBase 的 这个方法： > notifyCheckpointComplete > > -Original Message- > From: user-zh-return-

RE: Flink使用Kafka作为source时checkpoint成功提交offset的机制

checkpoint成功时就会把它的offset提交，可以看下这个类: FlinkKafkaConsumerBase 的 这个方法： notifyCheckpointComplete -Original Message- From: user-zh-return-5976-wxchunjhyy=163@flink.apache.org On Behalf Of shuwen zhou Sent: 2020年7月29日 14:24 To: user-zh@flink.apache.org Subject:

回复: flink build-in 的 udf 的源码

calcite parse SQL的时候用到，直接把这些函数识别为具体的某个函数定义。 2. 然后再代码生成阶段，会识别到这些函数，根据不同的函数定义，生成不同的函数实现调用。这部分你可以直接看下`org.apache.flink.table.planner.codegen.calls`这个package下的代码。 3. 上面第2条说的主要是scalar function的生成方式，agg function还要特殊一点，这部分可以参考下`org.apache.flink.table.planner.functions.aggfunctions`这个package下的代码。 venn 于2020

回复: 回复：flink1.10 ddl metric 不显示

Subtask 显示的metrics 是整个 算子链的输入、输出的，算子全部 chain 在一起后，对应的输入、输出就是外部系统了，所有看不到。可以去metrics 页面查看具体算子的metrics 指标 -邮件原件- 发件人: user-zh-return-3563-wxchunjhyy=163@flink.apache.org 代表 了不起的盖茨比 发送时间: 2020年5月16日 11:08 收件人: user-zh 主题: 回复：flink1.10 ddl metric 不显示 为什么chain一起就无法看到了？？？求大佬解释一下。

flink build-in 的 udf 的源码

各位大佬，请问下，flink 内置的 udf 的源码在什么位置，还有在哪里完成的函数注 册？ 非常感谢各位大佬回复 Thanks a lot !

回复: 回复: flink on yarn 的 kerberos 认证问题

在 2019-11-27 14:00:15，"venn" 写道： >我们kafka 可以正常认证、消费数据，认证hbase 和kafka 好像不一样，我们是不认 证 >读不到数据，认证了，任务又提交不到 yarn 上去了 > >如下： >>看过对应位置的代码，将 “Hadoop.security.authentication = >kerberos” >>参数添加到 Hadoop 的 配置文件中（注： 使用 simple 认证的 hadoop集 >>群使用 amberi 部署

回复: flink on yarn 的 kerberos 认证问题

, 2019 1:31 PM 收件人: user-zh@flink.apache.org 主题: Re:flink on yarn 的 kerberos 认证问题 kerberos用户的krb5.conf ,user.keytab文件是否在程序运行时加载到了,我之前遇到 的kerberos问题是flink读kafka获取不到数据,通过yarn-session模式运行,认证阶段是 在yarn-session发布完成的. 最后问题出在kafka通信协议,可以看下hbase端的配置,实 现不行 也可以解耦hbase跟flink中间加一个kafka 在 2019-11-26 14:50:3

flink on yarn 的 kerberos 认证问题

各位大佬： 请教一个flink 认证的问题： Flink on yarn 运行在不用认证的 Hadoop 集群上，怎样访问带kerberos 认证集群的 hbase ？ 下面是一些我们使用的描述和发现的问题： 我们有两个hadoop 集群，一个使用 Kerberos 认证模式，一个是 simple 认证模式，Flink 1.9.0 部署在 simple 认证的集群上。 最近在使用flink 读取 Kerberos 认证的集群的 hbase 上遇到了问题。配置 flink-conf.yaml

flink 读带认证的hbase 问题

各位大佬： 请问：flink on yarn 模式（standalone 模式下也不行）下 读带 kerberos 认证的 hbase，返回认证成功了，但是还是不能查询，一直报 “Caused by: GSSExecption: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)” 发现认证之后，当前用户（UserGroupInformation.getLoginUser ）和登陆用户

回复: 编译flink 1.9 flink-table-api-java 编译不过

-lambdas-and-exceptions 你可以升级 JDK 的小版本吗？我在 8.0.212 上没遇到这个问题。 Best, tison. venn 于2019年9月11日周三 上午10:26写道： > 各位大佬，请教一下编译Flink 1.9 的问题，编译 flink-table-api-java 的时候 > 只 > 要有 “.orElseThrow(() -> new ValidationException("Undefined function: " > + lookupCall.getUnresolvedN

Flink 周期性创建watermark，200ms的周期是怎么控制的

各位大佬， 今天看flink 指派Timestamp 和watermark 的源码，发现周期性创建 watermark 确实是周期性的，从打印到控制台的时间可以看到差不多是200毫秒执行一 次， 200毫秒是在哪里控制的，在debug 的调用栈找不到（源码位置）？ 周期新创建watermark 方法如下： .assignAscendingTimestamps(element => sdf.parse(element.createTime).getTime) .assignTimestampsAndWatermarks(new

回复: Flink命令提交任务时是否支持配置文件与任务jar包分离

可以分离，客户端提交的时候，初始化是在客户端上完成的，JobGraph 提交到 JobManager 之后不需要配置文件了 -邮件原件- 发件人: user-zh-return-797-wxchunjhyy=163@flink.apache.org 代表 jinxiaolong_al...@163.com 发送时间: Saturday, August 10, 2019 12:33 AM 收件人: user-zh 主题: Flink命令提交任务时是否支持配置文件与任务jar包分离 各位社区大佬：