flink 1.11 cp size越来越大

读取kafka数据写入mysql 1、部分代码如下 2、从cp图中看到cp size越来越大，7天的时间从400m增加到了快2g 下面是一次cp的详细数据，两次window的过程中cp size很大

flink 1.11.0 chk超时

chk history如图，以下是TM中找到的INFO信息： 2020-11-05 13:13:38,101 INFO org.apache.flink.streaming.api.functions.sink.fil

flink 1.11.0 chk超时

chk history如图，以下是TM中找到的INFO信息： 2020-11-05 13:13:38,101 INFO org.apache.flink.streaming.api.functions.sink.fil

flink 1.11.0 chk超时

chk的历史如图，第三个subtask未能ack，同时在TM中只能找到如下信息： 2020-11-05 13:13:38,101 INFO org.apache.flink.streaming.api.function

MetricQueryService中metric更新

版本flink1.11.0 请问下各位大佬MetricQueryService这个类中定义的四种类型metric的值是怎么更新的？比如kafka的current-offset是Gauge类型，MetricQueryService中gauges这个map对应的current-offset的值怎么更新的呢？只看到addMetric这个方法是put值的，但是通过本地调试和代码走读，这个方法只是一开始注册用的，运行过程如何更新metric的？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: TM SLOT资源共享

多谢回复，有看到云邪大佬的这篇文章 http://wuchong.me/blog/2016/05/09/flink-internals-understanding-execution-resources/ 我再研究研究，多谢 -- Sent from: http://apache-flink.147419.n8.nabble.com/

kafka metric lag统计

在flink 1.11.0中任务未开启checkpoint时，消费kafka，已开启autocommit，kafka端可以正常查看lag，但这时候从flink web ui的metric中可以看到current offset，但是commite offset一直是Long的最小值 有以下两个问题，还请大佬们赐教 1、“这时候从flink web ui的metric中可以看到current offset，但是commite offset一直是Long的最小值”，这种是正常的吗？是否是少了什么配置，还是flink的bug？只从flink任务的这些metric应该是计算不出来lag的 2、观察到f

TM SLOT资源共享

https://ci.apache.org/projects/flink/flink-docs-release-1.11/concepts/flink-architecture.html#task-slots-and-resources 从这个小节得到以下结论（不确定是否准确。） 1、1个TM可以有多个slot 2、slot中不存在资源共享时，1个slot只会有一个thread 3、slot中存在资源共享时，1个slot会有多个thread 所以，想问下怎么确定是否能够资源共享？多谢 -- Sent from: http://apache-flink.147419.n8.nabble.

flink 提交 offset 到 kafka

flink：1.6.2（部分集群未升级。） kafka：0.11 作业从kafka中消费消息，并运行在yarn上，提供的作业未配置checkpoint，autoCommit设置为true。 作业刚启动时通过kafka-console-consumer.sh可以正常观察到提交的offset，大概50分钟左右，通过kafka-console-consumer.sh就看不到相应的offset信息了（期间没有新消息），请问下flink是有什么机制吗？另外在flink web ui中看到的committed-offset metric一直显示的是 -915623761776，这是为什么？请大佬们指教，

table execution-options 能否通过 -yd 生效

https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/config.html#execution-options // instantiate table environment TableEnvironment tEnv = ... // access flink configuration Configuration configuration = tEnv.getConfig().getConfiguration(); // set low-level key-value options conf

Re: UDTAGGs sql的查询怎么写

好的，谢谢jinsong大佬 -- Sent from: http://apache-flink.147419.n8.nabble.com/

UDTAGGs sql的查询怎么写

https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/functions/udfs.html#table-aggregation-functions 请问下UDTAGGs支持sql的写法吗，怎么写？看官档上只有table api的示例。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 回复： flink基于yarn的HA次数无效，以及HA拉起的任务是否可以重用state

我之前配置了HA，也配置了flink中yarn-attempts=2，结果是kill jm进程可以无限重启 -- Sent from: http://apache-flink.147419.n8.nabble.com/