Re: [ANNOUNCE] Apache Flink 1.10.3 released

Thanks Xintong for being our release manager and everyone else who made the release possible! Best Regards, Yu On Fri, 29 Jan 2021 at 15:05, Xintong Song wrote: > The Apache Flink community is very happy to announce the release of Apache > Flink 1.10.3, which is the third bugfix release for

退订

[ANNOUNCE] Apache Flink 1.10.3 released

The Apache Flink community is very happy to announce the release of Apache Flink 1.10.3, which is the third bugfix release for the Apache Flink 1.10 series. Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data streaming

Re: 提交job的命令，./bin/flink run-application -t yarn-application ... 和 ./bin/flink run -m yarn-cluster ...

应该说是否：1.11和1.12这里这两种提交方式 是不是一样的，只不过命令有了变化？ 官网中的摘录如下： flink-1.11: Run a single Flink job on YARN Example: ./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar -- flink-1.12: Per-Job Cluster Mode Example: ./bin/flink run -t

Re: reduce函数的trigger问题

窗口没有结束，所有的数据都还在的 xiaolail...@163.com 于2021年1月29日周五 上午11:27写道： > 您好！最近刚开始学习flink，问一个关于trigger的问题： > > 如下的reduce操作： > env.socketTextStream("localhost", ) > .flatMap(new Splitter()) > .keyBy(value -> value.f0) >

回复：关于Flink作业的负载监控 task-load指标

滴滴文章描述如下： 我们一直希望能精确衡量任务的负载状况，使用反压指标指标只能粗略的判断任务的资源够或者不够。 结合新版的 Mailbox 线程模型，所有互斥操作全部运行在 TaskThread 中，只需统计出线程的占用时间，就可以精确计算任务负载的百分比。 未来可以使用指标进行任务的资源推荐，让任务负载维持在一个比较健康的水平 在2021年01月29日 11:59，1305332<1305...@163.com> 写道： Hi,everyone: 看到滴滴的一篇文章中指出task-load指标，这个线程的占用时间 具体该怎么统计呢？求大神指点

关于Flink作业的负载监控 task-load指标

Hi,everyone: 滴滴的一篇文档中提到： "我们一直希望能精确衡量任务的负载状况，使用反压指标指标只能粗略的判断任务的资源够或者不够。结合新版的 Mailbox 线程模型，所有互斥操作全部运行在 TaskThread 中，只需统计出线程的占用时间，就可以精确计算任务负载的百分比。 未来可以使用指标进行任务的资源推荐，让任务负载维持在一个比较健康的水平” 关于统计出线程的占用时间，这个具体该怎么做呢？

Re: kafka 所有分区无数据的情况下，导致watermark无法前进

所有分区无数据，为什么还期望watermark推进呢？目的是啥。貌似没啥需要计算的呀。 LakeShen 于2021年1月28日周四 下午7:42写道： > 如果是窗口类聚合，可以尝试一下自定义窗口 Trigger > > Best, > LakeShen > > 林影 于2021年1月28日周四 下午5:46写道： > > > Hi, Jessica.J.Wang > > 开源flink看起来没这个功能哈，文档翻了一遍没找到 > > > > Jessica.J.Wang 于2021年1月28日周四 下午5:25写道： > > > > > 你使用的是什么窗口呢，是

提交job的命令，./bin/flink run-application -t yarn-application ... 和 ./bin/flink run -m yarn-cluster ...

如题，在 ./flink --help中看到提交job的命令有两个相似的，貌似都会将jobManager发送yarn node上去之行，但不明白他们区别，官网也未找到他们的区别，请帮忙解释下他们之间的区别？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: reduce函数的trigger问题

此处的trigger你可以理解成是计算结果的输出时机，你的reduce计算还是增量的哈。 xiaolail...@163.com 于2021年1月29日周五 上午11:27写道： > 您好！最近刚开始学习flink，问一个关于trigger的问题： > > 如下的reduce操作： > env.socketTextStream("localhost", ) > .flatMap(new Splitter()) > .keyBy(value -> value.f0) >

Re: 为什么window的reduceFunction不支持RichFunction呢

不是，flink是提供了richReduce，但不支持基于window的richReduce。 基于window的reduce只支持简单reduce，具体需要做自定义状态计算的，按照注释要求使用windowFunction和ProcessWindowFunction去做呀。 一直都是这样，1.12也是的哈。 Kezhu Wang 于2021年1月29日周五 上午11:40写道： > reduceFunction 是和 ReducingStateDescriptor 配合的， 并不是 > “window的”。“WindowOperator” 的 function 是

关于Flink作业的负载监控 task-load指标

Hi,everyone: 看到滴滴的一篇文章中指出task-load指标，这个线程的占用时间 具体该怎么统计呢？求大神指点 | | 1305332 | | 1305...@163.com | 签名由网易邮箱大师定制

Hi??

Hi dear friend. how are you doing today and how is business moving? i contact to buy from your company kindly send me your latest catalog. also inform me about the 1)Minimum Order Quantity, 2)Delivery time or FOB, 3) payment terms warranty. Please contact us via email: Your early reply is highly

Re: 为什么window的reduceFunction不支持RichFunction呢

reduceFunction 是和 ReducingStateDescriptor 配合的， 并不是 “window的”。“WindowOperator” 的 function 是 “InternalWindowFunction”，这个可以是 “RichFunction”。 Flink 中的 state 除了可以绑定 key，也可以绑定 namespace，只是 namespace 并没有直接暴露给用户。如果需要的话，可以自己写个 WindowOperator，暴露个 WindowFunction。 Interface WindowFunction { // You could

Re: 为什么window的reduceFunction不支持RichFunction呢

Hi, nobleyd, 请问你是在哪个版本发现 reduceFunction 不支持 RichFunction 呢？ 我在1.12 版本试了一下是支持的呀，而且 JavaDoc 里也有 RichReduceFunction 类[1] [1]. https://ci.apache.org/projects/flink/flink-docs-release-1.12/api/java/org/apache/flink/api/common/functions/RichReduceFunction.html -- Sent from:

reduce函数的trigger问题

您好！最近刚开始学习flink，问一个关于trigger的问题： 如下的reduce操作： env.socketTextStream("localhost", ) .flatMap(new Splitter()) .keyBy(value -> value.f0) .window(TumblingEventTimeWindows.of(Time.seconds(15))) .reduce(new ReduceFunction>() {

Re: 对于 Flink 可撤回流做聚合，当上游数据撤回时，最终聚合值变小了，怎么解决这种问题。

要看一下具体的Sql 或者具体的算子 下游的 sink needRetract=false的情况，有些场景可以抑制上游算子的回撤，Retract 可以优化成 Upsert -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 使用DataStream API + HBaseRowInputFormat读取HBase时表时，Row arity of from (2) does not match this serializers field length (1)

可以参照一下 HBaseTableSource 里面的实现方法 HBaseTableSchema hbaseSchema = new HBaseTableSchema(); hbaseSchema.addColumn(xxx) hbaseSchema.setRowKey(xxx); execEnv.createInput(new HBaseRowInputFormat(conf, tableName, hbaseSchema), getReturnType()) .name(explainSource()); -- Sent

Re:对于 Flink 可撤回流做聚合，当上游数据撤回时，最终聚合值变小了，怎么解决这种问题。

以前做过，自定义sink，更新值小于 存储值的时候不更新 在 2021-01-25 16:00:28，"LakeShen" 写道： >Hi 社区， > >之前遇到一个问题，在 Flink 里面，对于一个数据流（能够撤回的）进行聚合时，当这个数据流有大量撤回时，最终聚合值会变小。这种情况之前有看到说加一个 >mini batch 来减轻这种情况的影响，还有别的方法能够解决这个问题吗? > >Best, >LakeShen

Re: 怎么理解 tolerableCheckpointFailureNumber

Hi, tolerableCheckpointFailureNumber 限制的是最大可容忍的连续失败checkpoint计数 continuousFailureCounter [1]，例如将tolerableCheckpointFailureNumber 设置成3，连续失败3次，continuousFailureCounter 会累计到3，作业就会尝试重启。 如果中间有一个checkpoint成功了，continuousFailureCounter 就会重置为零 [2]。

怎么理解 tolerableCheckpointFailureNumber

tolerableCheckpointFailureNumber 是设置可容忍的checkpoint失败次数，具体怎么理解呢？比如 设置为3 1. 当checkpoint 失败时，该值+1，直到 大于 3，实时作业就发生失败或重启？ 2. 当checkpoint 失败时，是立即进行下个checkpoint？还是根据周期设置自动触发？ 3. 该值是累加值吗

Re: key group from xx to yy does not contain zz异常

感谢老师解答，keyBy的执行逻辑看来我理解的太肤浅了。随机数生成逻辑在keyBy前通过map赋值到具体字段，保证后续keyby时稳定，应该就对了。再次感谢老师指点迷津。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

使用DataStream API + HBaseRowInputFormat读取HBase时表时，Row arity of from (2) does not match this serializers field length (1)

Hi: 您好，我在使用DataStream API 读取HBase表时，使用了HBaseRowInputFormat，并根据HBaseTableSchema了schema，代码如下： val env = StreamExecutionEnvironment.getExecutionEnvironment val hbaseTableSchema = TableSchema.builder() .add(TableColumn.of("id", DataTypes.STRING())) .add(TableColumn.of("f1",

为什么window的reduceFunction不支持RichFunction呢

问题如title，当然当前Flink的API还是可以实现RichReduceFunction的效果的，就是基于windowFunction或者processWindowFuntion。 但是，windowFunc和reduceFunc最大的区别在于windowFunc是窗口触发操作，而reduce是实时的增量操作。 如果说我的窗口计算对于每个record的到来都需要一个极复杂的操作，我更希望在reduce中完成，而不是windowFunc中完成，因为那样会导致整个窗口所有key的数据几乎在同一时刻触发，这回导致压力变高。

Re: key group from xx to yy does not contain zz异常

Hi， 原因是你的key selector引入了随机变量 （也就是下面的方法keyBy），导致其select出来的key不是固定的 public KeySelector keyBy(int parallelism) { return value -> Joiner.on(SeparatorConstant.BAR).join(value.getMetricsId(), ThreadLocalRandom.current().nextInt(parallelism)); } 例如原先的key selector选出的key是

Re:Re: flink-1.12 通过-t指定模式后无法指定yarn参数

好的 感谢！ 在 2021-01-28 15:52:36，"silence" 写道： >flink1.12后所有的yarn相关的参数通过-D进行指定 >例：-D yarn.application.name=xxx 替代以前的-ynm xxx >更多配置参考文档https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html#yarn > > > >-- >Sent from: http://apache-flink.147419.n8.nabble.com/

Re: kafka 所有分区无数据的情况下，导致watermark无法前进

如果是窗口类聚合，可以尝试一下自定义窗口 Trigger Best, LakeShen 林影 于2021年1月28日周四 下午5:46写道： > Hi, Jessica.J.Wang > 开源flink看起来没这个功能哈，文档翻了一遍没找到 > > Jessica.J.Wang 于2021年1月28日周四 下午5:25写道： > > > 你使用的是什么窗口呢，是 Tumble或者Hop吗，如果没数据 但是想提前输出结果可以用 emit > > > > >

关于flink-shaded-xxx的问题

如题，我想知道flink shade了多个包，比如jackson，guava等。 其目的是（1）flink用到这些，为了避免冲突所以shade。还是（2）flink推荐用户直接使用flink shade好的这些包？ 如上，我想知道是否“推荐”用户直接使用flink shade的这些包。还是我们自己去依赖自己的包，比如我当前就用到了jackson，以及guava（我直接用了最新的30-jre的版本）。

Re: Flink1.12 批处理模式，分词统计时单词个数为1的单词不会被打印

你用的应该是 1.12.0 版本吧。这是一个已知问题 [1]，升级到 1.12.1 有修复。 Thank you~ Xintong Song [1] https://issues.apache.org/jira/browse/FLINK-20764 On Thu, Jan 28, 2021 at 4:55 PM xhyan0427 <15527609...@163.com> wrote: > 代码： > val env = StreamExecutionEnvironment.getExecutionEnvironment > >

key group from xx to yy does not contain zz异常

线上部署flink项目时，启动爆如下错误，在测试环境可正常启动，job依赖的flink版本是1.10，flink 集群版本是1.12-SNAPSHOT，与线上一致。有点摸不着头脑，麻烦各位老师帮分析分析 堆栈信息： java.lang.IllegalArgumentException: key group from 44 to 45 does not contain 4 at org.apache.flink.util.Preconditions.checkArgument(Preconditions.java:161) at

回复： 关于端到端的延迟监控

谢谢大家，清楚了 | | 1305332 | | 1305...@163.com | 签名由网易邮箱大师定制 在2021年01月28日 17:56，Jessica.J.Wang 写道： 官方的LatencyMarker 表示的是数据的流通性， 他和数据是在同一个pipeline 中顺序处理的，如果你的算子都是同步的情况 是可以反应出数据的真实处理延迟，生产上是可以使用的，但是 延迟粒度 metrics.latency.granularity 最好调整成 single或者 operator ,防止latency上报太多 压垮服务 但当你的算子是个异步

检查点成功，但从检查点恢复失败。使用了guava的bloomFilter，有人帮忙分析下吗？

如下，我使用到了Guava的BloomFilter，貌似是基于kyro序列化的。检查点成功了，但是基于检查点恢复任务是失败的。 报错堆栈如下，关键错误是什么无法访问public修饰的成员？ java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.operators. StreamTaskStateInitializerImpl.streamOperatorStateContext(

Re: 关于端到端的延迟监控

官方的LatencyMarker 表示的是数据的流通性， 他和数据是在同一个pipeline 中顺序处理的，如果你的算子都是同步的情况 是可以反应出数据的真实处理延迟，生产上是可以使用的，但是 延迟粒度 metrics.latency.granularity 最好调整成 single或者 operator ,防止latency上报太多 压垮服务 但当你的算子是个异步 用AsyncWaitOperator实现的话，因为latencyMarker并没有像watermark一样 addToWorkQueue,直接处理上报metrics,所以延迟信息就不准确了

Re: kafka 所有分区无数据的情况下，导致watermark无法前进

你使用的是什么窗口呢，是 Tumble或者Hop吗，如果没数据 但是想提前输出结果可以用 emit https://help.aliyun.com/document_detail/98951.html?spm=5176.11065259.1996646101.searchclickresult.513d1037M5VADa -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink1.12 批处理模式，分词统计时单词个数为1的单词不会被打印

代码： val env = StreamExecutionEnvironment.getExecutionEnvironment env.setRuntimeMode(RuntimeExecutionMode.BATCH) // 在DataStream API上以批处理方式执行 // 本地测试文件 val inputStream = env.readTextFile(getClass.getResource("/hello.txt").getPath) // 分词统计，问题：批处理模式的时候，sum 为 1 的单词不会被打印

Re: 关于端到端的延迟监控

每一条records处理过程中透传开始时间，在sink算子通过metrics上报opentsdb、Prometheus 等时间序列数据库，最后通过grafana等可视化工具展示。 wpp <1215303...@qq.com> 于2021年1月28日周四 下午2:53写道： > 这个延迟，只是给一个参考意义吧，

Re: kafka 所有分区无数据的情况下，导致watermark无法前进

Hi，刘小红： 这个我查阅过，实验过，通过idle source 是无法解决的。 可以查看这个链接：http://apache-flink.147419.n8.nabble.com/Flink-SQL-td4535.html 在我的这个场景里面，上游已经配置了idle source，上游如果突然没有数据了，下游的flink 窗口还是无法关闭输出结果。 这个说明idle source 无法解决这个问题 刘小红 <18500348...@163.com> 于2021年1月28日周四 下午3:01写道： >