Flink1.2对 key 进行分区，和 hash 分区有什么区别?

Flink1.2对 key 进行分区，和 hash 分区有什么区别? 如: 分区数值 = key 的 hash值 % 并行度？ 为什么不直接使用 hash 进行分区? KeyGroupStreamPartitioner.java | | @Override public int selectChannel(SerializationDelegate> record) { K key; try { key = keySelector.getKey(record.getInstance().getValue()); } catch (Exception e)

Flink tableApi 按列排序，只能按一列，不能按多列排序吗?

输出结果，只按id降序排序，没有按value1升序排序。 package com.opensourceteams.module.bigdata.flink.example.tableapi.operation.orderBy import org.apache.flink.api.scala.{ExecutionEnvironment, _} import org.apache.flink.table.api.TableEnvironment import org.apache.flink.table.api.scala._ object Run { def

Re: Flink 在什么情况下产生乱序问题？

9年3月6日，下午10:29，刘 文 写道： > > 该问题，明白一点了，整理成文档供大家参考 > ——— > > Flink 1.7.2 业务时间戳分析流式数据源码分析: > https://github.com/opensourceteams/flink-maven-scala/blob/master/md/miniCluster/Flink-EventTime-watermark.md > > <https:/

Flink 在什么情况下产生乱序问题？

请教一下，大家说的Flink 乱序问题，是什么情况下产生，我没明白? ).谁给我一下会产生乱序问题的场景吗？ ).以下是读取kafka中的数据，三个并行度 ).输出的结果如下：（总数据20条） 3> Message_3 1> Message_1 2> Message_2 1> Message_4 2> Message_5 3> Message_6 2> Message_8 1> Message_7 2> Message_11 3> Message_9 2> Message_14 1> Message_10 2> Message_17 3> Message_12 2> Message_20

Re: 如何每五分钟统计一次当天某个消息的总条数

处理这个问题，我有一些想法： ).Flink Stream默认是处理增量数据，对指定间隔时间或数量内的数据进行分析 ).可以自定义 ProcessAllWindowFunction,相当于，对于一个Window的数据，自己实现处理逻辑，参数是在Window之前的operator也是已经处理的 ).对于你，需要存储每次计算的结果，并更新到存储中心供每次计算使用(如Redis、等) ).下面是一个ProcessAllWIndowFunction的示例，供参考(实现功能: WordCount 程序(增量按单词升序排序) ) package

Re: [问题]Flink并行计算中，不同的Window是如何接收到自己分区的数据的，即Window是如何确定当前Window属于哪个分区数?

感谢大家的回答，我明白了一些了，并整理这个问题的文档 Flink1.7.2 Source、Window数据交互源码分析: https://github.com/opensourceteams/fink-maven-scala-2/blob/master/md/miniCluster/flink-source-window-data-exchange.md

Re: 订阅

请发送邮件到 : user-zh-subscr...@flink.apache.org 回收到一份回执邮件，有可能在垃圾邮件中，你再回复任意消息，就可以订阅了 > 在 2019年3月2日，下午3:55，(｡･ˇ_ˇ･｡:) 写道： > > 订阅

Re: flink学习

请发送邮件到 : user-zh-subscr...@flink.apache.org 回收到一份回执邮件，有可能在垃圾邮件中，你再回复任意消息，就可以订阅了 > 在 2019年3月2日，下午3:10，袁刚 写道： > > | > flink学习 > > > > > > > > > > > | > | > | | > > | > |

Re: [问题]Flink并行计算中，不同的Window是如何接收到自己分区的数据的，即Window是如何确定当前Window属于哪个分区数?

1 （2/2） window 当前partition是如何确定的? window 是如何读到当前parition中的数据的? -- > 在 2019年3月3日，下午9:26，刘 文 写道： > > WordCount.scala > package > com.opensourceteams.module.bigdata.flink.example.stream.worldcount.nc.pa

Re: [问题]Flink并行计算中，不同的Window是如何接收到自己分区的数据的，即Window是如何确定当前Window属于哪个分区数?

use",timeoutHeartbeatPause) configuration.setString("akka.watch.heartbeat.pause",timeout) configuration.setInteger("heartbeat.interval",1000) configuration.setInteger("heartbeat.timeout",5000) } configuration } } >

[问题]Flink并行计算中，不同的Window是如何接收到自己分区的数据的，即Window是如何确定当前Window属于哪个分区数?

).环境 Flink1.7.2 WordCount local,流处理 ).source 中 RecordWriter.emit(),给每个元素按key,分到不同的partition,已确定每个元素的分区位置,分区个数由 DataStream.setParallelism(2)决定 public void emit(T record) throws IOException, InterruptedException { emit(record,

订阅

订阅 | 姓名刘文 thinktothi...@163.com 公司名称： 地址： 电话 手机：15910540132 QQ:372065525 | 扫描该二维码，可以将电子名片迅速保存到手机 使用帮助 |