答复: Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题

2020-11-22 文章 sherlock zw
多谢指点,试了下,返回 Tuple 类型作为 key 是可以按多个字段进行分组的,拼接成 String 的话应该也是可以的
final SingleOutputStreamOperator> sum = flatMap
.keyBy(new KeySelector, 
Tuple2>() {
@Override
public Tuple2 getKey(Tuple3 tuple3) throws Exception {
return Tuple2.of(tuple3.f0, tuple3.f1);
}
})
.sum(2);

-邮件原件-
发件人: 赵一旦  
发送时间: 2020年11月23日 14:35
收件人: user-zh@flink.apache.org
主题: Re: Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题

(1)返回字符串,自己拼接就可以。
(2)返回Tuple类型作为Key。
1.10到1.11相当于是去除了多key的辅助keyBy方法,本身内部就是组成tuple。原因不清楚。

sherlock zw  于2020年11月20日周五 上午11:18写道:

> 我看了现在的 flink 1.11 的 keyBy 的代码,是使用的KeySelector
> key,但每次只能返回一个字段,不支持返回多个字段,也就说明了一次只能按一个字段去分组(PS: test.keyBy(t ->
> t.f0)),如果我想按多个字段进行分组的话该怎么操作呢?
>
> -邮件原件-
> 发件人: guanxianchun 
> 发送时间: 2020年11月19日 20:53
> 收件人: user-zh@flink.apache.org
> 主题: Re: Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题
>
> flink-1.11使用KeySelector
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>


Re: Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题

2020-11-22 文章 赵一旦
(1)返回字符串,自己拼接就可以。
(2)返回Tuple类型作为Key。
1.10到1.11相当于是去除了多key的辅助keyBy方法,本身内部就是组成tuple。原因不清楚。

sherlock zw  于2020年11月20日周五 上午11:18写道:

> 我看了现在的 flink 1.11 的 keyBy 的代码,是使用的KeySelector
> key,但每次只能返回一个字段,不支持返回多个字段,也就说明了一次只能按一个字段去分组(PS: test.keyBy(t ->
> t.f0)),如果我想按多个字段进行分组的话该怎么操作呢?
>
> -邮件原件-
> 发件人: guanxianchun 
> 发送时间: 2020年11月19日 20:53
> 收件人: user-zh@flink.apache.org
> 主题: Re: Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题
>
> flink-1.11使用KeySelector
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>


答复: Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题

2020-11-19 文章 sherlock zw
我看了现在的 flink 1.11 的 keyBy 的代码,是使用的KeySelector 
key,但每次只能返回一个字段,不支持返回多个字段,也就说明了一次只能按一个字段去分组(PS: test.keyBy(t -> 
t.f0)),如果我想按多个字段进行分组的话该怎么操作呢?

-邮件原件-
发件人: guanxianchun  
发送时间: 2020年11月19日 20:53
收件人: user-zh@flink.apache.org
主题: Re: Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题

flink-1.11使用KeySelector



--
Sent from: http://apache-flink.147419.n8.nabble.com/


Re: Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题

2020-11-19 文章 guanxianchun
flink-1.11使用KeySelector



--
Sent from: http://apache-flink.147419.n8.nabble.com/


Flink 1.10 和 Flink 1.11 中 keyBy 算子聚合多个字段的问题

2020-11-19 文章 sherlock zw
大佬们:
   在 Flink 1.10.x 中的 keyBy 算子可以同时按多个字段分组,比如 map.keyBy(0,1),但在 1.11.x 
版本中这种方式被弃用了,看了下源码好像不支持按多字段分组了?还是有别的其他形式?
   如果我想按多个字段分组的话需要怎么操作?
   请大佬指点!