回复：【Flink的shuffle mode】

Sun, 05 Jul 2020 21:17:06 -0700 

那就是说datasream默认模式就是pipeline,而批模式是batch，批的模式是存在shuffle情况下，需要等shuffle操作造成，才能发送到下游.那如果批应用有shuffle操作和没有shuffle的，是都要等这个shuffle操作完成了才能一起发给下游，还是说其他非shuffle操作完成了可以先发给下游，不用等shuffle操作完成一起再发送？



发自我的iPhone


------------------ 原始邮件 ------------------
发件人: Jingsong Li <jingsongl...@gmail.com&gt;
发送时间: 2020年7月6日 11:03
收件人: user-zh <user-zh@flink.apache.org&gt;
主题: 回复：【Flink的shuffle mode】



Hi,

现在就两种：pipeline和batch

batch的话是block住，直到执行完毕才发给下游的，所以这个shuffle mode一般只对批作业有用。

理论上可以per transformation的来设置，see PartitionTransformation.

Best,
Jingsong

On Sun, Jul 5, 2020 at 10:48 PM 忝忝向仧 <153488...@qq.com&gt; wrote:

&gt; Hi,all:
&gt;
&gt;
&gt; 看Flink源码时候，在应用中使用keyBy后，源码的transformations会有shuffle mode方法，这个shuffle
&gt; mode看是UNDEFINED的。
&gt; 那么，shuffle mode有哪些方式?在应用里面可以设置么?
&gt;
&gt;
&gt; 谢谢.



-- 
Best, Jingsong Lee

回复