Re: 【Flink的shuffle mode】

Sun, 05 Jul 2020 21:21:07 -0700 

pipeline：直接走网络传输，不buffer所有数据
batch：buffer所有数据，结束后一起发送

流一定是pipeline
批可以是pipeline(更好的性能)，也可以是batch(更好的容错和更简单的资源申请)

Best,
Jingsong

On Mon, Jul 6, 2020 at 12:16 PM 忝忝向仧 <153488...@qq.com> wrote:

>
> 那就是说datasream默认模式就是pipeline,而批模式是batch，批的模式是存在shuffle情况下，需要等shuffle操作造成，才能发送到下游.那如果批应用有shuffle操作和没有shuffle的，是都要等这个shuffle操作完成了才能一起发给下游，还是说其他非shuffle操作完成了可以先发给下游，不用等shuffle操作完成一起再发送？
>
>
>
> 发自我的iPhone
>
>
> ------------------ 原始邮件 ------------------
> 发件人: Jingsong Li <jingsongl...@gmail.com&gt;
> 发送时间: 2020年7月6日 11:03
> 收件人: user-zh <user-zh@flink.apache.org&gt;
> 主题: 回复：【Flink的shuffle mode】
>
>
>
> Hi,
>
> 现在就两种：pipeline和batch
>
> batch的话是block住，直到执行完毕才发给下游的，所以这个shuffle mode一般只对批作业有用。
>
> 理论上可以per transformation的来设置，see PartitionTransformation.
>
> Best,
> Jingsong
>
> On Sun, Jul 5, 2020 at 10:48 PM 忝忝向仧 <153488...@qq.com&gt; wrote:
>
> &gt; Hi,all:
> &gt;
> &gt;
> &gt; 看Flink源码时候，在应用中使用keyBy后，源码的transformations会有shuffle mode方法，这个shuffle
> &gt; mode看是UNDEFINED的。
> &gt; 那么，shuffle mode有哪些方式?在应用里面可以设置么?
> &gt;
> &gt;
> &gt; 谢谢.
>
>
>
> --
> Best, Jingsong Lee



-- 
Best, Jingsong Lee

回复