并发是200和400两种,集群有270多个节点,不过可用的vcores是6600多,内存是17T左右,看了执行图q43这个存在数据倾斜的的问题,失败的节点存在数据量偏大的情况
---原始邮件--- 发件人: "Jingsong Li"<jingsongl...@gmail.com> 发送时间: 2020年3月27日(周五) 上午10:20 收件人: "被惊艳的时光"<2521929...@qq.com>; 抄送: "user-zh"<user-zh@flink.apache.org>;"lirui"<li...@apache.org>; 主题: Re: (无主题) Hi, - 是否是计算规模的问题? 集群大小合适吗?并发合适吗? - 是否是Plan不优的问题? Hive的表有做Analysis吗? CC: user Best, Jingsong Lee On Thu, Mar 26, 2020 at 8:27 PM 被惊艳的时光 <2521929...@qq.com> wrote: > > hello,你好,有个关于flink-sql-benchmark工具的问题需要请教下,在做tpc-ds测试时,当数据量达到4T时(flink版本1.10),q43,q67,q70这三条sql执行出错了,都是在hashjoin的时候失败啦,报错信息是hashjoin迭代的次数过多,不知道之前你们在测试时有没有出现这种情况 > -- Best, Jingsong Lee