回复: flink dataset api join报错

2021-07-03 Thread Eric Yang
Hello Terry
您好,很高兴您能回复我,我这边使用的是flink 1.12版本,使用的是flink 的 dataset api 
的三个数据集进行join,类似于 a join b join c,join的时候没有指定JoinHint策略,但是运行的时候报错了,具体报错信息是:
Hash join exceeded maximum number of recursions, without reducing partitions 
enough to be memory resident. Probably cause: Too many duplicate keys.
显示的是第二个join报错的,我感觉可能需要指定下join的JoinHint策略,让它强制进行repartition,不晓得是否可行。
您这边有时间的话,希望您能看一看哈,不管怎样,还是非常感谢您,祝您生活愉快!


| |
Eric Yang
|
|
ymj7...@163.com
|
签名由网易邮箱大师定制


在2021年07月3日 19:44,Terry Wang 写道:
Hi Eric~

图片打不开,能否提供下具体使用的flink版本,使用方式和报错的异常栈~


Best,
Terry Wang



2021年7月2日 下午4:02,Eric Yang  写道:


hello,
您好,打扰到大家了,我使用的是flink的dataset的API,多个数据集进行join,比如,a join b join c,最终运行报错了,报错如下:
我是需要在join的时候指定JoinHint策略么,求助,真的很感谢!





Eric Yang
ymj7...@163.com
<https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1=Eric+Yang=ymj7110%40163.com=https%3A%2F%2Fmail-online.nosdn.127.net%2Fwzpmmc%2F0dca575123f8f9b1e003ef5f6019afbd.jpg=%5B%22ymj7110%40163.com%22%5D>
签名由 网易邮箱大师 <https://mail.163.com/dashi/dlpro.html?from=mail81> 定制





flink dataset api join报错

2021-07-02 Thread Eric Yang


hello,
您好,打扰到大家了,我使用的是flink的dataset的API,多个数据集进行join,比如,a join b join 
c,最终运行报错了,报错如下:
 我是需要在join的时候指定JoinHint策略么,求助,真的很感谢!







| |
Eric Yang
|
|
ymj7...@163.com
|
签名由网易邮箱大师定制