Re: Flink Batch 模式下,The rpc invocation size 113602196 exceeds the maximum akka framesize

2020-09-29 文章 zheng faaron
Hi, 可以检查一下这个参数是否设置正确,也可以在jobmanager页面上看下是否有这个参数。我之前遇到过类似问题,设置这个参数可以解决问题。 Best, Faaron Zheng From: jy l Sent: Monday, September 28, 2020 4:57:46 PM To: user-zh@flink.apache.org Subject: Re: Flink Batch 模式下,The rpc invocation size 113602196 exceeds the maximum

Re: Flink Batch 模式下,The rpc invocation size 113602196 exceeds the maximum akka framesize

2020-09-28 文章 jy l
如果使用了print()等算子,会将上一个task的结果一次全部pull过来,pull时数据超过了akka framesize大小导致。 李加燕 于2020年9月28日周一 下午3:07写道: > Flink batch 模式消费hdfs上的文件,并做了一个word count > 操作,但是task一直运行,查看taskmanager的log,发现如下异常: > java.lang.reflect.UndeclaredThrowableException: null > at com.sun.proxy.$Proxy35.updateTaskExecutionState(Un