看报错是TM挂了,具体原因需要分析TM日志,有可能是上面答复中相同的问题,也有可能是其他原因造成的。
Thank you~
Xintong Song
On Mon, Oct 21, 2019 at 11:36 AM hery...@163.com wrote:
> 参考:
> http://mail-archives.apache.org/mod_mbox/flink-user-zh/201905.mbox/%3c2019052911134683852...@wsmtec.com%3E
>
>
>
> hery...@163.com
>
> 发件人:
参考:http://mail-archives.apache.org/mod_mbox/flink-user-zh/201905.mbox/%3c2019052911134683852...@wsmtec.com%3E
hery...@163.com
发件人: zhangjunjie1...@163.com
发送时间: 2019-10-21 11:05
收件人: user-zh
抄送: zhangjunjie1130
主题: Flink提jar包部署到Yarn上报错
您好:
您好:
我的程序是从kafka取数,然后Flink处理后有写入kafka;本地运行正常,上传到Yarn集群上报错,
Flink版本是:1.7.2
错误是:
2019-10-21 09:52:30,054 INFO
org.apache.flink.runtime.checkpoint.CheckpointCoordinator - Checkpoint
triggering task Source: Custom Source -> Flat Map -> Map -> Map -> Sink:
flink-conncetors-kafka
你好,
blink perjob模式是根据job的资源需求按需申请资源的,不能限制整个job的资源上限。
你列出来的这几个参数,只能控制单个TM的资源上限,但是单个TM的资源上限减少了,整个job的资源需求并不会变,只是会申请更多的TM。
Thank you~
Xintong Song
On Sat, Oct 19, 2019 at 3:56 PM 蒋涛涛 wrote:
> Hi all,
>
> 我在使用blink提交的任务的时候(perjob模式),如何限制任务的资源使用上限啊,有个任务使用yarn的vcores特别多
> 曾使用:
> 1.