Re: blink提交yarn卡在一直重复分配container

2019-04-07 文章 Zili Chen
你好,apache 的邮件列表不支持内嵌图片,请以附件或链接方式引用。 Best, tison. 苏 欣 于2019年4月8日周一 上午10:17写道: > 我以per-job方式提交了一个作业到yarn上面,发现会出现不断重复分配container的现象。 > > 现象为从yarn的web ui上看一瞬间tm的container分配成功了,但是立刻变为只剩一个jm的container,接着会继续分配tm的 > container。不断的重复这个过程直到作业调度不到资源而失败。 > > 我查了一下exit code没找到31代表是什么意思,有没有大佬帮忙分析下,非常感谢! > >

blink提交yarn卡在一直重复分配container

2019-04-07 文章 苏 欣
我以per-job方式提交了一个作业到yarn上面,发现会出现不断重复分配container的现象。 现象为从yarn的web ui上看一瞬间tm的container分配成功了,但是立刻变为只剩一个jm的container,接着会继续分配tm的container。不断的重复这个过程直到作业调度不到资源而失败。 我查了一下exit code没找到31代表是什么意思,有没有大佬帮忙分析下,非常感谢! [cid:image003.png@01D4EDF4.496DE910] 发送自 Windows 10

????: ??HBase??????????????????????????IO????????sink????outputFormat????????

2019-04-07 文章 ????????qq??
??Hbae API,Hbase,??Hbase qq?? ?0?2 ?0?2?? ???0?22019-04-06?0?216:38 ?0?2user-zh

Re:写HBase慢造成消息堆积,有没有异步IO可以用于sink或者outputFormat的方法?

2019-04-07 文章 Yuan Yifan
我们之前的处理方式是批量写入HBase,或者通过其他手段加速写入HBase。 如果HBase现在确因种种原因无法写入或者写入过慢,那么这个时候应该造成反压,逐渐减缓直到停止对上游消息队列的消费。 一般入库的服务(或者说实时性要求不高)和实时性要求强的服务尽可能不要放在同一个Job里面比较好。 仅供参考。 在 2019-04-06 16:38:09,"张作峰" 写道: >业务场景中,需要将处理后的消息写入到HBase中,由于写入HBase慢,引起消息堆积。 >通过Stream API 有没有方法可以异步批量发送? >谢谢!