求助flink Buffer pool is destroyed异常

hi, 大家好！ 今天运行flink时抛出了Buffer pool is destroyed异常，数据源是kafka；消费前kafka队列中堆积了8G左右的数据。详细报错如下： org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException: Could not forward element to next operator at

附件好像发不过去，补充部分日志//回复: 回复: blink提交yarn卡在一直重复分配container

2019-04-09 09:58:03.012 [flink-akka.actor.default-dispatcher-3] INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - SourceConversion(table:[builtin, default, sourceStreamTable, source: [KafkaJsonTableSource]], fields:(TI, EV, CS_HOST, DCS_ID)) -> Calc(select: (TI, EV, DCS_ID)) ->

回复: 答复: blink提交yarn卡在一直重复分配container

sean...@live.com 发件人： 苏 欣 发送时间： 2019-04-09 10:30 收件人： user-zh@flink.apache.org 主题： 答复: blink提交yarn卡在一直重复分配container 不好意思，已补充yarn的日志文件。 出现问题的原因我已经找到了，在配置flink-conf.yaml中的下面三项后，会出现分配不了资源的问题

答复: blink提交yarn卡在一直重复分配container

不好意思，已补充yarn的日志文件。 出现问题的原因我已经找到了，在配置flink-conf.yaml中的下面三项后，会出现分配不了资源的问题 security.kerberos.login.use-ticket-cache: false security.kerberos.login.keytab: /home/hive.keytab security.kerberos.login.principal: hive/cdh129135@MYCDH 如果在客户机使用kinit命令后再提交，yarn资源可以正常分配。 现在我有几个问题请教大佬们： 1、

Re: flink on yarn 启动任务失败

Hi, “Queue's AM resource limit exceeded” -> 这个应该是 YARN 对 AM 的使用资源进行了限制吧，上限是 4096M 内存？你启动的应该是 job mode 吧，每个 job 都会启动单独的 AM，每个 AM 占用 2048M 内存？如果按这样算的话确实只够启动两个 1900 <575209...@qq.com> 于2019年4月4日周四 下午4:54写道： > 目前整体采用flink on yarn ha 部署，flink版本为社区版1.7.2，hadoop版本为社区版2.8.5 > > >

Re: 写HBase慢造成消息堆积，有没有异步IO可以用于sink或者outputFormat的方法？

有没有参考flink官方源码示例中的这个例子： org.apache.flink.addons.hbase.example.HBaseWriteExample 这个类写的就是flink插入HBase 效率很高 我们实际生产也用到了插入HBase但是效率很高，你可以看一下这个源码; 张作峰 于2019年4月6日周六 下午4:38写道： > 业务场景中，需要将处理后的消息写入到HBase中，由于写入HBase慢，引起消息堆积。 > 通过Stream API 有没有方法可以异步批量发送？ > 谢谢！

Re: flink on yarn 模式 日志问题

flink的historyserver 貌似只能查看completed jobs 不能查看日志，这个跟spark的historyserver有差别吧 Biao Liu 于2019年4月8日周一 下午3:43写道： > 1. 这个日志确实会存在，如果你觉得5秒打印两行不能接受的话，我能想到的几种解决方法 > 1.1. 加大 checkpoint 间隔 > 1.2. 单独指定该 logger 的 level，修改 > >

Re: 求助，blink资源配置的问题，为什么资源还不足啊。。。

Hi，可以提供更详细的信息吗？例如 1. 版本号 2. 完整的日志 3. 完整的集群配置文件 4. 集群是 on YARN 还是 standalone? 启动集群命令？ 5. 完整的 job 信息？启动 job 的命令？ 邓成刚【qq】 于2019年4月4日周四 下午6:13写道： > 求助，blink资源配置的问题，为什么资源还不足啊。。。 > 盼回复，谢谢！ > > 为什么 > > 2019-04-04 17:49:32,495 INFO > org.apache.flink.runtime.jobmaster.slotpool.SlotPool -

Re: 请教关于Keyed() 方法的问题。

Hi, 尝试理解fli一下你的疑问 “其中，每个具体mapFunc处理的数据，应该是相同的key数据。不知理解是否正确” -> keyby 只会保证相同 key 的数据会被分在相同 mapFunc 中，每个 mapFunc 可能会处理不同 key 的数据，详见官网文档： https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/stream/operators/ Yaoting Gong 于2019年4月4日周四 下午2:00写道： > 大家好， > >

Re: flink on yarn 模式 日志问题

1. 这个日志确实会存在，如果你觉得5秒打印两行不能接受的话，我能想到的几种解决方法 1.1. 加大 checkpoint 间隔 1.2. 单独指定该 logger 的 level，修改 log4j.properties，增加一行：log4j.logger.org.apache.flink.runtime.checkpoint.CheckpointCoordinator=WARN 1.3. 修改源代码重新编译 2. 确实在 YARN 模式下，日志的位置不固定，和你的需求不匹配，standalone 模式可能更友好些。硬核一点的方法，可以扩展 log4j