Re: 写HBase慢造成消息堆积,有没有异步IO可以用于sink或者outputFormat的方法?

2019-04-08 文章 Yang Peng
有没有参考flink官方源码示例中的这个例子: org.apache.flink.addons.hbase.example.HBaseWriteExample 这个类写的就是flink插入HBase 效率很高 我们实际生产也用到了插入HBase但是效率很高,你可以看一下这个源码; 张作峰 于2019年4月6日周六 下午4:38写道: > 业务场景中,需要将处理后的消息写入到HBase中,由于写入HBase慢,引起消息堆积。 > 通过Stream API 有没有方法可以异步批量发送? > 谢谢!

Re:写HBase慢造成消息堆积,有没有异步IO可以用于sink或者outputFormat的方法?

2019-04-07 文章 Yuan Yifan
我们之前的处理方式是批量写入HBase,或者通过其他手段加速写入HBase。 如果HBase现在确因种种原因无法写入或者写入过慢,那么这个时候应该造成反压,逐渐减缓直到停止对上游消息队列的消费。 一般入库的服务(或者说实时性要求不高)和实时性要求强的服务尽可能不要放在同一个Job里面比较好。 仅供参考。 在 2019-04-06 16:38:09,"张作峰" 写道: >业务场景中,需要将处理后的消息写入到HBase中,由于写入HBase慢,引起消息堆积。 >通过Stream API 有没有方法可以异步批量发送? >谢谢!