好的,我试试,谢谢解答!
| | totorobabyfans | | 邮箱:totorobabyf...@163.com | 签名由 网易邮箱大师 定制 在2021年06月18日 14:16,yidan zhao 写道: 推荐使用批量+异步方式写。 田磊 <totorobabyf...@163.com> 于2021年6月18日周五 下午1:12写道: > > 现在用flink自定义source读取hbase的其中一张表的数据,表中这张表的总数据有三千万条,处理完之后的数据写入es和hbase,但是每次写的时候到一千多万条就出现反压,之前怀疑是es的问题,最后单独写hbase也出现相同的问题,出问题后就一条都不写了,大佬指点一下。日志也没有异常。详见附件。es和hbase都是批量写。source和sink的并行度都是1,中间map算子并行度16。 > > > > *totorobabyfans*邮箱:totorobabyf...@163.com > > <https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1&name=totorobabyfans&uid=totorobabyfans%40163.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fqiyelogo%2FdefaultAvatar.png&items=%5B%22%E9%82%AE%E7%AE%B1%EF%BC%9Atotorobabyfans%40163.com%22%5D>签名由 > 网易邮箱大师 <https://mail.163.com/dashi/dlpro.html?from=mail88> 定制 >