作为读的数据源时,使用的hbase的sdk scanner读取,不是全量读。见org.apache.flink.connector.hbase2.source.AbstractTableInputFormat#nextRecord。
作为维表时,使用Guava cache缓存每次join到的key。见org.apache.flink.connector.hbase.source.HBaseRowDataLookupFunction#eval。 Best Wishes! - Yuan 在2021年11月7日 16:26,guanyq<dlgua...@163.com> 写道: 请大佬指导下: -- 在 Flink SQL 中注册 HBase 表 "mytable" CREATETABLEhTable(rowkeyINT,family1ROW<q1INT>,family2ROW<q2STRING,q3BIGINT>,family3ROW<q4DOUBLE,q5BOOLEAN,q6STRING>,PRIMARYKEY(rowkey)NOTENFORCED)WITH('connector'='hbase-1.4','table-name'='mytable','zookeeper.quorum'='localhost:2181'); Flink sql在读取hbase表时,是一次将数据加载到内存还是每次加载一批数据呀? 其实就是想知道,如果hbase表数据量特别大的时候,Flink sql是如何处理的?