回复:Flink Sql读取Hbase表

2021-11-07 文章 zst...@163.com
作为读的数据源时,使用的hbase的sdk 
scanner读取,不是全量读。见org.apache.flink.connector.hbase2.source.AbstractTableInputFormat#nextRecord。


作为维表时,使用Guava 
cache缓存每次join到的key。见org.apache.flink.connector.hbase.source.HBaseRowDataLookupFunction#eval。


Best Wishes!
- Yuan
在2021年11月7日 16:26,guanyq 写道:
请大佬指导下:

-- 在 Flink SQL 中注册 HBase 表 "mytable"
CREATETABLEhTable(rowkeyINT,family1ROW,family2ROW,family3ROW,PRIMARYKEY(rowkey)NOTENFORCED)WITH('connector'='hbase-1.4','table-name'='mytable','zookeeper.quorum'='localhost:2181');
Flink sql在读取hbase表时,是一次将数据加载到内存还是每次加载一批数据呀?
其实就是想知道,如果hbase表数据量特别大的时候,Flink sql是如何处理的?





Flink Sql读取Hbase表

2021-11-07 文章 guanyq
请大佬指导下:

-- 在 Flink SQL 中注册 HBase 表 "mytable"
CREATETABLEhTable(rowkeyINT,family1ROW,family2ROW,family3ROW,PRIMARYKEY(rowkey)NOTENFORCED)WITH('connector'='hbase-1.4','table-name'='mytable','zookeeper.quorum'='localhost:2181');
Flink sql在读取hbase表时,是一次将数据加载到内存还是每次加载一批数据呀?
其实就是想知道,如果hbase表数据量特别大的时候,Flink sql是如何处理的?