Re: flink-sql 1.11整合hbase的查询性能问题

2020-08-28 文章 大罗
Hi Rui Li, 谢谢你的回复。 另外,我在apache jira flink,发起了issue ” flink sql 1.11 HbaseTableSource Supports FilterPushDown” https://issues.apache.org/jira/browse/FLINK-19088 希望能够尽快发布,改善在flink sql 1.11和hbase的整合效率。谢谢! -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink-sql 1.11整合hbase的查询性能问题

2020-08-28 文章 Rui Li
Hello, 目前hive connector没有支持hive的storage handler表 [1],也就是说通过STORED BY定义的表现在是不支持的。普通的external表是支持的。 [1] https://cwiki.apache.org/confluence/display/Hive/StorageHandlers#StorageHandlers-DDL On Fri, Aug 28, 2020 at 2:43 PM Leonard Xu wrote: > Hi > > > 另外,HbaseTableSource 有没有计划什么时候支持 SupportsFilter

Re: flink-sql 1.11整合hbase的查询性能问题

2020-08-28 文章 大罗
请问,如何在社区建立issue "HbaseTableSource 支持 SupportsFilterPushDown",有guideline吗。 另外,"第二个异常栈,如果确认”org.apache.hive:hive-hbase-handler:2.1.1” 已经加载,我感觉是个bug, cc Rui Li 确认下",你说的"Rui Li",请问,我要怎么抄送,可以给他的邮件吗,还是你已经抄送给他。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink-sql 1.11整合hbase的查询性能问题

2020-08-27 文章 Leonard Xu
Hi > 另外,HbaseTableSource 有没有计划什么时候支持 SupportsFilterPushDown. 我搜了下社区还没相关的issue,如果是强需求你可以去社区建个issue[1],让社区支持下 第二个异常栈,如果确认”org.apache.hive:hive-hbase-handler:2.1.1” 已经加载,我感觉是个bug, cc Rui Li 确认下 祝好 Leonard [1] https://issues.apache.org/jira/projects/FLINK/summary

flink-sql 1.11整合hbase的查询性能问题

2020-08-27 文章 大罗
你好,我想提两个问题,关于flink-sql整合hbase,问题列表如下: 问题一:flink-sql通过hive catalog整合hbase后的查询执行计划,可否使用rowkey做精确filter而不是整表扫描。 问题二:flink-sql 查询hive的hbase外部表,是否没有通过HBaseStorageHandler正确解析INPUTFORMAT和OUTPUTFORMAT 两个问题的具体情景如下: 我所使用的版本如下: Hadoop 3.0.0+cdh6.3.2 HDFS3.0.0+cdh6.3.2 HBase 2.1.0+cdh6.3.2 Hive2.1

Re: flink-sql 1.11整合hbase的查询性能问题

2020-08-27 文章 大罗
Hi Leonard, 我想强调,如果我在hive里定义一个external tabled读取指定的hdfs location,比如 "hive_external_table", 如下: CREATE EXTERNAL TABLE `hive_external_table`( `sid` int, `sname` string) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES ( 'fi

Re: flink-sql 1.11整合hbase的查询性能问题

2020-08-27 文章 Leonard Xu
Hi, 大罗 > 在 2020年8月28日,11:57,大罗 写道: > > > 你好,我想提两个问题,关于flink-sql整合hbase,问题列表如下: > 问题一:flink-sql通过hive catalog整合hbase后的查询执行计划,可否使用rowkey做精确filter而不是整表扫描。 > > 问题二:flink-sql > 查询hive的hbase外部表,是否没有通过HBaseStorageHandler正确解析INPUTFORMAT和OUTPUTFORMAT > 问题一: HbaseTableSource 目前没有支持 SupportsFilterPushD

flink-sql 1.11整合hbase的查询性能问题

2020-08-27 文章 大罗
你好,我想提两个问题,关于flink-sql整合hbase,问题列表如下: 问题一:flink-sql通过hive catalog整合hbase后的查询执行计划,可否使用rowkey做精确filter而不是整表扫描。 问题二:flink-sql 查询hive的hbase外部表,是否没有通过HBaseStorageHandler正确解析INPUTFORMAT和OUTPUTFORMAT 两个问题的具体情景如下: 我所使用的版本如下: Hadoop 3.0.0+cdh6.3.2 HDFS3.0.0+cdh6.3.2 HBase 2.1.0+cdh6.3.2