catalog并提供metaserver,那么无疑是十分友好的。
我们优先实现内部版本,实现既定目标。有机会的话,我们也希望能回馈社区。
@All 目前我们想的还不够多,考虑可能不全面,还希望大家给些建议。
Best,
Xingxing Di
Sender: Jark Wu
Send Time: 2020-07-22 11:22
Receiver: user-zh
Subject: Re: Flink catalog的几个疑问
非常欢迎贡献开源一个轻量的 catalog 实现 :)
On Wed, 22 Jul 2020 at 10:53, Jingsong Li wrote
hi all, 我在想如果社区提供一个unified metastore
server是不是会解决这个问题,然后写一个(一系列)catalog和这个metastore对应
发件人: Jark Wu
发送时间: 2020年7月22日 11:22:56
收件人: user-zh
主题: Re: Flink catalog的几个疑问
非常欢迎贡献开源一个轻量的 catalog 实现 :)
On Wed, 22 Jul 2020 at 10:53, Jingsong Li wrote:
>
非常欢迎贡献开源一个轻量的 catalog 实现 :)
On Wed, 22 Jul 2020 at 10:53, Jingsong Li wrote:
> Hi,
>
> HiveCatalog就是官方唯一的可以保存所有表的持久化Catalog,包括kafka,jdbc,hbase等等connectors。
>
> > 后续有可能转正为flink 默认的catalog实现吗?
>
> 目前不太可能,你看,Flink连Hadoop的依赖都没有打进来。Hive的依赖更不会默认打进来。 依赖都没有,也不会成为默认的。
>
> > hive catalog是不支持大小写敏感的
>
>
hi Xingxing,
1. Flink 提供了一套catalog的接口,提提供了几个内置的实现:in-memory catalog, hive catalog,
postgres catalog,
可以根据自己的需求选择。也可以实现自定义的catalog。参考 [1]
2. hive catalog 主要是对接 hive,方便读取现有的hive catalog的meta信息。当然也可以往hive
catalog写新的meta。
是否会转为默认catalog,据我所知,目前没有。
3. 一般没什么问题。在和其他区分大小写的db对接的时候,可能有问题。
Best,
Godfrey
Hi,
HiveCatalog就是官方唯一的可以保存所有表的持久化Catalog,包括kafka,jdbc,hbase等等connectors。
> 后续有可能转正为flink 默认的catalog实现吗?
目前不太可能,你看,Flink连Hadoop的依赖都没有打进来。Hive的依赖更不会默认打进来。 依赖都没有,也不会成为默认的。
> hive catalog是不支持大小写敏感的
是的,就像Godfrey说的,特别是JDBC对接的某些大小写敏感的db,这可能导致字段名对应不了。
Best,
Jingsong
On Wed, Jul 22, 2020 at 10:39 AM
Hi Flink社区:
有几个疑问希望社区小伙伴们帮忙解答一下:
1.个人感觉Flink很有必要提供一个官方的catalog,用来支持各种connector,比如:kafka,jdbc,hbase等等connector。不知道社区有没有这个打算,目前没有看到对应的flip
2.社区对hive catalog的定位是什么,后续有可能转正为flink 默认的catalog实现吗?
3.hive catalog是不支持大小写敏感的(字段名都是小写),这个后续会带来哪些问题?想征集下大家的意见避免我们以后踩大坑。
Best,
Xingxing Di