你好,从我个人的角度出发,我认为 flink-table-store 与 hudi, iceberg 的定位是不同的。 hudi 和 iceberg
更多的是一种 format 格式,通过这个格式来管理 schema 信息和解决行业痛点,其不与特定计算引擎绑定。其中, hudi 解决了超大数据量下的
upsert 问题, iceberg 解决了 oss
存储和上云的问题,但是他们本质上还是一种存储格式(format),这是其优势也是其劣势,优势在于不受引擎约束,专注于format层本身;缺点是无法参与主流引擎的未来规划,不易扩展,且发展受限,不能很快的参与到
olap等领域。 而 flink
我理解,目前大的目标是为了流批一体,设计上实际上是对存储进行了抽象,从某种角度上来看可以理解为存储虚拟化,未来的想象空间要大很多。Iceberg,Hudi这些可以作为底层对接的一种具体实现。
On Fri, Sep 9, 2022 at 2:44 PM Xuyang wrote:
> Hi,我理解Flink table store主要有以下几个优势:
> 1、减少架构复杂性,不需要额外引入多余的组件
> 2、支持Flink计算中直接使用Flink table store的存储
> 3、毫秒级流式查询和olap能力
>
>
>
>
> --
>
> Best!
> Xuy
Hi,我理解Flink table store主要有以下几个优势:
1、减少架构复杂性,不需要额外引入多余的组件
2、支持Flink计算中直接使用Flink table store的存储
3、毫秒级流式查询和olap能力
--
Best!
Xuyang
在 2022-09-08 16:09:39,"r pp" 写道:
>应该是为了 流批一体 。不丢数据
>
>Kyle Zhang 于2022年9月8日周四 08:37写道:
>
>> Hi all,
>> 看table
>> store的介绍也是关于数据湖存储以及用于实时流式读取的,那在定位上与ic
应该是为了 流批一体 。不丢数据
Kyle Zhang 于2022年9月8日周四 08:37写道:
> Hi all,
> 看table
> store的介绍也是关于数据湖存储以及用于实时流式读取的,那在定位上与iceberg、hudi等项目有什么不一样么,为什么要再开发一个项目?
>
> Best.
>
--
Best,
pp
Hi all,
看table
store的介绍也是关于数据湖存储以及用于实时流式读取的,那在定位上与iceberg、hudi等项目有什么不一样么,为什么要再开发一个项目?
Best.