Re: 关于flink table store的疑问
你好,从我个人的角度出发,我认为 flink-table-store 与 hudi, iceberg 的定位是不同的。 hudi 和 iceberg 更多的是一种 format 格式,通过这个格式来管理 schema 信息和解决行业痛点,其不与特定计算引擎绑定。其中, hudi 解决了超大数据量下的 upsert 问题, iceberg 解决了 oss 存储和上云的问题,但是他们本质上还是一种存储格式(format),这是其优势也是其劣势,优势在于不受引擎约束,专注于format层本身;缺点是无法参与主流引擎的未来规划,不易扩展,且发展受限,不能很快的参与到 olap等领域。 而 flink-table-store 更类似 spark delta, 是一种与 flink 深度绑定,并服务于 flink 存储的实时数仓方案。其能结合 flink 强大的流计算能力, 来更简单的满足实时数仓相关的需求,也能根据 flink 未来版本的规划,参与到社区中,更能够满足客户的需求。 综上,flink-table-store 的定位不只是数据湖存储,而是以数据湖存储为基础的实时数仓方案,其与 flink 深度绑定,形成互补。 Kyle Zhang 于2022年9月8日周四 08:37写道: > Hi all, > 看table > store的介绍也是关于数据湖存储以及用于实时流式读取的,那在定位上与iceberg、hudi等项目有什么不一样么,为什么要再开发一个项目? > > Best. >
Re: Re: 关于flink table store的疑问
我理解,目前大的目标是为了流批一体,设计上实际上是对存储进行了抽象,从某种角度上来看可以理解为存储虚拟化,未来的想象空间要大很多。Iceberg,Hudi这些可以作为底层对接的一种具体实现。 On Fri, Sep 9, 2022 at 2:44 PM Xuyang wrote: > Hi,我理解Flink table store主要有以下几个优势: > 1、减少架构复杂性,不需要额外引入多余的组件 > 2、支持Flink计算中直接使用Flink table store的存储 > 3、毫秒级流式查询和olap能力 > > > > > -- > > Best! > Xuyang > > > > > > 在 2022-09-08 16:09:39,"r pp" 写道: > >应该是为了 流批一体 。不丢数据 > > > >Kyle Zhang 于2022年9月8日周四 08:37写道: > > > >> Hi all, > >> 看table > >> store的介绍也是关于数据湖存储以及用于实时流式读取的,那在定位上与iceberg、hudi等项目有什么不一样么,为什么要再开发一个项目? > >> > >> Best. > >> > > > > > >-- > >Best, > > pp >
Re:Re: 关于flink table store的疑问
Hi,我理解Flink table store主要有以下几个优势: 1、减少架构复杂性,不需要额外引入多余的组件 2、支持Flink计算中直接使用Flink table store的存储 3、毫秒级流式查询和olap能力 -- Best! Xuyang 在 2022-09-08 16:09:39,"r pp" 写道: >应该是为了 流批一体 。不丢数据 > >Kyle Zhang 于2022年9月8日周四 08:37写道: > >> Hi all, >> 看table >> store的介绍也是关于数据湖存储以及用于实时流式读取的,那在定位上与iceberg、hudi等项目有什么不一样么,为什么要再开发一个项目? >> >> Best. >> > > >-- >Best, > pp
Re: 关于flink table store的疑问
应该是为了 流批一体 。不丢数据 Kyle Zhang 于2022年9月8日周四 08:37写道: > Hi all, > 看table > store的介绍也是关于数据湖存储以及用于实时流式读取的,那在定位上与iceberg、hudi等项目有什么不一样么,为什么要再开发一个项目? > > Best. > -- Best, pp
关于flink table store的疑问
Hi all, 看table store的介绍也是关于数据湖存储以及用于实时流式读取的,那在定位上与iceberg、hudi等项目有什么不一样么,为什么要再开发一个项目? Best.