Re: 关于flink table store的疑问

2022-09-13 文章 yh z
你好,从我个人的角度出发,我认为 flink-table-store 与 hudi, iceberg 的定位是不同的。 hudi 和 iceberg 更多的是一种 format 格式,通过这个格式来管理 schema 信息和解决行业痛点,其不与特定计算引擎绑定。其中, hudi 解决了超大数据量下的 upsert 问题, iceberg 解决了 oss 存储和上云的问题,但是他们本质上还是一种存储格式(format),这是其优势也是其劣势,优势在于不受引擎约束,专注于format层本身;缺点是无法参与主流引擎的未来规划,不易扩展,且发展受限,不能很快的参与到 olap等领域。 而 flink

Re: Re: 关于flink table store的疑问

2022-09-09 文章 Jing Ge
我理解,目前大的目标是为了流批一体,设计上实际上是对存储进行了抽象,从某种角度上来看可以理解为存储虚拟化,未来的想象空间要大很多。Iceberg,Hudi这些可以作为底层对接的一种具体实现。 On Fri, Sep 9, 2022 at 2:44 PM Xuyang wrote: > Hi,我理解Flink table store主要有以下几个优势: > 1、减少架构复杂性,不需要额外引入多余的组件 > 2、支持Flink计算中直接使用Flink table store的存储 > 3、毫秒级流式查询和olap能力 > > > > > -- > > Best! > Xuy

Re:Re: 关于flink table store的疑问

2022-09-09 文章 Xuyang
Hi,我理解Flink table store主要有以下几个优势: 1、减少架构复杂性,不需要额外引入多余的组件 2、支持Flink计算中直接使用Flink table store的存储 3、毫秒级流式查询和olap能力 -- Best! Xuyang 在 2022-09-08 16:09:39,"r pp" 写道: >应该是为了 流批一体 。不丢数据 > >Kyle Zhang 于2022年9月8日周四 08:37写道: > >> Hi all, >> 看table >> store的介绍也是关于数据湖存储以及用于实时流式读取的,那在定位上与ic

Re: 关于flink table store的疑问

2022-09-08 文章 r pp
应该是为了 流批一体 。不丢数据 Kyle Zhang 于2022年9月8日周四 08:37写道: > Hi all, > 看table > store的介绍也是关于数据湖存储以及用于实时流式读取的,那在定位上与iceberg、hudi等项目有什么不一样么,为什么要再开发一个项目? > > Best. > -- Best, pp

关于flink table store的疑问

2022-09-07 文章 Kyle Zhang
Hi all, 看table store的介绍也是关于数据湖存储以及用于实时流式读取的,那在定位上与iceberg、hudi等项目有什么不一样么,为什么要再开发一个项目? Best.