Re: 请教一下Flink和主流数据湖集成的情况

2020-09-15 Thread dixingxing85
好的,谢谢 Sent from my iPhone > On Sep 15, 2020, at 16:26, Leonard Xu wrote: > > Hello > > Flink 集成iceberg, iceberg 社区应该有 jingsong 和 openin <mailto:open...@gmail.com>x > 在做,可以直接问下他们。 > > 祝好 > Leonard Xu > >> 在 2020年9月14日,16:52,dixingxing85 写道: >&g

Re: 请教一下Flink和主流数据湖集成的情况

2020-09-14 Thread dixingxing85
谢谢,是的是有iceberg的sink。我看之信在做flink读取iceberg这块的工作,主要想知道下进展和社区未来会重点支持哪个数据湖框架 Sent from my iPhone > On Sep 14, 2020, at 14:00, Congxian Qiu wrote: > > Hi > 据我所知,iceberg 有一个 flink 的 sink,可以看下这个 PR[1] > [1] https://github.com/apache/iceberg/pull/856 > Best, > Congxian > >

请教一下Flink和主流数据湖集成的情况

2020-09-12 Thread dixingxing85
Hi all: 想请教一个问题,现在一些公司已经开始应用数据湖技术了,目前flink和iceberg,hudi,delta lake这些的集成情况分别是怎样的?社区有主动跟进某一个数据湖技术的集成吗?预计什么时候能有相对完善的source,sink。谢谢 Sent from my iPhone Sent from my iPhone

回复:[基础定义] 有状态计算 & 无状态计算

2020-05-06 Thread dixingxing85
可以看下这个文章:https://ververica.cn/developers/state-management/ 还有对应的视频(1.7 状态管理与容错机制):https://ververica.cn/developers/flink-training-course1/ 希望能对你有帮助 原始邮件 发件人:i'mpossible605769...@qq.com 收件人:user-zhuser...@flink.apache.org 发送时间:2020年4月26日(周日) 16:17 主题:[基础定义] 有状态计算 无状态计算 Hi: nbsp; nbsp;

Re: Flink streaming sql是否支持两层group by聚合

2020-04-17 Thread dixingxing85
多谢benchao, 我这个作业的结果预期结果是每天只有一个结果,这个结果应该是越来越大的,比如: 20200417,86 20200417,90 20200417,130 20200417,131 而不应该是忽大忽小的,数字由大变小,这样的结果需求方肯定不能接受的: 20200417,90 20200417,86 20200417,130 20200417,86 20200417,131 我的疑问是内层的group by产生的retract流,会影响sink吗,我是在sink端打的日志。 如果flink支持这种两层group by的话,那这种结果变小的情况应该算是bug吧?

Re: Flink streaming sql是否支持两层group by聚合

2020-04-17 Thread dixingxing85
多谢benchao, 我这个作业的结果预期结果是每天只有一个结果,这个结果应该是越来越大的,比如: 20200417,86 20200417,90 20200417,130 20200417,131 而不应该是忽大忽小的,数字由大变小,这样的结果需求方肯定不能接受的: 20200417,90 20200417,86 20200417,130 20200417,86 20200417,131 我的疑问是内层的group by产生的retract流,会影响sink吗,我是在sink端打的日志。 如果flink支持这种两层group by的话,那这种结果变小的情况应该算是bug吧?