Re: 回复: 关于Flink SQL DISTINCT问题

2020-01-18 文章 LakeShen
是否可以使用 空闲状态 Retention Time 来设置 JingsongLee 于2019年9月4日周三 下午6:12写道: > 一般是按时间(比如天)来group by,state配置了超时过期的时间。 > 基本的去重方式就是靠state(比如RocksDbState)。 > 有mini-batch来减少 对state的访问。 > > 如果有倾斜,那是解倾斜问题的话题了。 > > Best, > Jingsong Lee > > > -- > Fr

Re: 回复: 关于Flink SQL DISTINCT问题

2019-09-04 文章 JingsongLee
一般是按时间(比如天)来group by,state配置了超时过期的时间。 基本的去重方式就是靠state(比如RocksDbState)。 有mini-batch来减少对state的访问。 如果有倾斜,那是解倾斜问题的话题了。 Best, Jingsong Lee -- From:lvwenyuan Send Time:2019年9月4日(星期三) 15:11 To:user-zh Subject:Re:回复: 关于Flink SQL DISTI

Re:回复: 关于Flink SQL DISTINCT问题

2019-09-04 文章 lvwenyuan
对,肯定是按照窗口去重的。我就想问下,窗口去重时,所采用的方式 在 2019-09-04 14:38:29,"athlon...@gmail.com" 写道: >在窗口内去重吧,不可能无限保留去重数据的 > > > >athlon...@gmail.com > >发件人: lvwenyuan >发送时间: 2019-09-04 14:28 >收件人: user-zh >主题: 关于Flink SQL DISTINCT问题 >各位大佬好: > 我想问下,关于flink sql的实时去重,就是count(distinct user_id) > 。就是Flink内部是如何做到实时