退订

2021-09-28 文章 xiaobo77 


| |
xiaobo77
|
|
退订
|

回复： flink on native k8s 资源弹性扩容问题

2021-09-28 文章 Matt Wang 
可以看下使用的 k8s 是否有 VPA 的能力


--

Best,
Matt Wang


在2021年09月26日 14:23，刘建刚 写道：
这个不支持，你可以通过外部的工具来做到。比如，检测cpu到了一定程度就自动的重启作业来扩容。

赵旭晨  于2021年9月23日周四 下午9:14写道：

目前生产上环境作业参数0.2（cpu），5G
平常增量跑的时候cpu占用率不到5%，上游数据全量初始化时经常会把CPU打满

想问下：flink能否做到弹性扩容？当pod的request cpu打满时自动增加cpu，当高峰期过后处于增量阶段时再收回部分pod资源？

Re: flink sql计算新增用户

2021-09-28 文章 Caizhi Weng 
Hi！

听起来 event time temporal join 符合你的需求。详见
https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/joins/#event-time-temporal-join

z  于2021年9月28日周二 下午8:27写道：

> hi各位，我想计算每日新增用户的数量，用户的登录日志在kafka中，在当日之前登录过的用户即为老用户，目前我的做法是将用户登录信息用flink
> sql写到下游mysql表A中，表中存储用户id和第一次登录的ts，然后再用另外一个流join这张表判断该用户是否在今天之前是否登录过，如果未登录则计算为当日新增玩家。
>
> 现在的问题是在0点时，可能由于数据延迟或者乱序，导致前天11:55的用户数据还没有写到A表中，但是0:01的数据到了，所以这个用户会被计算为新用户，或者另外一种情况时，写入表A的流消费比较慢，导致另外一个流join到的数据不全，老用户也会被判定为今日新增用户，请问这种情况我要如何计算到准确的每日实时新增用户呢？
> 考虑过使用10分钟窗口+5分钟延迟的形式，但是这样延迟就变成了15分钟，延迟时间过长

flink sql????????????

2021-09-28 文章 z 
hi??kafkaflink
 
sqlmysql??Aid??tsjoin??
??011:55A??0:01A??join??
??10+515??

Re: 撤回流如何进行窗口分组聚合

2021-09-28 文章 Shuo Cheng 
这个在 1.14 已经支持了, 详见 FLINK-20487

On 9/28/21, Liu Join  wrote:
> 我将数据流进行去重后，无法进行窗口聚合操作，一直报错GroupWindowAggregate doesn't support consuming
> update and delete changes which is produced by node Deduplicate
>

撤回流如何进行窗口分组聚合

2021-09-28 文章 Liu Join 
我将数据流进行去重后，无法进行窗口聚合操作，一直报错GroupWindowAggregate doesn't support consuming update 
and delete changes which is produced by node Deduplicate