e.seconds(10)).reduce((a,b)->b).addSink()
>
> 实际上逆序输出了窗口内的所有记录。
>
> 谢谢,
>
> 王磊
>
>
>
> On Mon, Feb 28, 2022 at 9:59 AM 18703416...@163.com <18703416...@163.com>
> wrote:
>
>> keyBy 算子之后接 timewindow 窗口, 每个窗口如果有多条数据就取最新的一条。 至于对数据库的压力,取决于这个窗口的大小
keyBy 算子之后接 timewindow 窗口, 每个窗口如果有多条数据就取最新的一条。 至于对数据库的压力,取决于这个窗口的大小
> 2022年2月25日 下午6:45,Lei Wang 写道:
>
> 场景描述:
> Kafka 中的数据直接入到 MySQL 数据库中,数据格式如下:
> order_id status
> 只有两个字段, order_id 为主键,以 replace 覆盖方式写入到数据库中。
>
> 对同一个 order_id, status 变化很频繁,为不对数据库造成压力,不会对每一条记录都做入库操作,但一定要保证这个 order_id
> 最终的状
自定义 kafkasource 的 DeserializationSchema
丢弃的返回 null, source 的下一个filter 算子进行过滤即可
> 2022年2月26日 上午9:01,jack zhang 写道:
>
> 1、flink程序资源有限,kafka中数据比较多,想要按一定比例丢弃数据(或者其它策略),减轻flink 程序压力,有什么方法吗?
如果不同算子 需要共享状态,是否考虑 归为一个算子进行处理,同理后面的算子也是
> 2022年2月25日 下午4:30,huangzhi...@iwgame.com 写道:
>
> 对于keyed datastream 不同的算子之间是否能够共享同一状态,或者后面的算子任务,是否可以拿到前一个算子任务中的状态?
>
>
>
> huangzhi...@iwgame.com
类似kafka这样的消息管道应该用来 削峰填谷,
可以先sink 至kafka,再从kafka -> db
> 2022年1月26日 上午2:11,Jing 写道:
>
> Hi Flink中文社区,
>
> 我碰到一个这样的问题,我的数据库有write throttle, 我的flink
> app是一个10分钟窗口的聚合操作,这样导致,每10分钟有个非常大量的写请求。导致数据库的sink有时候会destroy.
> 有什么办法把这些写请求均匀分布到10分钟吗?
>
>
> 谢谢,
> Jing
你好,我理解你的意思了。
可以看下 flink-cep 相关内容, 利用模式匹配去实现
> 2022年1月8日 下午7:10,18765295...@163.com 写道:
>
> 您好:
> 请教一个问题,
> 例如:开启一个5秒钟的滚动窗口,当key001的两条数据进来时,没有满足时间触发,但是当key002的数据进来满足窗口触发条件,会将key001的两条数据输出出去。
>
> 我想实现的是一个基于事件时间设置的滚动窗口,当key001的数据到来时,没有满足时间时,不会因为key002的数据到来触发key001的数据进行输出。
> 每个key都有一个属于自己的时间窗口,不会受其他