Re: 实时数据入库怎样过滤中间状态,保证最终一致

2022-02-28 文章 18703416...@163.com
e.seconds(10)).reduce((a,b)->b).addSink() > > 实际上逆序输出了窗口内的所有记录。 > > 谢谢, > > 王磊 > > > > On Mon, Feb 28, 2022 at 9:59 AM 18703416...@163.com <18703416...@163.com> > wrote: > >> keyBy 算子之后接 timewindow 窗口, 每个窗口如果有多条数据就取最新的一条。 至于对数据库的压力,取决于这个窗口的大小

Re: 实时数据入库怎样过滤中间状态,保证最终一致

2022-02-27 文章 18703416...@163.com
keyBy 算子之后接 timewindow 窗口, 每个窗口如果有多条数据就取最新的一条。 至于对数据库的压力,取决于这个窗口的大小 > 2022年2月25日 下午6:45,Lei Wang 写道: > > 场景描述: > Kafka 中的数据直接入到 MySQL 数据库中,数据格式如下: > order_id status > 只有两个字段, order_id 为主键,以 replace 覆盖方式写入到数据库中。 > > 对同一个 order_id, status 变化很频繁,为不对数据库造成压力,不会对每一条记录都做入库操作,但一定要保证这个 order_id > 最终的状

Re: 如何按比例丢弃kafka中消费的数据

2022-02-27 文章 18703416...@163.com
自定义 kafkasource 的 DeserializationSchema 丢弃的返回 null, source 的下一个filter 算子进行过滤即可 > 2022年2月26日 上午9:01,jack zhang 写道: > > 1、flink程序资源有限,kafka中数据比较多,想要按一定比例丢弃数据(或者其它策略),减轻flink 程序压力,有什么方法吗?

Re: flink状态共享

2022-02-25 文章 18703416...@163.com
如果不同算子 需要共享状态,是否考虑 归为一个算子进行处理,同理后面的算子也是 > 2022年2月25日 下午4:30,huangzhi...@iwgame.com 写道: > > 对于keyed datastream 不同的算子之间是否能够共享同一状态,或者后面的算子任务,是否可以拿到前一个算子任务中的状态? > > > > huangzhi...@iwgame.com

Re: 如何给flink的输出削峰填谷?

2022-01-27 文章 18703416...@163.com
类似kafka这样的消息管道应该用来 削峰填谷, 可以先sink 至kafka,再从kafka -> db > 2022年1月26日 上午2:11,Jing 写道: > > Hi Flink中文社区, > > 我碰到一个这样的问题,我的数据库有write throttle, 我的flink > app是一个10分钟窗口的聚合操作,这样导致,每10分钟有个非常大量的写请求。导致数据库的sink有时候会destroy. > 有什么办法把这些写请求均匀分布到10分钟吗? > > > 谢谢, > Jing

Re: 关于时间窗口的问题

2022-01-09 文章 18703416...@163.com
你好,我理解你的意思了。 可以看下 flink-cep 相关内容, 利用模式匹配去实现 > 2022年1月8日 下午7:10,18765295...@163.com 写道: > > 您好: > 请教一个问题, > 例如:开启一个5秒钟的滚动窗口,当key001的两条数据进来时,没有满足时间触发,但是当key002的数据进来满足窗口触发条件,会将key001的两条数据输出出去。 > > 我想实现的是一个基于事件时间设置的滚动窗口,当key001的数据到来时,没有满足时间时,不会因为key002的数据到来触发key001的数据进行输出。 > 每个key都有一个属于自己的时间窗口,不会受其他