Re: 是否可以自定义trigger实现event time window的分散触发

这样做是要达到设么目的呢? 目前的触发机制以及 early/late fire 满足不了需求么？ On 8/31/21, yidan zhao wrote: > 如题，我目前计划自定义event time trigger实现分散触发。 > 比如0-5的窗口分散到6-11分触发， 从6开始是因为本身有个1min的乱序处理。 > 同时配合将allowedlateness设置为5min，这样避免窗口状态在触发之前被clean。 > > 不知道想法是否OK呢？ >

Re: 是否可以自定义trigger实现event time window的分散触发

cpu尖刺平滑呀。 Shuo Cheng 于2021年8月31日周二 下午3:14写道： > 这样做是要达到设么目的呢? 目前的触发机制以及 early/late fire 满足不了需求么？ > > On 8/31/21, yidan zhao wrote: > > 如题，我目前计划自定义event time trigger实现分散触发。 > > 比如0-5的窗口分散到6-11分触发， 从6开始是因为本身有个1min的乱序处理。 > > 同时配合将allowedlateness设置为5min，这样避免窗口状态在触发之前被clean。 > > > > 不知道想法是否OK呢？ > > >

Re: 是否可以自定义trigger实现event time window的分散触发

不过目前我覆盖实现过很多flink的api，都很难受，因为各种要么private，要么没有get/set，导致只能覆盖实现。没办法继承调整部分实现。 刚刚看了下，这个思路实现的话，目前需要自定义个 window 类，不使用 TimeWindow，需要在window中记录下触发时间，否则trigger的onEventTime方法回调中没办法确认是否当前元素的触发时机。 或者triggerContext提供currentKey，但我看了TriggerContext中有key，但是没提供getCurrentKey方法，导致。。。 yidan zhao 于2021年8月31日周二 下午3:16

Re: 是否可以自定义trigger实现event time window的分散触发

目前实现了基于offset分散的cpu尖刺解决方案，但是改方案需要业务统一语义变更。比如基于ip的5min统计，我通过hash将不同ip哈希得到不同offset，使用滚动5min窗口+hash到的offset分窗，效果OK。 但如果部分业务不希望窗口上加offset，就需要如上最初想的这个方案了。 yidan zhao 于2021年8月31日周二 下午3:19写道： > 不过目前我覆盖实现过很多flink的api，都很难受，因为各种要么private，要么没有get/set，导致只能覆盖实现。没办法继承调整部分实现。 > > 刚刚看了下，这个思路实现的话，目前需要自定义个 window

Re:Re: 是否可以自定义trigger实现event time window的分散触发

本质上是流里的数据量伸缩比较大导致的吧，感觉你去自定义source做下限流是不是更优雅一些。 不过说到底流式处理一般是对延迟比较敏感，恨不得用上所有资源让延迟最小化，你这里貌似对资源更敏感。。。 在 2021-08-31 15:19:01，"yidan zhao" 写道： >不过目前我覆盖实现过很多flink的api，都很难受，因为各种要么private，要么没有get/set，导致只能覆盖实现。没办法继承调整部分实现。 > >刚刚看了下，这个思路实现的话，目前需要自定义个 window 类，不使用 >TimeWindow，需要在window中记录下触发时间，否则trigger的o

Re: Re: 是否可以自定义trigger实现event time window的分散触发

主要是窗口触发导致CPU尖刺比较麻烦，如果能平滑占用CPU总体上会得到更好的效果应该。 东东 于2021年8月31日周二 下午3:38写道： > 本质上是流里的数据量伸缩比较大导致的吧，感觉你去自定义source做下限流是不是更优雅一些。 > > > 不过说到底流式处理一般是对延迟比较敏感，恨不得用上所有资源让延迟最小化，你这里貌似对资源更敏感。。。 > > > 在 2021-08-31 15:19:01，"yidan zhao" 写道： > >不过目前我覆盖实现过很多flink的api，都很难受，因为各种要么private，要么没有get/set，导致只能覆盖实现。没办法继承调整部

回复：Flink on yarn的日志监控和checkpoint的监控生产是如何处理的？

Hi 可以参考这两篇文章: https://mp.weixin.qq.com/s/2S4M8p-rBRinIRxmZrZq5Q https://mp.weixin.qq.com/s/44SXmCAUOqSWhQrNiZftoQ Best JasonLee 在2021年08月31日 13:23，guanyq 写道： flink on yarn 在集群中启动很多的task，生产应用中是如何监控task的日志，和checkpoint的呢？ 求大佬指导。

退订

退订

Re: 退订

Hi, Please send email to dev-unsubscr...@flink.apache.org if you want to unsubscribe the mail from d...@flink.apache.org . Please send email to user-unsubscr...@flink.apache.org

[ANNOUNCE] Apache Flink Stateful Functions 3.1.0 released

The Apache Flink community is very happy to announce the release of Apache Flink Stateful Functions (StateFun) 3.1.0. StateFun is a cross-platform stack for building Stateful Serverless applications, making it radically simpler to develop scalable, consistent, and elastic distributed applications.

Re: [ANNOUNCE] Apache Flink Stateful Functions 3.1.0 released

Congrats on the release! And thank you for driving this release, Igal. Cheers Gordon On Tue, Aug 31, 2021, 23:13 Igal Shilman wrote: > The Apache Flink community is very happy to announce the release of Apache > Flink Stateful Functions (StateFun) 3.1.0. > > StateFun is a cross-platform stack

Re: Could not execute ALTER TABLE check_rule_base_hive_catalog.test_flink.test_partition DROP PARTITION (dt=2021-08-31)

Hi！ 目前 Flink SQL Hive 方言应该是没有支持指定 partial partition 然后 drop。可以提一个 jira 描述一下这个需求。 Asahi Lee <978466...@qq.com.invalid> 于2021年8月31日周二 下午2:03写道： > hi! > 我是用flink 1.13.1版本，使用hive方言删除dt分区错误，同样的sql hive是可以成功的！ > Caused by: > org.apache.flink.table.catalog.exceptions.PartitionSpecInvalidException: > Pa