Re: Could not execute ALTER TABLE check_rule_base_hive_catalog.test_flink.test_partition DROP PARTITION (dt=2021-08-31)

2021-08-31 文章 Caizhi Weng 
Hi！

目前 Flink SQL Hive 方言应该是没有支持指定 partial partition 然后 drop。可以提一个 jira 描述一下这个需求。

Asahi Lee <978466...@qq.com.invalid> 于2021年8月31日周二 下午2:03写道：

> hi!
> 我是用flink 1.13.1版本，使用hive方言删除dt分区错误，同样的sql hive是可以成功的！
> Caused by:
> org.apache.flink.table.catalog.exceptions.PartitionSpecInvalidException:
> PartitionSpec CatalogPartitionSpec{{dt=2021-08-31}} does not match
> partition keys [dt, xtlx, sblx] of table test_flink.test_partition in
> catalog check_rule_base_hive_catalog.
> at
> org.apache.flink.table.catalog.hive.HiveCatalog.getOrderedFullPartitionValues(HiveCatalog.java:1189)
> ~[flink-sql-connector-hive-2.3.6_2.11-1.13.1.jar:1.13.1]
> at
> org.apache.flink.table.catalog.hive.HiveCatalog.dropPartition(HiveCatalog.java:899)
> ~[flink-sql-connector-hive-2.3.6_2.11-1.13.1.jar:1.13.1]
> at
> org.apache.flink.table.api.internal.TableEnvironmentImpl.executeInternal(TableEnvironmentImpl.java:982)
> ~[flink-table-blink_2.11-1.13.1.jar:1.13.1]
> at
> org.apache.flink.table.api.internal.TableEnvironmentImpl.executeSql(TableEnvironmentImpl.java:730)
> ~[flink-table-blink_2.11-1.13.1.jar:1.13.1]

Re: [ANNOUNCE] Apache Flink Stateful Functions 3.1.0 released

2021-08-31 文章 Tzu-Li (Gordon) Tai 
Congrats on the release!

And thank you for driving this release, Igal.

Cheers
Gordon

On Tue, Aug 31, 2021, 23:13 Igal Shilman  wrote:

> The Apache Flink community is very happy to announce the release of Apache
> Flink Stateful Functions (StateFun) 3.1.0.
>
> StateFun is a cross-platform stack for building Stateful Serverless
> applications, making it radically simpler to develop scalable, consistent,
> and elastic distributed applications.
>
> Please check out the release blog post for an overview of the release:
> https://flink.apache.org/news/2021/08/31/release-statefun-3.1.0.html
>
> The release is available for download at:
> https://flink.apache.org/downloads.html
>
> Maven artifacts for StateFun can be found at:
> https://search.maven.org/search?q=g:org.apache.flink%20statefun
>
> Python SDK for StateFun published to the PyPI index can be found at:
> https://pypi.org/project/apache-flink-statefun/
>
> Official Docker images for StateFun are published to Docker Hub:
> https://hub.docker.com/r/apache/flink-statefun
>
> The full release notes are available in Jira:
>
> https://issues.apache.org/jira/secure/ReleaseNote.jspa?version=12350038&projectId=12315522
>
> We would like to thank all contributors of the Apache Flink community who
> made this release possible!
>
> Thanks,
> Igal
>

[ANNOUNCE] Apache Flink Stateful Functions 3.1.0 released

2021-08-31 文章 Igal Shilman 
The Apache Flink community is very happy to announce the release of Apache
Flink Stateful Functions (StateFun) 3.1.0.

StateFun is a cross-platform stack for building Stateful Serverless
applications, making it radically simpler to develop scalable, consistent,
and elastic distributed applications.

Please check out the release blog post for an overview of the release:
https://flink.apache.org/news/2021/08/31/release-statefun-3.1.0.html

The release is available for download at:
https://flink.apache.org/downloads.html

Maven artifacts for StateFun can be found at:
https://search.maven.org/search?q=g:org.apache.flink%20statefun

Python SDK for StateFun published to the PyPI index can be found at:
https://pypi.org/project/apache-flink-statefun/

Official Docker images for StateFun are published to Docker Hub:
https://hub.docker.com/r/apache/flink-statefun

The full release notes are available in Jira:
https://issues.apache.org/jira/secure/ReleaseNote.jspa?version=12350038&projectId=12315522

We would like to thank all contributors of the Apache Flink community who
made this release possible!

Thanks,
Igal

Re: 退订

2021-08-31 文章 Leonard Xu 
Hi,
 
  Please send email to dev-unsubscr...@flink.apache.org 
 if you want to unsubscribe the mail 
from d...@flink.apache.org  .
  Please send email to user-unsubscr...@flink.apache.org 
 if you want to unsubscribe the mail 
from u...@flink.apache.org  .
  Please send email to user-zh-unsubscr...@flink.apache.org 
 if you want to unsubscribe the 
mail from user-zh@flink.apache.org  .
 
You can refer[1] for more details. 

[1] https://flink.apache.org/community.html#mailing-lists 
  

Best,
Leonard

> 在 2021年8月31日，22:06，kindragos <6230...@163.com> 写道：
> 
> 退订

退订

2021-08-31 文章 kindragos 
退订

回复：Flink on yarn的日志监控和checkpoint的监控生产是如何处理的？

2021-08-31 文章 JasonLee 
Hi


可以参考这两篇文章:
https://mp.weixin.qq.com/s/2S4M8p-rBRinIRxmZrZq5Q 
https://mp.weixin.qq.com/s/44SXmCAUOqSWhQrNiZftoQ


Best
JasonLee


在2021年08月31日 13:23，guanyq 写道：
flink on yarn 在集群中启动很多的task，生产应用中是如何监控task的日志，和checkpoint的呢？


求大佬指导。

Re: Re: 是否可以自定义trigger实现event time window的分散触发

2021-08-31 文章 yidan zhao 
主要是窗口触发导致CPU尖刺比较麻烦，如果能平滑占用CPU总体上会得到更好的效果应该。

东东  于2021年8月31日周二 下午3:38写道：

> 本质上是流里的数据量伸缩比较大导致的吧，感觉你去自定义source做下限流是不是更优雅一些。
>
>
> 不过说到底流式处理一般是对延迟比较敏感，恨不得用上所有资源让延迟最小化，你这里貌似对资源更敏感。。。
>
>
> 在 2021-08-31 15:19:01，"yidan zhao"  写道：
> >不过目前我覆盖实现过很多flink的api，都很难受，因为各种要么private，要么没有get/set，导致只能覆盖实现。没办法继承调整部分实现。
> >
> >刚刚看了下，这个思路实现的话，目前需要自定义个 window 类，不使用
> >TimeWindow，需要在window中记录下触发时间，否则trigger的onEventTime方法回调中没办法确认是否当前元素的触发时机。
>
> >或者triggerContext提供currentKey，但我看了TriggerContext中有key，但是没提供getCurrentKey方法，导致。。。
> >
> >yidan zhao  于2021年8月31日周二 下午3:16写道：
> >
> >> cpu尖刺平滑呀。
> >>
> >> Shuo Cheng  于2021年8月31日周二 下午3:14写道：
> >>
> >>> 这样做是要达到设么目的呢? 目前的触发机制以及 early/late fire 满足不了需求么？
> >>>
> >>> On 8/31/21, yidan zhao  wrote:
> >>> > 如题，我目前计划自定义event time trigger实现分散触发。
> >>> > 比如0-5的窗口分散到6-11分触发， 从6开始是因为本身有个1min的乱序处理。
> >>> > 同时配合将allowedlateness设置为5min，这样避免窗口状态在触发之前被clean。
> >>> >
> >>> > 不知道想法是否OK呢？
> >>> >
> >>>
> >>
>

Re:Re: 是否可以自定义trigger实现event time window的分散触发

2021-08-31 文章 东东 
本质上是流里的数据量伸缩比较大导致的吧，感觉你去自定义source做下限流是不是更优雅一些。


不过说到底流式处理一般是对延迟比较敏感，恨不得用上所有资源让延迟最小化，你这里貌似对资源更敏感。。。


在 2021-08-31 15:19:01，"yidan zhao"  写道：
>不过目前我覆盖实现过很多flink的api，都很难受，因为各种要么private，要么没有get/set，导致只能覆盖实现。没办法继承调整部分实现。
>
>刚刚看了下，这个思路实现的话，目前需要自定义个 window 类，不使用
>TimeWindow，需要在window中记录下触发时间，否则trigger的onEventTime方法回调中没办法确认是否当前元素的触发时机。
>或者triggerContext提供currentKey，但我看了TriggerContext中有key，但是没提供getCurrentKey方法，导致。。。
>
>yidan zhao  于2021年8月31日周二 下午3:16写道：
>
>> cpu尖刺平滑呀。
>>
>> Shuo Cheng  于2021年8月31日周二 下午3:14写道：
>>
>>> 这样做是要达到设么目的呢? 目前的触发机制以及 early/late fire 满足不了需求么？
>>>
>>> On 8/31/21, yidan zhao  wrote:
>>> > 如题，我目前计划自定义event time trigger实现分散触发。
>>> > 比如0-5的窗口分散到6-11分触发， 从6开始是因为本身有个1min的乱序处理。
>>> > 同时配合将allowedlateness设置为5min，这样避免窗口状态在触发之前被clean。
>>> >
>>> > 不知道想法是否OK呢？
>>> >
>>>
>>

Re: 是否可以自定义trigger实现event time window的分散触发

2021-08-31 文章 yidan zhao 
目前实现了基于offset分散的cpu尖刺解决方案，但是改方案需要业务统一语义变更。比如基于ip的5min统计，我通过hash将不同ip哈希得到不同offset，使用滚动5min窗口+hash到的offset分窗，效果OK。
但如果部分业务不希望窗口上加offset，就需要如上最初想的这个方案了。

yidan zhao  于2021年8月31日周二 下午3:19写道：

> 不过目前我覆盖实现过很多flink的api，都很难受，因为各种要么private，要么没有get/set，导致只能覆盖实现。没办法继承调整部分实现。
>
> 刚刚看了下，这个思路实现的话，目前需要自定义个 window 类，不使用
> TimeWindow，需要在window中记录下触发时间，否则trigger的onEventTime方法回调中没办法确认是否当前元素的触发时机。
>
> 或者triggerContext提供currentKey，但我看了TriggerContext中有key，但是没提供getCurrentKey方法，导致。。。
>
> yidan zhao  于2021年8月31日周二 下午3:16写道：
>
>> cpu尖刺平滑呀。
>>
>> Shuo Cheng  于2021年8月31日周二 下午3:14写道：
>>
>>> 这样做是要达到设么目的呢? 目前的触发机制以及 early/late fire 满足不了需求么？
>>>
>>> On 8/31/21, yidan zhao  wrote:
>>> > 如题，我目前计划自定义event time trigger实现分散触发。
>>> > 比如0-5的窗口分散到6-11分触发， 从6开始是因为本身有个1min的乱序处理。
>>> > 同时配合将allowedlateness设置为5min，这样避免窗口状态在触发之前被clean。
>>> >
>>> > 不知道想法是否OK呢？
>>> >
>>>
>>

Re: 是否可以自定义trigger实现event time window的分散触发

2021-08-31 文章 yidan zhao 
不过目前我覆盖实现过很多flink的api，都很难受，因为各种要么private，要么没有get/set，导致只能覆盖实现。没办法继承调整部分实现。

刚刚看了下，这个思路实现的话，目前需要自定义个 window 类，不使用
TimeWindow，需要在window中记录下触发时间，否则trigger的onEventTime方法回调中没办法确认是否当前元素的触发时机。
或者triggerContext提供currentKey，但我看了TriggerContext中有key，但是没提供getCurrentKey方法，导致。。。

yidan zhao  于2021年8月31日周二 下午3:16写道：

> cpu尖刺平滑呀。
>
> Shuo Cheng  于2021年8月31日周二 下午3:14写道：
>
>> 这样做是要达到设么目的呢? 目前的触发机制以及 early/late fire 满足不了需求么？
>>
>> On 8/31/21, yidan zhao  wrote:
>> > 如题，我目前计划自定义event time trigger实现分散触发。
>> > 比如0-5的窗口分散到6-11分触发， 从6开始是因为本身有个1min的乱序处理。
>> > 同时配合将allowedlateness设置为5min，这样避免窗口状态在触发之前被clean。
>> >
>> > 不知道想法是否OK呢？
>> >
>>
>

Re: 是否可以自定义trigger实现event time window的分散触发

2021-08-31 文章 yidan zhao 
cpu尖刺平滑呀。

Shuo Cheng  于2021年8月31日周二 下午3:14写道：

> 这样做是要达到设么目的呢? 目前的触发机制以及 early/late fire 满足不了需求么？
>
> On 8/31/21, yidan zhao  wrote:
> > 如题，我目前计划自定义event time trigger实现分散触发。
> > 比如0-5的窗口分散到6-11分触发， 从6开始是因为本身有个1min的乱序处理。
> > 同时配合将allowedlateness设置为5min，这样避免窗口状态在触发之前被clean。
> >
> > 不知道想法是否OK呢？
> >
>

Re: 是否可以自定义trigger实现event time window的分散触发

2021-08-31 文章 Shuo Cheng 
这样做是要达到设么目的呢? 目前的触发机制以及 early/late fire 满足不了需求么？

On 8/31/21, yidan zhao  wrote:
> 如题，我目前计划自定义event time trigger实现分散触发。
> 比如0-5的窗口分散到6-11分触发， 从6开始是因为本身有个1min的乱序处理。
> 同时配合将allowedlateness设置为5min，这样避免窗口状态在触发之前被clean。
>
> 不知道想法是否OK呢？
>