Re:flink sql作业如何支持配置流？

Hi, 是否可以将这个”配置维表“换成流表，利用flink cdc，改动这个配置表的时候，监听字段cdc变化，同时下游上流join呢？ -- Best！ Xuyang 在 2023-11-20 19:24:47，"casel.chen" 写道： >我有一个flink >sql作业过滤条件customer_id是需要根据用户配置来定的，类似于Apollo配置中心，是否可以通过定义一张配置维表来实现呢？设置TTL定期去获取最新配置。 > > >create table customer_conf_tbl ( > customer_id

flink sql作业如何支持配置流？

我有一个flink sql作业过滤条件customer_id是需要根据用户配置来定的，类似于Apollo配置中心，是否可以通过定义一张配置维表来实现呢？设置TTL定期去获取最新配置。 create table customer_conf_tbl ( customer_id STRING ) with ( 'connector' = 'apollo', '其他属性' ); select * from biz_table where customer_id in (select string_split(customer_id, ',') from

Re: [DISCUSS] Change the default restart-strategy to exponential-delay

Hi David and Mason, Thanks for your feedback! To David: > Given that the new default feels more complex than the current behavior, if we decide to do this I think it will be important to include the rationale you've shared in the documentation. Sounds make sense to me, I will add the related

Re:Re:flink的sql gateway支持自定义的UDF吗？

Hi， 这种ADD JAR的方式测试了也可以用，谢谢了老哥 Thanks 在 2023-11-01 17:34:48，"Xuyang" 写道： >Hi, >你指的是sql gateway上 ADD JAR这种方式来上传自定义UDF的jar包[1]么？ > > > > >[1] >https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/table/sql/jar/ > >-- > >Best！ >Xuyang > > > > > >在 2023-11-01

Re:Re:flink的sql gateway支持自定义的UDF吗？

Hi, 是的，自定义的UDF比较多，或者实现方式不同，所以加载的时候，想单独加载下， sql-client有个参数就可以支持，-j sql gateway为什么不提供了？ Thanks 在 2023-11-01 17:34:48，"Xuyang" 写道： >Hi, >你指的是sql gateway上 ADD JAR这种方式来上传自定义UDF的jar包[1]么？ > > > > >[1] >https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/table/sql/jar/ >

Re: [DISCUSS] Change the default restart-strategy to exponential-delay

Rui, I don't have any direct experience with this topic, but given the motivation you shared, the proposal makes sense to me. Given that the new default feels more complex than the current behavior, if we decide to do this I think it will be important to include the rationale you've shared in the

[DISCUSS] Change the default restart-strategy to exponential-delay

Hi dear flink users and devs: FLIP-364[1] intends to make some improvements to restart-strategy and discuss updating some of the default values of exponential-delay, and whether exponential-delay can be used as the default restart-strategy. After discussing at dev mail list[2], we hope to collect

[SUMMARY] Flink 1.19 Release Sync 11/14/2023

Hi devs and users, Yesterday was the first release sync of Flink 1.19, I’d like to share the summary: - Sync meeting We switched back to google meet because there's some account limitation for zoom on some region and the google meet is available when creator is not online. The meeting will

Re:Flink sql 1.17.1 字段类型 DECIMAL(10, 0) 无法执行sql

Hi, 你的图挂了，可以贴一下图床链接或者直接贴一下代码。 -- Best！ Xuyang 在 2023-11-15 09:39:22，"刘聪聪" 写道： Flink 1.17.1 遇到 DECIMAL(10, 0)类型字段，直接无法运行，我用强转都不行，还是报数组越界，去除 DECIMAL(10, 0)类型字段，sql运行都正常。

Re: 关于Apache Flink源码贡献流程

hi， 你可以发给dev那个邮件列表咨询，这个邮件列表是用户交流用的开发者没那个多 Best regards, k...@jiayeli.cn tanjialiang 于 4月24日 下午4:06写道： Hello，everyone. 我想向apache flink贡献源码，由于修复这个issue需要新增一些API，按照流程需要发起邮件讨论，但这个topic只得到一名开发者关注，这样的情况下我应该如何进行后面的流程？期待有熟悉flink源码贡献的开发者可以提供帮助 issue:

Flink sql 1.17.1 字段类型 DECIMAL(10, 0) 无法执行sql

Flink 1.17.1 遇到 DECIMAL(10, 0)类型字段，直接无法运行，我用强转都不行，还是报数组越界，去除 DECIMAL(10, 0)类型字段，sql运行都正常。

Re: Canal-json格式下乱码导致结果不符合预期

hi 这个看起来不像是乱码造成的。 你可以尝试加上去重，还原出正确的CDC 再看下结果。 具体步骤如下： 1. 给 source 设置主键 2. table config 中设置 table.exec.source.cdc-events-duplicate 参数为 true 或者 set 'table.exec.source.cdc-events-duplicate'='true' Best, Feng On Mon, Nov 13, 2023 at 4:09 PM yawning wrote: > mysql里面字段： > > `encrypted_xx` blob >

Re: Re: Re: 关于 flink connect jar release 使用问题

感谢 Xuyang 于2023年11月10日周五 15:19写道： > 另外，我确认了一下，你贴的kafka connector官方文档下载链接和maven依赖确实都是有问题的，社区已经有issue了[1]。 > 具体connector版本和flink版本对应关系就参考链接[2]吧，实际上kafka connector针对flink > 1.18的jar包已经有了，对应的版本是maven仓库[3]里的‘3.0.1-1.18’。 > > > [1] https://issues.apache.org/jira/browse/FLINK-33512 > [2]

Re:Re: Re: 关于 flink connect jar release 使用问题

另外，我确认了一下，你贴的kafka connector官方文档下载链接和maven依赖确实都是有问题的，社区已经有issue了[1]。 具体connector版本和flink版本对应关系就参考链接[2]吧，实际上kafka connector针对flink 1.18的jar包已经有了，对应的版本是maven仓库[3]里的‘3.0.1-1.18’。 [1] https://issues.apache.org/jira/browse/FLINK-33512 [2] https://flink.apache.org/downloads/ [3]

Re: Re: 关于 flink connect jar release 使用问题

谢谢了，这些文档我都看到了，看起来 要使用1.18 还需要再等等了 Xuyang 于2023年11月10日周五 14:32写道： > Hi, > 可以关注下这个讨论[1]，1.18的connector还没有release出来。 > 在flink 1.17的时候，flink connector基本上都从主仓库移出去了，参考kafka connector [1]。 > connector的下载和兼容的flink版本可以看下这个界面[3]。 > > > > > [1]

Re:Re: 关于 flink connect jar release 使用问题

Hi, 可以关注下这个讨论[1]，1.18的connector还没有release出来。 在flink 1.17的时候，flink connector基本上都从主仓库移出去了，参考kafka connector [1]。 connector的下载和兼容的flink版本可以看下这个界面[3]。 [1] https://lists.apache.org/thread/r31f988m57rtjy4s75030pzwrlqybpq2 [2] https://issues.apache.org/jira/browse/FLINK-30859 [3]

Re: 关于 flink connect jar release 使用问题

所有的指向1.18 的 几乎都是，另外是 对应的 connector 以后是不是不要依赖 flink的具体版本了？，不然这个升级难道老大了 文档: https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/connectors/datastream/kafka/ [image: image.png][image: image.png] Xuyang 于2023年11月10日周五 11:13写道： > Hi, 可以贴一下release文档的地址吗？应该不需要自己编译才对。 > > > > > -- > >

Re:关于 flink connect jar release 使用问题

Hi, 可以贴一下release文档的地址吗？应该不需要自己编译才对。 -- Best！ Xuyang 在 2023-11-09 15:46:06，"zhhui yan" 写道： >我们这边想测试一下 升级flink 到1.18 但是我们的release 文档里面给的 connect 包都是404 ，这个是用1.17 >的包，还是需要自己编译?

关于 flink connect jar release 使用问题

我们这边想测试一下 升级flink 到1.18 但是我们的release 文档里面给的 connect 包都是404 ，这个是用1.17 的包，还是需要自己编译?

Re:FLINK-33365 - Missing filter condition in execution plan containing lookup join with mysql jdbc connector

Hi, 看了下发现这个jira下面已经有人在尝试复现但是没有成功。 如果可以的话，可以在jira下面留言回复一起多提供一些可以复现的case，帮助assigner复现这个问题，从而更快的定位+修复。 -- Best！ Xuyang 在 2023-11-07 15:59:53，"casel.chen" 写道： >这个critical issue有人fix吗？我们线上使用flink 1.17.1版本有使用jdbc维表查询on带and过滤条件，发现and过滤条件不起作用 > > >例如 >select xxx from a left join b on

FLINK-33365 - Missing filter condition in execution plan containing lookup join with mysql jdbc connector

这个critical issue有人fix吗？我们线上使用flink 1.17.1版本有使用jdbc维表查询on带and过滤条件，发现and过滤条件不起作用 例如 select xxx from a left join b on a.id = b.id and b.type = 'xxx' 发现b.type='xxx'这个过滤条件不起作用

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。 Best Yunfeng Zhou On Mon, Nov 6, 2023 at 5:30 PM maozhaolin wrote: > > 退订

退订

退订

Flink-1.15版本

各位专家：当前遇到如下问题1、场景：在使用Yarn场景下提交flink任务2、版本：Flink1.15.03、日志：查看yarn上的日志发下，版本上的问题2023-11-04 15:04:42,313 ERROR org.apache.flink.util.FatalExitExceptionHandler [] - FATAL: Thread 'flink-akka.actor.internal-dispatcher-3' produced an uncaught exception. Stopping the

Re:疑似BUG: 在滑动窗口中使用reduce()聚合时数据被多次处理

Hi, 验证了下，问题疑似出现在reduce函数中，复用了下wordCount1这个对象。我试了下new一个新的WordCount作为输出应该就可以了。 猜测这可能和基于Heap的state backend有关，多个窗口的heap state可能直接使用的是一个对象的地址。 ``` .reduce( (wordCount1, wordCount2) -> { WordCount newWC = new WordCount( wordCount1.word, wordCount1.count + wordCount2.count);

疑似BUG: 在滑动窗口中使用reduce()聚合时数据被多次处理

reduce()方法的状态在窗口间未被隔离,多个窗口聚合时使用的是同一对象.一个数据进入时,被重复累加 是reduce的特性吗? 还是reduce中的窗口间隔离出现问题? 希望得到回复 测试输入如下: 1001,/home,1000 1002,/home,2000 输出如下: input> test.Event(user=1001, page=/home, ts=1000) input> test.Event(user=1002, page=/home, ts=2000) test.WordCount(word=/home, count=2)

Re:flink的sql gateway支持自定义的UDF吗？

Hi, 你指的是sql gateway上 ADD JAR这种方式来上传自定义UDF的jar包[1]么？ [1] https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/table/sql/jar/ -- Best！ Xuyang 在 2023-11-01 14:21:04，"RS" 写道： >Hi >flink的sql gateway支持自定义的UDF吗？包括java和python的，有示例可以参考下吗？

flink的sql gateway支持自定义的UDF吗？

Hi flink的sql gateway支持自定义的UDF吗？包括java和python的，有示例可以参考下吗？

Re:flink 1.18.0的sql gateway支持提交作业到k8s上运行吗？

Hi， 提交到本地是flink配置文件里面配置的jobmanager的地址，所以肯定也是提交到K8S的吧 yarn的不太清楚。 在 2023-10-30 14:36:23，"casel.chen" 写道： >想问一下目前flink 1.18.0的sql gateway只支持提交作业到本地运行吗？能否支持提交作业到yarn或k8s上运行呢？

[ANNOUNCE] Apache Flink Kubernetes Operator 1.6.1 released

The Apache Flink community is very happy to announce the release of Apache Flink Kubernetes Operator 1.6.1. Please check out the release blog post for an overview of the release: https://flink.apache.org/2023/10/27/apache-flink-kubernetes-operator-1.6.1-release-announcement/ The release is

Re: Re: flink 1.18.0 使用 hive beeline + jdbc driver连接sql gateway失败

hiveserver2 endpoint 就是让 flink gateway 直接变成 hive server2，对外来讲它就是 hive server2 了，它可以直接跟已有的跟 hive server2 的工具配合一起使用。 但是现在你其实用的是 flink jdbc driver，这个并不是跟 hive server2 交互，它就是跟 flink gateway 交互，所以你用hive server2的模式启动，它就不认识了。 casel.chen 于2023年10月30日周一 14:36写道： > > 果然不指定endpoint为hiveserver2类型后使用hive

Re:Re:Re:回复： flink sql不支持show create catalog 吗？

谢谢解答，我查了一下目前有两种CatalogStore实现，一个是基于内存的，另一个是基于文件系统的。 请问要如何配置基于文件系统的CatalogStore？这个文件可以在对象存储上吗？flink sql client要如何使用这个CatalogStore? 谢谢！ 在 2023-10-30 10:28:34，"Xuyang" 写道： >Hi, CatalogStore 的引入我理解是为了Catalog能被更好地管理、注册和元数据存储，具体motivation可以参考Flip295[1].

flink 1.18.0的sql gateway支持提交作业到k8s上运行吗？

想问一下目前flink 1.18.0的sql gateway只支持提交作业到本地运行吗？能否支持提交作业到yarn或k8s上运行呢？

Re:Re: flink 1.18.0 使用 hive beeline + jdbc driver连接sql gateway失败

果然不指定endpoint为hiveserver2类型后使用hive beeline工具连接上了。感谢！ 不过我仍然有个疑问，看官网文档上有写提供 hiveserver2 endpoint 是为了兼容hive方言，按理也应该可以使用beeline连接上，因为原本beeline支持连接hiveserver2 以下是原文： HiveServer2 Endpoint is compatible with HiveServer2 wire protocol and allows users to interact (e.g. submit Hive SQL) with Flink SQL

Re: flink sql如何处理脏数据问题？

还有一种做法就是使用datastream，datastream支持sideoutput，但 flink sql不支持，不过有一种迂回的做法就是flinksql -> datastream -> flink sql，可以查一下官网资料，flinksql和datastream可以互相转换。 Xuyang 于2023年10月30日周一 10:17写道： > Flink SQL目前对于脏数据没有类似side output的机制来输出，这个需求用自定义connector应该可以实现。 > > > > > > > > -- > > Best！ > Xuyang > > > > >

Re: flink 1.18.0 使用 hive beeline + jdbc driver连接sql gateway失败

Hi casel, Flink JDBC 链接到 gateway 目前使用的是 flink 的 gateway 接口，所以你在启动 gateway 的时候不用指定 endpoint 为 hiveserver2 类型，用 Flink 默认的 gateway endpoint 类型即可。 casel.chen 于2023年10月29日周日 17:24写道： > > 1. 启动flink集群 > bin/start-cluster.sh > > > 2. 启动sql gateway > bin/sql-gateway.sh start

Re:Re:回复： flink sql不支持show create catalog 吗？

Hi, CatalogStore 的引入我理解是为了Catalog能被更好地管理、注册和元数据存储，具体motivation可以参考Flip295[1]. 我的理解是倒不是说“引入CatalogStore后才可以提供show create catalog语法支持”，而是之前没有直接存储catalog配置的地方和能力，在CatalogStore之后，天然支持了对catalog配置的存储，因此这个feat就可以直接快速的支持了。 [1]

Re:flink sql如何处理脏数据问题？

Flink SQL目前对于脏数据没有类似side output的机制来输出，这个需求用自定义connector应该可以实现。 -- Best！ Xuyang 在 2023-10-29 10:23:38，"casel.chen" 写道： >场景：使用flink >sql将数据写入下游OLAP系统，如doris，遇到一些异常情况，比如字段值超长或者分区字段值为当前doris表不存在的分区（需要先人为创建）等等，当前写入这些脏数据会使得作业写入报错，进而导致作业失败。我们是希望能够将这些“脏”数据单独发到一个kafka >

Re:回复： flink sql不支持show create catalog 吗？

请问flink 1.18引入的CatalogStore是为了解决什么问题呢？为什么引入CatalogStore后才可以提供show create catalog语法支持？ 在 2023-10-20 17:03:46，"李宇彬" 写道： >Hi Feng > > >我之前建过一个jira（https://issues.apache.org/jira/browse/FLINK-24939），引入CatalogStore后，实现这个特性的时机应该已经成熟了，我们这边业务场景里用到了很多catalog，管理起来很麻烦，有这个特性会好很多。 >| | >

flink 1.18.0 使用 hive beeline + jdbc driver连接sql gateway失败

1. 启动flink集群 bin/start-cluster.sh 2. 启动sql gateway bin/sql-gateway.sh start -Dsql-gateway.endpoint.type=hiveserver2 3. 将flink-sql-jdbc-driver-bundle-1.18.0.jar放到apache-hive-3.1.2-bin/lib目录下 4. 到apache-hive-3.1.2-bin目录下启动beeline连接sql gateway，提示输入用户名和密码时直接按的回车 $ bin/beeline SLF4J: Class path

flink sql如何处理脏数据问题？

场景：使用flink sql将数据写入下游OLAP系统，如doris，遇到一些异常情况，比如字段值超长或者分区字段值为当前doris表不存在的分区（需要先人为创建）等等，当前写入这些脏数据会使得作业写入报错，进而导致作业失败。我们是希望能够将这些“脏”数据单独发到一个kafka topic或者写入一个文件便于事后审查。这个目前有办法做到吗？

FW: Unable to achieve Flink kafka connector exactly once delivery semantics.

Hi, Can someone please help me to resolve the below issue while running flink job. Or provide me any doc/example which describe the exactly-once delivery guarantee semantics. Thanks, Gopal. From: Gopal Chennupati (gchennup) Date: Friday, 27 October 2023 at 11:00 AM To:

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Congratulations and thanks release managers and everyone who has contributed! Best, Jark On Fri, 27 Oct 2023 at 12:25, Hang Ruan wrote: > Congratulations! > > Best, > Hang > > Samrat Deb 于2023年10月27日周五 11:50写道： > > > Congratulations on the great release > > > > Bests, > > Samrat > > > > On

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Congratulations! Best, Hang Samrat Deb 于2023年10月27日周五 11:50写道： > Congratulations on the great release > > Bests, > Samrat > > On Fri, 27 Oct 2023 at 7:59 AM, Yangze Guo wrote: > > > Great work! Congratulations to everyone involved! > > > > Best, > > Yangze Guo > > > > On Fri, Oct 27, 2023 at

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。 Best, Junrui 13430298988 <13430298...@163.com> 于2023年10月27日周五 11:00写道： > 退订

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。 Best, Junrui chenyu_opensource 于2023年10月27日周五 10:20写道： > 退订

退订

退订

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Great work! Congratulations to everyone involved! Best, Yangze Guo On Fri, Oct 27, 2023 at 10:23 AM Qingsheng Ren wrote: > > Congratulations and big THANK YOU to everyone helping with this release! > > Best, > Qingsheng > > On Fri, Oct 27, 2023 at 10:18 AM Benchao Li wrote: >> >> Great work,

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Congratulations and big THANK YOU to everyone helping with this release! Best, Qingsheng On Fri, Oct 27, 2023 at 10:18 AM Benchao Li wrote: > Great work, thanks everyone involved! > > Rui Fan <1996fan...@gmail.com> 于2023年10月27日周五 10:16写道： > > > > Thanks for the great work! > > > > Best, > >

退订

退订

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Great work, thanks everyone involved! Rui Fan <1996fan...@gmail.com> 于2023年10月27日周五 10:16写道： > > Thanks for the great work! > > Best, > Rui > > On Fri, Oct 27, 2023 at 10:03 AM Paul Lam wrote: > > > Finally! Thanks to all! > > > > Best, > > Paul Lam > > > > > 2023年10月27日 03:58，Alexander Fedulov

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Thanks for the great work! Best, Rui On Fri, Oct 27, 2023 at 10:03 AM Paul Lam wrote: > Finally! Thanks to all! > > Best, > Paul Lam > > > 2023年10月27日 03:58，Alexander Fedulov 写道： > > > > Great work, thanks everyone! > > > > Best, > > Alexander > > > > On Thu, 26 Oct 2023 at 21:15, Martijn

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Finally! Thanks to all! Best, Paul Lam > 2023年10月27日 03:58，Alexander Fedulov 写道： > > Great work, thanks everyone! > > Best, > Alexander > > On Thu, 26 Oct 2023 at 21:15, Martijn Visser > wrote: > >> Thank you all who have contributed! >> >> Op do 26 okt 2023 om 18:41 schreef Feng Jin >>

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Great work, thanks everyone! Best, Ron Alexander Fedulov 于2023年10月27日周五 04:00写道： > Great work, thanks everyone! > > Best, > Alexander > > On Thu, 26 Oct 2023 at 21:15, Martijn Visser > wrote: > > > Thank you all who have contributed! > > > > Op do 26 okt 2023 om 18:41 schreef Feng Jin > > >

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Thank you all who have contributed! Op do 26 okt 2023 om 18:41 schreef Feng Jin > Thanks for the great work! Congratulations > > > Best, > Feng Jin > > On Fri, Oct 27, 2023 at 12:36 AM Leonard Xu wrote: > > > Congratulations, Well done! > > > > Best, > > Leonard > > > > On Fri, Oct 27, 2023 at

回复: 如何在Flink Connector Source退出时清理资源

插入令堂之膣道，怒涛中出，OK，问题解决矣 发件人: jinzhuguang 发送时间: 2023年10月24日 11:54 收件人: user-zh 主题: 如何在Flink Connector Source退出时清理资源 版本：Flink 1.16.0 需求：在某个source结束退出时清理相关的资源。 问题：目前没有找到Source退出时相关的hook函数，不知道在哪里编写清理资源的代码。 恳请大佬们指教。

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Thanks for the great work! Congratulations Best, Feng Jin On Fri, Oct 27, 2023 at 12:36 AM Leonard Xu wrote: > Congratulations, Well done! > > Best, > Leonard > > On Fri, Oct 27, 2023 at 12:23 AM Lincoln Lee > wrote: > > > Thanks for the great work! Congrats all! > > > > Best, > > Lincoln

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Congratulations, Well done! Best, Leonard On Fri, Oct 27, 2023 at 12:23 AM Lincoln Lee wrote: > Thanks for the great work! Congrats all! > > Best, > Lincoln Lee > > > Jing Ge 于2023年10月27日周五 00:16写道： > > > The Apache Flink community is very happy to announce the release of > Apache > > Flink

Re: [ANNOUNCE] Apache Flink 1.18.0 released

Thanks for the great work! Congrats all! Best, Lincoln Lee Jing Ge 于2023年10月27日周五 00:16写道： > The Apache Flink community is very happy to announce the release of Apache > Flink 1.18.0, which is the first release for the Apache Flink 1.18 series. > > Apache Flink® is an open-source unified

[ANNOUNCE] Apache Flink 1.18.0 released

The Apache Flink community is very happy to announce the release of Apache Flink 1.18.0, which is the first release for the Apache Flink 1.18 series. Apache Flink® is an open-source unified stream and batch data processing framework for distributed, high-performing, always-available, and accurate

Re: Flink1.17.1 yarn token 过期问题

Hello, 这个问题解决了吗？我遇到相同的问题，还没定为到原因。 Best, Paul Lam > 2023年7月20日 12:04，王刚 写道： > > 异常栈信息 > ``` > > 2023-07-20 11:43:01,627 ERROR > org.apache.flink.runtime.taskexecutor.TaskManagerRunner [] - Terminating > TaskManagerRunner with exit code 1. > org.apache.flink.util.FlinkException: Failed

FLINK-24035, how can this issue be repeated?

We encountered similar problems in production, and we want to integrate FLINK-24035 to solve them, but we don't know how to repeat the problem.

Re:如何在Flink Connector Source退出时清理资源

Hi, 看一下你的DynamicTableSource实现的类，如果你用的是InputFormat的旧source（用的是类似InputFormatProvider.of），可以使用InputFormat里的close方法； 如果用的是flip-27的source（用的是类似SourceProvider.of），SplitReader里也有一个close方法 -- Best！ Xuyang 在 2023-10-24 11:54:36，"jinzhuguang" 写道： >版本：Flink 1.16.0 >

如何在Flink Connector Source退出时清理资源

版本：Flink 1.16.0 需求：在某个source结束退出时清理相关的资源。 问题：目前没有找到Source退出时相关的hook函数，不知道在哪里编写清理资源的代码。 恳请大佬们指教。

Re: Problems with the state.backend.fs.memory-threshold parameter

Hi，Zakelly Thank you for your answer. Best， rui Zakelly Lan 于2023年10月13日周五 19:12写道： > Hi rui, > > The 'state.backend.fs.memory-threshold' configures the threshold below > which state is stored as part of the metadata, rather than in separate > files. So as a result the JM will use its memory

回复： flink sql不支持show create catalog 吗？

Hi Feng 我之前建过一个jira（https://issues.apache.org/jira/browse/FLINK-24939），引入CatalogStore后，实现这个特性的时机应该已经成熟了，我们这边业务场景里用到了很多catalog，管理起来很麻烦，有这个特性会好很多。 | | 回复的原邮件 | 发件人 | Feng Jin | | 发送日期 | 2023年10月20日 13:18 | | 收件人 | | | 主题 | Re: flink sql不支持show create catalog 吗？ | hi casel 从 1.18

jobmanager 开启ha模式重复启用的问题

flink onYarn集群，运行模式为yarn application 开启zookeeper high availability后，JobManager由于异常退出后，会重新启动一个jm在其他节点，这个没有问题，但是之前的那个tm的信息在zk中并不会删除，导致出现了两个job在，并且后续启动的那个job长期属于悬挂状态，不会正常工作 flink 版本为1.15.3，日志中的错误如下： 页面上的现象如下： zk中的状态看上tm的信息不会删除，仍然是被locks的状态 请教下各位，是否有遇到类似的情况，zk中的过久信息是否可以配置删除？

Re: kafka_appender收集flink任务日志连接数过多问题

可以考虑在每台 yarn 机器部署日志服务(可收集本机的日志到 kafka) yarn container -> 单机的日志服务 -> kafka. On Mon, Oct 16, 2023 at 3:58 PM 阿华田 wrote: > > Flink集群使用kafka_appender收集flink产生的日志，但是现在实时运行的任务超过了三千个，运行的yarn-container有20万+。导致存储日志的kafka集群连接数过多，kafka集群压力有点大，请教各位大佬flink日志采集这块还有什么好的方式吗 > > > | | > 阿华田 > | > | >

Re: flink sql不支持show create catalog 吗？

hi casel 从 1.18 开始，引入了 CatalogStore，持久化了 Catalog 的配置，确实可以支持 show create catalog 了。 Best, Feng On Fri, Oct 20, 2023 at 11:55 AM casel.chen wrote: > 之前在flink sql中创建过一个catalog，现在想查看当初创建catalog的语句复制并修改一下另存为一个新的catalog，发现flink > sql不支持show create catalog 。 > 而据我所知doris是支持show create

flink sql不支持show create catalog 吗？

之前在flink sql中创建过一个catalog，现在想查看当初创建catalog的语句复制并修改一下另存为一个新的catalog，发现flink sql不支持show create catalog 。 而据我所知doris是支持show create catalog语句的。flink sql能否支持一下呢？

Re: Flink SQL的状态清理

Hi, 你好 如果使用的是 standalone session cluster, 想要在 JM/TM 日志中看到参数打印出来, 需要在集群启动前在 flink-conf.yaml 配置 table.exec.state.ttl: '${TTL}', 再启动集群; 集群启动后再修改的话, 日志不会打印出来, 可以通过 SET; 命令查看当前 SQL CLI 中配置的参数. 另外, 需要先执行 SET 'table.exec.state.ttl' = '${TTL}' , 然后提交作业, 可以确认下操作顺序是否有误. 祝好! Jane On Mon, Oct 9, 2023 at

Re: 请问1.18什么时候可以发布呢，想体验1.17jdk

快了，已经开始voting了 :-)) On Sun, Oct 15, 2023 at 5:55 AM kcz <573693...@qq.com.invalid> wrote: >

kafka_appender收集flink任务日志连接数过多问题

Flink集群使用kafka_appender收集flink产生的日志，但是现在实时运行的任务超过了三千个，运行的yarn-container有20万+。导致存储日志的kafka集群连接数过多，kafka集群压力有点大，请教各位大佬flink日志采集这块还有什么好的方式吗 | | 阿华田 | | a15733178...@163.com | 签名由网易邮箱大师定制

Flink启动失败问题

Flink版本 到bin目录执行: ./start-cluster.sh 报错信息: 看是端口占用其实没有 尝试修改端口，还是一样报错端口问题， 任意修改一个端口多是报同上面一样的错误。 端口也是开放的 希望大佬们能帮忙看看是什么问题呢??? | | qwemssd | | qwem...@163.com |

请问1.18什么时候可以发布呢，想体验1.17jdk

Re: Problems with the state.backend.fs.memory-threshold parameter

Hi rui, The 'state.backend.fs.memory-threshold' configures the threshold below which state is stored as part of the metadata, rather than in separate files. So as a result the JM will use its memory to merge small checkpoint files and write them into one file. Currently the FLIP-306[1][2] is

Real-time task blocking problem

After the task restart of our 1.13 version, kakfa consumption zero problem occurred. Have you ever encountered it?

Problems with the state.backend.fs.memory-threshold parameter

We found that for some tasks, the JM memory continued to increase. I set the parameter of state.backend.fs.memory-threshold to 0, and the JM memory would no longer increase, but many small files might be written in this way. Does the community have any optimization plan for this area?

Re: Cannot find metata file metadats in directory

After the task is restarted for several times, it is found that the supported cp is deleted. I view the audit log of HDFS and find that the deletion request comes from JM Hangxiang Yu 于2023年9月30日周六 17:10写道： > Hi, > How did you point out the checkpoint path you restored from ? > > Seems that you

Re: 关于Flink SQL无法对带metadata列的表在执行insert into时，指定具体的列名的问题。

感谢大佬！！！ > 2023年10月13日 10:44，tanjialiang 写道： > > Hi, > 这个问题已经在1.17.0修复，详细可以看https://issues.apache.org/jira/browse/FLINK-30922 > > > best wishes, > tanjialiang. > > > 回复的原邮件 > | 发件人 | jinzhuguang | > | 发送日期 | 2023年10月13日 10:39 | > | 收件人 | user-zh | > | 主题 | 关于Flink

回复：关于Flink SQL无法对带metadata列的表在执行insert into时，指定具体的列名的问题。

Hi, 这个问题已经在1.17.0修复，详细可以看https://issues.apache.org/jira/browse/FLINK-30922 best wishes, tanjialiang. 回复的原邮件 | 发件人 | jinzhuguang | | 发送日期 | 2023年10月13日 10:39 | | 收件人 | user-zh | | 主题 | 关于Flink SQL无法对带metadata列的表在执行insert into时，指定具体的列名的问题。 | 首先，我的Flink版本为1.16.0 为了方便理解，我以Kafka作为案例来描述:

关于Flink SQL无法对带metadata列的表在执行insert into时，指定具体的列名的问题。

首先，我的Flink版本为1.16.0 为了方便理解，我以Kafka作为案例来描述: 我有以下两个表： CREATE TABLE orders( user_id BIGINT, name STRING, timestamp TIMESTAMP(3) METADATA VIRTUAL )WITH( 'connector'='kafka', 'topic'='orders', 'properties.group.id' = 'test_join_tempral', 'scan.startup.mode'='earliest-offset',

回复： Flink SQL的状态清理

你好，老师，我也是这样设置的，我这边是flink sql client，但是我去flink web ui界面并没有看到这个配置生效。 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | Jane Chan | | 发送日期 | 2023年9月25日 11:24 | | 收件人 | | | 主题 | Re: Flink SQL的状态清理 | Hi, 可以通过设置 table.exec.state.ttl 来控制状态算子的 state TTL. 更多信息请参阅 [1] [1]

toolongframeexception

大家好： 我搭建了一个单机standealone 的flink用来测试mysql CDC，我发现每天晚上4点和4.30，我的taskmanager和jobmanager日志都有akka的TooLongFrameException，是BlobServerConnection报出来的，那个时候可能有定时任务在操作大量操作mysql数据库，我想问： 1. TooLongFrameException可能是mysql操作比较大造成的吗？如果是，有解决方法吗？ 2. BlobServer是干嘛的？我一直认为blobserver是用来放job jar之类的，应该和cdc

回复：flink两阶段提交

多谢啦 回复的原邮件 | 发件人 | Feng Jin | | 日期 | 2023年10月08日 13:17 | | 收件人 | user-zh@flink.apache.org | | 抄送至 | | | 主题 | Re: flink两阶段提交 | hi, 可以参考这篇博客，描述的非常清晰： https://flink.apache.org/2018/02/28/an-overview-of-end-to-end-exactly-once-processing-in-apache-flink-with-apache-kafka-too/ Best,

Re: flink两阶段提交

hi, 可以参考这篇博客，描述的非常清晰： https://flink.apache.org/2018/02/28/an-overview-of-end-to-end-exactly-once-processing-in-apache-flink-with-apache-kafka-too/ Best, Feng On Sun, Sep 24, 2023 at 9:54 PM 海风 <18751805...@163.com> wrote: > 请教一下，flink的两阶段提交对于sink算子，预提交是在做检查点的哪个阶段触发的？预提交时具体是做了什么工作？ > > >

Re: Flink CDC消费Apache Paimon表

hi casel Flink 实时消费 paimon，默认情况就是全量 + 增量的方式。 具体可以参考： https://paimon.apache.org/docs/master/maintenance/configurations/ 中的 scan.mode 参数 best, Feng On Fri, Sep 29, 2023 at 5:50 PM casel.chen wrote: > 目前想要通过Flink全量+增量消费Apache Paimon表需要分别起离线和增量消费两个作业，比较麻烦，而且无法无缝衔接，能否通过类似Flink >

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。 Best, Yunfeng On Wed, Oct 4, 2023 at 10:07 AM 1 wrote: > >

退订

Re: Cannot find metata file metadats in directory

Hi, How did you point out the checkpoint path you restored from ? Seems that you are trying to restore from a not completed or failed checkpoint. On Thu, Sep 28, 2023 at 6:09 PM rui chen wrote: > When we use 1.13.2,we have the following error: > FileNotFoundException: Cannot find metata file

Flink CDC消费Apache Paimon表

目前想要通过Flink全量+增量消费Apache Paimon表需要分别起离线和增量消费两个作业，比较麻烦，而且无法无缝衔接，能否通过类似Flink CDC消费mysql表的方式消费Apache Paimon表？

Cannot find metata file metadats in directory

When we use 1.13.2,we have the following error: FileNotFoundException: Cannot find metata file metadats in directory 'hdfs://xx/f408dbe327f9e5053e76d7b5323d6e81/chk-173'.

回复: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 来取消订阅邮件。 Best, Zhanghao Chen 发件人: guangyu05 发送时间: 2023年9月26日 18:45 收件人: user-zh@flink.apache.org 主题: 退订 退订

退订

退订

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org mailto:u...@flink.apache.org>> 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Please send email to user-zh-unsubscr...@flink.apache.org

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org mailto:u...@flink.apache.org>> 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Please send email to user-zh-unsubscr...@flink.apache.org

Re: 退订

Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org mailto:u...@flink.apache.org>> 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Please send email to user-zh-unsubscr...@flink.apache.org

退订

退订

退订

退订

退订

退订

<    1   2   3   4   5   6   7   8   9   10   >