Re: How's JobManager bring up TaskManager in Application Mode or Session Mode?

Hi Mark, the JobManager is not necessarily in charge of spinning up TaskManager instances. It depends on the resource provider configuration you choose. Flink differentiates between active and passive Resource Management (see the two available implementations of ResourceManager [1]). Active

Re: 如何使用flink sql优雅的处理大量嵌套if-else逻辑

我会选择 UDF + 配置文件，把配置文件放 HDFS上，UDF读这个配置文件。每次更新HDFS的配置文件，重启下任务 casel.chen 于2022年11月24日周四 12:01写道： > 我有一个flink > sql作业需要根据不同字段值满足不同条件来设置另一个字段值，还有一些嵌套if-else逻辑，这块逻辑不是固定的，业务方会过一段时间调整一次。 > 想请问如何使用flink sql优雅的处理嵌套if-else逻辑呢？我有想到使用drools规则引擎，通过udf来调用，不知道还有没有更好的办法？ > >

How's JobManager bring up TaskManager in Application Mode or Session Mode?

Hi, How's JobManager bring up TaskManager in Application Mode or Session Mode? I can’t get it even after reading source code of flink operator? Any help will be appreciate, Thank you. Mark

Support Stored procedures

Supports operations like hudi/iceberg calls, such as savepoint/ checkpoint， https://hudi.apache.org/docs/procedures/ CALL system.procedure_name(arg_1, arg_2, ... arg_n) Based on the flink development platform, direct use of call sql to complete some management operations, will be very

Re: 怎样从flink执行计划json生成StreamGraph?

并不需要从执行计划json生成streamGraph呀~ streamGraph提交之前直接转jobGraph。 casel.chen 于2022年11月28日周一 08:53写道： > > 源码中只找到如何从streamgraph生成执行计划的json串，但没有找到如何解析执行计划的json串生成回streamgraph，还请赐教

flink sql有办法获取到rowkind元数据字段吗？

flink sql有办法获取到rowkind元数据字段吗？比如按rowkind进行case when处理或者过滤

flink sql作业无缝升级问题

线上有一个流量较大的flink sql作业需要升级添加业务字段，当前主要是kafka (canal) 多表关联写入 mongodb 数据同步场景，除了source offset外无其他状态，如何让用户对升级无感呢？ 常规的停止作业再启动作业至少要几十秒，会造成消息积压告警，有没有可能先启新作业待运行平稳后再停止老作业？kafka group使用同一个，作业启动从group-offsets开始可以吗？另外，如果是有大状态作业又要如何无缝升级？

flink sql接cdc数据源按最新数据统计问题

业务需求是mysql订单表按天按供应商实时统计交易金额，订单表会发生修改和删除，用flink sql要如何实现呢？开窗取最新一条记录再聚合吗？如果遇到delete记录会不会减去相应的price呢？试着写了如下flink sql不知道对不对 select s.biddate, s.supplier, sum(s.price) from ( select * from ( select biddate, supplier, price,

Flink Kubernetes Operator何时会保留JobManager

环境: Flink：1.15 Operator: 1.2.0 问题： 注意到Operator源码里execution.shutdown-on-application-finish参数被设置为False。 想请问Flink operator部署的Flink作业在何时会保留JobManager的pod？因为我想在作业失败或者停止后还能获取到作业的日志。 除了正常Running状态会保留外，我尝试了其他情况。

回复：请问flink metrics如何获取任务状态？

hi 你的图片挂了 可以用图床上传一下图片 在这里贴个链接 另外自定义 reportor 把需要的metric 过滤出来上报就行了 回复的原邮件 | 发件人 | 陈佳豪 | | 发送日期 | 2022年11月28日 00:54 | | 收件人 | user-zh | | 主题 | 请问flink metrics如何获取任务状态？ | 自定义了一个kafka Metric Reporters #请问如何使用上述指标呢？ 我想通过上报获取任务状态。除了上述指标外如果有其他方案也可以，当前flink 版本是15.2 还望大神指教一番。

Flink Kubernetes Operator何时会保留JobManager Pod

环境: Flink：1.15 Operator: 1.2.0 问题： 注意到Operator源码里execution.shutdown-on-application-finish参数被设置为False。 想请问Flink operator部署的Flink作业在何时会保留JobManager的pod？因为我想在作业失败或者停止后还能获取到作业的日志。 除了正常Running状态会保留外，我尝试了其他情况。

请问flink sql可以被捕获异常吗？

hi 请问能在java代码里面try catch到基于flink sql写的任务异常信息吗？

Re:Re: Flink Kubernetes Operator何时会保留JobManager Pod

hi.如果是流作业呢？其实我是想在作业失败的时候能保留日志方便查看排查。 -- Best， Hjw 在 2022-11-28 15:33:37，"Biao Geng" 写道： >hi，主要就是针对作业FINISHED或者FAILED时也能保留作业。你可以跑一个批作业试试。 >Best， >Biao Geng > >获取 Outlook for iOS > >发件人: hjw >发送时间: Monday, November 28, 2022

Re:Re: 回复: FlinkCDC可以读到MySQL变更数据，但是插不到新的MySQL表里

CDC是自己编译的2.3，对应flink1.14的版本，还有一个问题是，可以读到变更数据。比如11点30写入mysql，flinkcdc读出来要慢几分钟，5~7分钟之后才能读到新写入或者变更的数据，第二个问题就行，变更数据插不到另外一张mysql表里 在 2022-11-07 10:11:56，"Shengkai Fang" 写道： >你用的是哪个版本的 cdc，增量部分的数据需要全量的部分读完才能进行。 > >Best, >Shengkai > >左岩 <13520871...@163.com> 于2022年11月4日周五 17:58写道： > >>

如果一个hive 数据库同时有hudi表和parquet，需要注册两个catalog？

如果一个hive 数据库同时有hudi和parquet表，好像只能分别注册hive catalog，和hudi catalog，两不同表需要分别使用通过catalog。不是很优雅，也对用户造成困惑。 select * from hudi_catalog.dbName.table1 left jon hive_catalog.dbBane.table2 spark 如果把hudi catalog注册名为spark_catalog，spark_catalog 是spark 默认cataog 名。sql 同时方式hudi 和parquet表，不需要添加catalog name。 select

Re: Query about flink job manager dashboard

Hi, We are able to disable this cancela nd upload otpion in ui. But this is having issues with endpoints for below. Get call for /jars to list all uploaded jars and post call /jars/{jarid}/run are giving 404 after disabling the two flags. Is the process of uploading jars and running a jar with

Re: Support for higher-than-millisecond resolution event-time timestamps

Hi David, Many thanks for your reply. Two things, then: 1. If there are any chances to contribute on this, let me know 2. In the meantime, process functions FTW! Salva On Fri, Nov 25, 2022 at 9:21 AM David Anderson wrote: > When it comes to event time processing and watermarks, I believe that

How to make flink operator as a cluster operator?

Hi all, How to make flink operator as a cluster operator? And How to register it to CVO(Cluster Version Operator)? I didn't find any code or configure file in flink-operator's code. Thank you. Mark