execution.job-listeners 只可以设置 JobListener 的实现。
需求场景应该使用 JobStatusListener
Best,
TonyChen
> 2022年11月24日 11:55，casel.chen 写道：
>
> 可以使用 execution.job-listeners 参数吗？这个参数的用法是怎样的？
>
>
>
>
>
>
>
>
>
>
>
> 在 2022-11-24 10:41:35，"Yang Wang" 写道：
>> 其实可以参考Flink Kubernetes
>>
我有一个flink sql作业需要根据不同字段值满足不同条件来设置另一个字段值，还有一些嵌套if-else逻辑，这块逻辑不是固定的，业务方会过一段时间调整一次。
想请问如何使用flink sql优雅的处理嵌套if-else逻辑呢？我有想到使用drools规则引擎，通过udf来调用，不知道还有没有更好的办法？
可以使用 execution.job-listeners 参数吗？这个参数的用法是怎样的？
在 2022-11-24 10:41:35，"Yang Wang" 写道：
>其实可以参考Flink Kubernetes
>Operator里面的做法，设置execution.shutdown-on-application-finish参数为false
>然后通过轮询Flink RestAPI拿到job的状态，job结束了再主动停掉Application cluster
>
>Best,
>Yang
>
>JasonLee <17610775...@163.com>
其实可以参考Flink Kubernetes
Operator里面的做法，设置execution.shutdown-on-application-finish参数为false
然后通过轮询Flink RestAPI拿到job的状态，job结束了再主动停掉Application cluster
Best,
Yang
JasonLee <17610775...@163.com> 于2022年11月24日周四 09:59写道：
> Hi
>
>
> 可以通过 Flink 的 Metric 和 Yarn 的 Api 去获取任务的状态（任务提交到 yarn 的话）
>
>
> Best
>
[image: image.png]
参考SparkLauncher 也是支持yarn 和k8s
提交，但是一个异步过程，通过轮询能够实时获取不同状态信息，ApplicationDeployer.run
只能同步等待appid 返回。需要把appid 记录到数据库，打印在日志不方便获取，如果图片看不到，请参考代码：
Hi
可以通过 Flink 的 Metric 和 Yarn 的 Api 去获取任务的状态（任务提交到 yarn 的话）
Best
JasonLee
回复的原邮件
| 发件人 | casel.chen |
| 发送日期 | 2022年11月23日 08:32 |
| 收件人 | user-zh@flink.apache.org |
| 主题 | flink作业提交运行后如何监听作业状态发生变化？ |
请问flink作业提交运行后如何监听作业状态发生变化以便在控台上实时显示作业状态变更？目前我们的做法是轮询，但效率低，有没有listener可以进行注册的方法呢？
Just Kindly remind, you attached images could not show normally.
Given that *ApplicationDeployer* is not only used for Yarn application
mode, but also native Kubernetes, I am not sure which way you are referring
to return the applicationId.
We already print the applicationId in the client logs.
关注这个话题，感谢您的分享。
看了一下文档，貌似只有1.15及以上版本有这个metric，对于1.14及以下版本有什么好的思路吗？谢谢
Best,
TonyChen
> 2022年11月23日 09:28，RS 写道：
>
> Hi，
>
>
> Flink的Metric了解下，里面应该有作业的状态
> https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/#reporter
>
>
> 配置不同的Metric方式，有的是拉取，有的是推送的机制，
>
如果作业挂了就不会发metrics了吧，控台感知会滞后，有没有更及时感知的办法呢？
在 2022-11-23 09:28:59，"RS" 写道：
>Hi，
>
>
>Flink的Metric了解下，里面应该有作业的状态
>https://nightlies.apache.org/flink/flink-docs-master/docs/ops/metrics/#reporter
>
>
>配置不同的Metric方式，有的是拉取，有的是推送的机制，
是的，类似阿里云和腾讯云上面的功能
在 2022-11-23 10:02:09，"Shengkai Fang" 写道：
>想问一下你想实现的功能是咋样的呢？是阿里云上的那种吗？
>
>Best,
>Shengkai
>
>casel.chen 于2022年11月23日周三 08:29写道：
>
>> flink sql社区版貌似还不支持CTAS/CDAS语句，请问要如何扩展flink
>> sql以支持CTAS/CDAS语句？可以给个思路或代码示例吗？谢谢！
Data platform has registered many relational database data sources such as
mysql, data source code is used as the catalog name, we are not sure which
data source needs to register the catalog in flink, we hope that the
required catalog can be dynamically loaded when sql is executed, flink
provides
The task is submitted by ApplicationDeployer api, and the run is
synchronous and waiting for the submission to be completed. If the task is
submitted to yarn, it is probably accepted and the yarn applicationID is
not obtained at this time. It is difficult to cancel the task.Recommended
to org.
Supports operations like hudi/iceberg calls, such as savepoint
https://hudi.apache.org/docs/procedures/
CALL system.procedure_name(arg_1, arg_2, ... arg_n)
13 matches
Mail list logo
