That makes sense, thank you. I found FLIP-316 [1] and will keep an eye on
it too.
Thanks, Robin.
[1]
https://cwiki.apache.org/confluence/display/FLINK/FLIP-316%3A+Support+application+mode+for+SQL+Gateway
On Fri, 8 Mar 2024 at 13:56, Zhanghao Chen
wrote:
> Hi Robin,
>
> It's better to use
Hi Robin,
It's better to use Application mode [1] for mission-critical long-running SQL
jobs as it provides better isolation, you can utilize the table API to package
a jar as suggested by Feng to do so. Neither SQL client nor SQL gateway
supports submitting SQL in Application mode for now,
事实上是可行的。你可以直接修改 StreamExecutionEnvironment 的源码，默认给作业作业注册上一个你们定制的
listener，然后通过某种那个方式把这个信息透出来。在 FLIP-314 [1] 中，我们计划直接在 Flink 里原生提供一个这样的接口让你去注册自己的
listener 获取血缘信息，不过还没发布，可以先自己做。
[1]
https://cwiki.apache.org/confluence/display/FLINK/FLIP-314:+Support+Customized+Job+Lineage+Listener
我们想修改源码 实现任意任务提交实时平台，初始化DAG的时候获取到血缘信息，StreamExecutionEnvironment注册 这种只能写在任务里
不满足需求
| |
阿华田
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
在2024年03月8日 18:23，Zhanghao Chen 写道：
你可以看下 OpenLineage 和 Flink 的集成方法 [1]，它是在 StreamExecutionEnvironment 里注册了一个
JobListener（通过这个可以拿到 JobClient 进而拿到 job id）。然后从
你可以看下 OpenLineage 和 Flink 的集成方法 [1]，它是在 StreamExecutionEnvironment 里注册了一个
JobListener（通过这个可以拿到 JobClient 进而拿到 job id）。然后从 execution environment 里可以抽取到
transformation 信息处理 [2]。
[1] https://openlineage.io/docs/integrations/flink/
[2]
”JobGraph 可以获得 transformation 信息“， JobGraph可以直接获取transformation的信息吗？， 我们是在
SourceTransformation 和SinkTransformation反射拿到链接信息 ，但是这个地方拿不到flinkJobid,
JobGraph可以拿到source和sink的链接信息和flinkJobid？
| |
阿华田
|
|
a15733178...@163.com
|
JobGraph 可以获得 transformation 信息transformation
签名由网易邮箱大师定制
Hello Ivan!
Could you please create a JIRA issue out of this?
That seem the proper place where to discuss this.
It seems a bug as the two versions of the code you posted look identical, and
the behavior should be consistent.
On Mar 7, 2024 at 13:09 +0100, Ivan Petrarka , wrote:
> Note, that in
JobGraph 里有个字段就是 jobid。
Best,
Zhanghao Chen
From: 阿华田
Sent: Friday, March 8, 2024 14:14
To: user-zh@flink.apache.org
Subject: 回复： Flink DataStream 作业如何获取到作业血缘？
获取到Source 或者 DorisSink信息之后, 如何知道来自那个flink任务，好像不能获取到flinkJobId
| |
阿华田
|
|
a15733178...@163.com
|
