From: 阿华田
Sent: Friday, March 8, 2024 18:47
To: user-zh@flink.apache.org
Subject: 回复: Flink DataStream 作业如何获取到作业血缘?
我们想修改源码 实现任意任务提交实时平台,初始化DAG的时候获取到血缘信息,StreamExecutionEnvironment注册 这种只能写在任务里
不满足需求
| |
阿华田
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
在2024年03月8日 18:23
From: 阿华田
Sent: Friday, March 8, 2024 16:48
To: user-zh@flink.apache.org
Subject: 回复: Flink DataStream 作业如何获取到作业血缘?
”JobGraph 可以获得 transformation 信息“, JobGraph可以直接获取transformation的信息吗?, 我们是在
SourceTransformation 和SinkTransformation反射拿到链接信息 ,但是这个地方拿不到flinkJobid,
JobGraph可以拿到source和
/integration/flink/app/src/main/java/io/openlineage/flink/OpenLineageFlinkJobListener.java
Best,
Zhanghao Chen
From: 阿华田
Sent: Friday, March 8, 2024 16:48
To: user-zh@flink.apache.org
Subject: 回复: Flink DataStream 作业如何获取到作业血缘?
”JobGraph 可以获得 transformation 信息
日 16:18,Zhanghao Chen 写道:
JobGraph 里有个字段就是 jobid。
Best,
Zhanghao Chen
From: 阿华田
Sent: Friday, March 8, 2024 14:14
To: user-zh@flink.apache.org
Subject: 回复: Flink DataStream 作业如何获取到作业血缘?
获取到Source 或者 DorisSink信息之后, 如何知道来自那个flink任务,好像不能获取到flinkJobId
| |
阿华田
JobGraph 里有个字段就是 jobid。
Best,
Zhanghao Chen
From: 阿华田
Sent: Friday, March 8, 2024 14:14
To: user-zh@flink.apache.org
Subject: 回复: Flink DataStream 作业如何获取到作业血缘?
获取到Source 或者 DorisSink信息之后, 如何知道来自那个flink任务,好像不能获取到flinkJobId
| |
阿华田
|
|
a15733178...@163.com
|
签名
获取到Source 或者 DorisSink信息之后, 如何知道来自那个flink任务,好像不能获取到flinkJobId
| |
阿华田
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
在2024年02月26日 20:04,Feng Jin 写道:
通过 JobGraph 可以获得 transformation 信息,可以获得具体的 Source 或者 Doris
Sink,之后再通过反射获取里面的 properties 信息进行提取。
可以参考 OpenLineage[1] 的实现.
1.
https://github.com/OpenLin