Hi,大佬们
如何在任务结束后获取Accumulator 数据?
参考代码:(但是无法获取)
ableResult execute = statementSet.execute();
Optional jobClient = execute.getJobClient();
jobClient.get().getAccumulators().get()
PS: 最初的需求是: 对任务同步的数据量做统计。希望在批任务结束后,准确的获取Accumulator 中值,但是在K8S 中无法获取?
大佬求助!!先磕为敬
Hi,
按照你的描述,我猜测你使用的是 Application 模式吧?这种模式下 user code 会在 JobManager 侧执行,Job
执行结束后会直接 shutdown cluster。
可以尝试使用 session mode[1] 部署 cluster
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/resource-providers/native_kubernetes/#session-mode
Best,
Weihua
On Mon, Mar 6, 2023 a
退订
Hi
像上面提到的,jobClient.get().getAccumulators()会从flink集群获取作业相关信息,如果是application模式,作业结束后flink集群也会退出。你可以通过其他方式,包括session集群运行或者启动history
server等方式,也可以通过自定义metrics等输出到其他系统
Best,
Shammon
On Tue, Mar 7, 2023 at 11:27 PM 李银苗 wrote:
> 退订