flink on K8S(operator) 如何获取 Accumulator

2023-03-06 Thread wangwei
Hi,大佬们 如何在任务结束后获取Accumulator 数据? 参考代码:(但是无法获取) ableResult execute = statementSet.execute(); Optional jobClient = execute.getJobClient(); jobClient.get().getAccumulators().get() PS: 最初的需求是: 对任务同步的数据量做统计。希望在批任务结束后,准确的获取Accumulator 中值,但是在K8S 中无法获取? 大佬求助!!先磕为敬

Re: flink on K8S(operator) 如何获取 Accumulator

2023-03-06 Thread Weihua Hu
Hi, 按照你的描述,我猜测你使用的是 Application 模式吧?这种模式下 user code 会在 JobManager 侧执行,Job 执行结束后会直接 shutdown cluster。 可以尝试使用 session mode[1] 部署 cluster [1] https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/resource-providers/native_kubernetes/#session-mode Best, Weihua On Mon, Mar 6, 2023 a

Re:Re: flink on K8S(operator) 如何获取 Accumulator

2023-03-07 Thread 李银苗
退订

Re: Re: flink on K8S(operator) 如何获取 Accumulator

2023-03-07 Thread Shammon FY
Hi 像上面提到的,jobClient.get().getAccumulators()会从flink集群获取作业相关信息,如果是application模式,作业结束后flink集群也会退出。你可以通过其他方式,包括session集群运行或者启动history server等方式,也可以通过自定义metrics等输出到其他系统 Best, Shammon On Tue, Mar 7, 2023 at 11:27 PM 李银苗 wrote: > 退订