每个节点,即进程,直接监控进程的cpu,内存就可以。没有更小的粒度。
通信的话看进程的io读写,网络读写等吧。此外flink的rest api可以获取flink web
ui能看到的全部信息,比如节点之间已发送records数量等。
penguin. 于2021年1月18日周一 上午10:55写道:
>
> 那请问对于每个节点的CPU、内存使用率以及节点之间的通信量如何进行实时监控获取数据呢?
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-01-18 10:15:22,"赵一旦" 写道:
>
slot好像只是逻辑概念,监控意义不大,没有资源隔离。
penguin. 于2021年1月15日周五 下午5:06写道:
> Hi,
> flink集群中,能对TaskManager的每个TaskSlot进行监控吗?比如每个slot的cpu和内存使用率之类的指标。
>
>
> penguin
过我觉得相比于增加job_name
这种tag,我更建议增加 cluster_name 这种tag。
祝好
唐云
From: 俞剑波
Sent: Thursday, April 30, 2020 22:00
To: user-zh@flink.apache.org
Subject: Re: Flink监控: promethues获取到有的metrics没有包含flink 对应的job_name或者job_id
请问可以怎么根据java代码去设置这个东西,希望大佬能教一下,非常感谢!!!
972684638 于
请问可以怎么根据java代码去设置这个东西,希望大佬能教一下,非常感谢!!!
972684638 于2020年4月30日周四 下午7:28写道:
> metrics.reporter.promgateway.jobName这个配置,可以通过java代码来设置,任务启动时,将它设成job id即可;
> 另外,把suffix那个配置去掉;
>
> 接下来,就根据exported_job去统计即可;
>
>
>
> ---原始邮件---
> 发件人: "俞剑波" 发送时间: 2020年4月30日(星期四) 晚上
="myJobYJB4eea972f622437b738875b3e8e811a56",host="localhost",instance="pushgateway",job="pushgateway"}
> 加了参数:
> flink_jobmanager_Status_JVM_Memory_Heap_Used{host="localhost",job="myJobYJB4eea972f622437b738875b3e8e811a56"}
>
> 972684638 于2020年4月30日周四 下午5:37写道:
>
VM_Memory_Heap_Used{host="localhost",job="myJobYJB4eea972f622437b738875b3e8e811a56"}
972684638 于2020年4月30日周四 下午5:37写道:
> 你看看是不是因为没有没配honor_labels: true
>
>
>
> ---原始邮件---
> 发件人: "俞剑波" 发送时间: 2020年4月30日(星期四) 下午4:32
> 收件人: "user-zh" 主题: Re: Flink监控: promethues获
是的,我使用了!请问大佬有解决办法吗,真的卡很多天了,希望能够解决一下,非常感谢
972684638 于2020年4月30日周四 下午4:18写道:
> 我想知道,你是否使用了pushgateway?
>
>
>
> ---原始邮件---
> 发件人: "俞剑波" 发送时间: 2020年4月30日(星期四) 下午4:01
> 收件人: "user-zh" 主题: Flink监控: promethues获取到有的metrics没有包含flink 对应的job_name或者job_id
>
>
> flink集群是per
>
>