Re: Re: flink监控

2021-01-21 文章 赵一旦
每个节点,即进程,直接监控进程的cpu,内存就可以。没有更小的粒度。 通信的话看进程的io读写,网络读写等吧。此外flink的rest api可以获取flink web ui能看到的全部信息,比如节点之间已发送records数量等。 penguin. 于2021年1月18日周一 上午10:55写道: > > 那请问对于每个节点的CPU、内存使用率以及节点之间的通信量如何进行实时监控获取数据呢? > > > > > > > > > > > > > > > > > > 在 2021-01-18 10:15:22,"赵一旦" 写道: >

Re: flink监控

2021-01-17 文章 赵一旦
slot好像只是逻辑概念,监控意义不大,没有资源隔离。 penguin. 于2021年1月15日周五 下午5:06写道: > Hi, > flink集群中,能对TaskManager的每个TaskSlot进行监控吗?比如每个slot的cpu和内存使用率之类的指标。 > > > penguin

Re: Flink监控: promethues获取到有的metrics没有包含flink 对应的job_name或者job_id

2020-05-05 文章 Yun Tang
过我觉得相比于增加job_name 这种tag,我更建议增加 cluster_name 这种tag。 祝好 唐云 From: 俞剑波 Sent: Thursday, April 30, 2020 22:00 To: user-zh@flink.apache.org Subject: Re: Flink监控: promethues获取到有的metrics没有包含flink 对应的job_name或者job_id 请问可以怎么根据java代码去设置这个东西,希望大佬能教一下,非常感谢!!! 972684638 于

Re: Flink监控: promethues获取到有的metrics没有包含flink 对应的job_name或者job_id

2020-04-30 文章 俞剑波
请问可以怎么根据java代码去设置这个东西,希望大佬能教一下,非常感谢!!! 972684638 于2020年4月30日周四 下午7:28写道: > metrics.reporter.promgateway.jobName这个配置,可以通过java代码来设置,任务启动时,将它设成job id即可; > 另外,把suffix那个配置去掉; > > 接下来,就根据exported_job去统计即可; > > > > ---原始邮件--- > 发件人: "俞剑波" 发送时间: 2020年4月30日(星期四) 晚上

Re: Flink监控: promethues获取到有的metrics没有包含flink 对应的job_name或者job_id

2020-04-30 文章 俞剑波
="myJobYJB4eea972f622437b738875b3e8e811a56",host="localhost",instance="pushgateway",job="pushgateway"} > 加了参数: > flink_jobmanager_Status_JVM_Memory_Heap_Used{host="localhost",job="myJobYJB4eea972f622437b738875b3e8e811a56"} > > 972684638 于2020年4月30日周四 下午5:37写道: >

Re: Flink监控: promethues获取到有的metrics没有包含flink 对应的job_name或者job_id

2020-04-30 文章 俞剑波
VM_Memory_Heap_Used{host="localhost",job="myJobYJB4eea972f622437b738875b3e8e811a56"} 972684638 于2020年4月30日周四 下午5:37写道: > 你看看是不是因为没有没配honor_labels: true > > > > ---原始邮件--- > 发件人: "俞剑波" 发送时间: 2020年4月30日(星期四) 下午4:32 > 收件人: "user-zh" 主题: Re: Flink监控: promethues获

Re: Flink监控: promethues获取到有的metrics没有包含flink 对应的job_name或者job_id

2020-04-30 文章 俞剑波
是的,我使用了!请问大佬有解决办法吗,真的卡很多天了,希望能够解决一下,非常感谢 972684638 于2020年4月30日周四 下午4:18写道: > 我想知道,你是否使用了pushgateway? > > > > ---原始邮件--- > 发件人: "俞剑波" 发送时间: 2020年4月30日(星期四) 下午4:01 > 收件人: "user-zh" 主题: Flink监控: promethues获取到有的metrics没有包含flink 对应的job_name或者job_id > > > flink集群是per > >