Hi
默认Flink启用了rocksDB 的managed
memory，这里涉及到这个功能的实现原理，简单来说，一个slot里面的所有rocksDB实例底层“托管”内存的LRU block
cache均是一个，这样你可以根据taskmanager和subtask_index
作为tag来区分，你会发现在同一个TM里面的某个subtask对应的不同column_family 的block
cache的数值均是完全相同的。所以不需要将这个数值进行求和统计。
祝好
唐云
________________________________
From: SmileSmile <a511955...@163.com>
Sent: Thursday, July 2, 2020 18:05
To: Flink user-zh mailing list <user-zh@flink.apache.org>
Subject: rocksdb的block cache usage应该如何使用
通过 state.backend.rocksdb.metrics.block-cache-usage: true开启
rocksdb_block_cache_usage监控，上报到prometheus，对应的指标名称是
flink_taskmanager_job_task_operator_window_contents_rocksdb_block_cache_usage。
我们的作业一个TM的内存设置如下：
taskmanager.memory.process.size: 23000m
taskmanager.memory.managed.fraction: 0.4
ui上显示的Flink Managed MEM是8.48G。
通过grafana配置出来的图，如果group by的维度是host，得出来的每个TM在作业稳定后是45G，超过8.48G了。
sum(flink_taskmanager_job_task_operator_window_contents_rocksdb_block_cache_usage{reportName=~"$reportName"})
by (host)
如果维度是host，operator_name，每个operator_name维度是22G。
sum(flink_taskmanager_job_task_operator_window_contents_rocksdb_block_cache_usage{reportName=~"$reportName"})
by (host,operator_name)
请问这个指标应该如何使用？
| |
a511955993
|
|
邮箱：a511955...@163.com
|
签名由 网易邮箱大师 定制
