指标参考

本文列出指标名称、单位、标签、来源及统计口径。功能与排查场景见内核全景观测。

阅读说明

本文按 CPU、内存、网络、I/O、系统事件和 GPU 分类说明常用指标，供查询和排障时参考。实际输出取决于内核接口、设备驱动、采集器开关和过滤配置，完整指标以节点的 /metrics 输出为准。启用方式见节点配置。

• 名称：表格统一省略 huatuo_bamai_ 前缀。例如，cpu_util_total 的完整名称为 huatuo_bamai_cpu_util_total。
• 标签：所有指标带有 host、region；容器指标另带 container_host、container_hostnamespace、container_level、container_name、container_type。表格仅列附加标签，— 表示无附加标签。
• 计数与单位：计数值表示事件或对象数量，不等于延迟值。累计 Counter 可用 rate() 或 increase() 分析变化；部分内核累计统计以 Gauge 导出，需结合字段语义判断，不能仅凭类型或名称推断。
• 示例：下列数值仅用于说明输出格式，不代表诊断阈值。未输出指标不等于指标值为零。

# TYPE huatuo_bamai_runqlat_latency counter
huatuo_bamai_runqlat_latency{host="hostname",region="dev",zone="0"} 35100
# TYPE huatuo_bamai_runqlat_container_latency counter
huatuo_bamai_runqlat_container_latency{container_host="coredns-855c4dd65d-8v5kg",container_hostnamespace="kube-system",container_level="burstable",container_name="coredns",container_type="normal",host="hostname",region="dev",zone="0"} 226

此例分别展示宿主机和容器的调度延迟分桶计数，zone 的范围见下文。

构建信息

huatuo_bamai_build_info 和 huatuo_apiserver_build_info 是值恒为 1 的 Gauge，分别表示 bamai 和 apiserver 当前运行的构建。两者由各自程序的 /metrics 暴露，构建信息与该程序的 /version 一致。它们包含既有公共标签 host、region（apiserver 中为空），以及以下构建标签：

未提供发布版本时，version 使用 (devel)。git_commit 优先使用注入值， 其次读取 Go 构建信息中的 VCS 提交标识，两者均不可用时使用 (devel)。构建标签只附加到该指标， 业务指标的标签保持不变。Prometheus 抓取后，可通过相同的 job、instance 将构建信息与业务指标关联；跨集群查询还需纳入实际用于区分目标的集群标签。

CPU

调度延迟

调度延迟指任务进入可运行状态到实际获得 CPU 的等待时间。以下指标为 eBPF 采集的累计 Counter，按 zone 分桶：0 为 [0, 10) ms，1 为 [10, 20) ms，2 为 [20, 50) ms，3 为 ≥50 ms。

软中断延迟

统计各 CPU 上软中断从触发到开始处理的等待时间，当前仅输出 NET_RX、NET_TX。该指标为累计 Counter；zone：0 为 [0, 10) μs，1 为 [10, 100) μs，2 为 [100, 1000) μs，3 为 ≥1 ms。

利用率

宿主机利用率按在线 CPU 核数归一化，容器利用率按可用 CPU 容量归一化，输出范围为 0–100%。

可用核数

容器可用 CPU 容量取配额折算核数与有效 CPU 集合大小的较小值；未限制配额时使用有效 CPU 集合大小，无法获取有效集合时回退到宿主机在线核数。

限流与争抢

限流统计来自 cgroup CPU 接口，仅输出内核提供的字段。等待占比还要求内核导出 wait_sum，并启用 kernel.sched_schedstats=1。

等待占比按采集区间计算：等待时间增量 /（等待时间增量 + CPU 使用时间增量）× 100%。它描述可调度时间中的等待比例，不是限流时间占比。

参考：

• CFS 带宽统计
• cgroup v2 CPU 接口

突发使用

统计 cgroup 使用突发 CPU 容量的周期数和时间，仅在内核提供对应字段时输出。

负载

宿主机输出 1、5、15 分钟平均负载；容器输出当前可运行和不可中断任务数，两者不是相同时间窗口的统计。

内存

内存回收

内存回收和规整可能阻塞任务。以下指标分别记录宿主机累计耗时和容器直接回收事件数。

memory_others_container_directstall_time、memory_others_container_asyncreclaim_time、memory_others_container_local_direct_reclaim_time 依赖滴滴定制内核的 memory.directstall_stat、memory.asynreclaim_stat、memory.local_direct_reclaim_time 接口。

主线及常见发行版内核缺少这些接口时不会输出对应指标，无需额外加载模块。标准内核上的容器直接回收次数可使用 memory_reclaim_container_directstall 观测。

内存状态

容器字段来自 memory.stat，宿主机字段来自 /proc/vmstat，均受 MetricCollector.Vmstat 过滤规则影响。字段是否存在及其含义取决于内核和 cgroup 版本。

容器内存

宿主机内存

以下名称已包含 memory_vmstat_ 前缀；底层字段值原样导出，不统一换算为字节。pgpgin、pgpgout 按内核的 KiB 口径读取，见 Linux vmstat 实现。

页面状态与 LRU

脏页与写回

缺页与换页

回收与扫描

透明大页（THP）

NUMA

参考：

• cgroup v2
• cgroup v1 内存控制器
• 透明大页

内存事件

以下字段来自 memory.events，记录回收、内存限制和 OOM 事件。主线内核在 cgroup v2 中提供该接口；滴滴定制内核也可在 cgroup v1 中提供。接口缺失时不输出。各字段的统计条件不同，不能相加作为独立事件总数。

空闲内存块

展示每个 NUMA 节点、内存区域和阶数的空闲内存块数量。order=n 表示每块包含 2^n 个连续页面；指标值是块数，不是页面数。

容器直接回收与内存规整累计耗时

两项为累计耗时 Gauge，统计全局直接回收与规整中的任务耗时。主机总量包含容器工作；缺失或归属不明确的容器记录不输出。容器采集失败仍保留主机数据，加载依赖容器探针，加载或挂载失败时该采集器不可用。容器重建后对应容器累计值重新开始，主机累计值不受影响；BPF 重载后两者均归零。

主机 memcg 回收累计次数

该 Gauge 统计全机 memcg 回收次数，排除 kswapd，不是全局回收次数或耗时。主机总量包含容器活动，不能与容器计数相加；BPF 重载后归零。

网络

TCP 内存

记录 TCP 内存使用量及其相对限制的占比。

连接跟踪

宿主机 nf_conntrack 表的占用与容量，分别来自 /proc/sys/net/netfilter/nf_conntrack_count 与 /proc/sys/net/netfilter/nf_conntrack_max。仓库配置默认通过 BlackList 禁用 net_conntrack。

ARP 邻居项

按宿主机和容器网络命名空间统计 ARP 邻居项。

发送队列

Qdisc 指标描述发送队列积压、发送量、丢包和重入队次数，不直接提供排队延迟。仅采集匹配设备的根 Qdisc，跳过 noqueue。仓库配置默认通过 BlackList 禁用 netdev_qdisc。

硬件丢包

统计支持的网卡驱动在接收方向的硬件丢包。优先使用 rx_missed_errors，否则尝试从 rx_dropped 中扣除 eBPF 统计的软件丢包。仓库配置默认通过 BlackList 禁用 netdev_hw。

RDMA 端口统计

netdev_rdma_link_<counter> 输出内核的逐端口计数，具体名称取决于驱动。附加标签为 device、nodeguid、index、num_ports 和 port。

新增 port 标签会产生新的时间序列，单端口设备也受影响。端口级查询保留该标签；对选定计数器，设备总量使用 sum by (region, host, device) (<metric>)，设备速率使用 sum by (region, host, device) (rate(<metric>[5m]))，将 <metric> 替换为完整指标名。只按 device 聚合会混合不同主机上的同名设备。

网卡统计

通过 proc 或 netlink 采集网卡统计，公共指标遵循 Linux /proc/net/dev 的统计口径：

• receive_dropped：rx_dropped + rx_missed_errors。
• receive_frame_errors：rx_length_errors + rx_over_errors + rx_crc_errors + rx_frame_errors。
• transmit_carrier_errors：tx_carrier_errors + tx_aborted_errors + tx_window_errors + tx_heartbeat_errors。

netlink 还提供细分错误指标和 receive_nohandler，细分错误可能已包含在上述聚合值中，不能与聚合值重复相加。表中列宿主机名称；容器名称在 netdev_ 后增加 container_。

TCP 统计

读取网络命名空间的 /proc/<pid>/net/netstat 和 snmp，受 MetricCollector.Netstat 过滤规则影响。表中列宿主机名称；容器名称在 netstat_ 后增加 container_。

表中仅列部分 TcpExt 字段；其余字段及版本差异见 Linux 内核文档。

参考：

• TCP/SNMP 计数器

Socket 使用量

读取网络命名空间的 /proc/<pid>/net/sockstat。表中列宿主机名称；容器名称在 sockstat_ 后增加 container_。mem、mem_bytes 仅在宿主机输出。

I/O

配置

iotracing、iolatency、blk_throtl、iocost 和 io_health 默认启用。 向全局 BlackList 添加对应名称并重启 Huatuo 可关闭该功能。 关闭 iotracing 会同时停止磁盘指标和自动诊断；关闭 io_health 会停止 健康事件、取证及其指标，不影响 iotracing。

磁盘性能

通过以下指标观测磁盘性能。指标使用 huatuo_bamai_iotracing_ 前缀， 均为区间 Gauge，带 disk 标签。

指标覆盖整盘和支持的逻辑设备，不包含分区及 loop、ram、zram、fd 等伪设备。

延时与 IO 大小分布

iolatency 统计 SCSI/SAS、NVMe、virtio 磁盘及容器读写 IO 的延时和大小分布。 仅采集启动时已开启 iostats 和请求时间统计的磁盘，运行中不支持关闭这些配置。 启动时若软件 blk-crypto fallback 已初始化，整个 iolatency 不启动。

SCSI 下发大小沿用内核的 16 位扇区计数，达到 32 MiB 会回绕。 跨 blkcg 合并 request 时，容器下发大小为近似归属，宿主机统计不受影响。

块设备增删或重建时，iolatency、blk_throtl 和 iocost 重新开始统计， 过渡期间的所有磁盘数据可能缺失。

桶值为采集区间内小于等于 le 上界的 IO 数量，+Inf 为总数；延时边界 单位为秒，大小边界单位为字节。指标为区间 Gauge。

# TYPE huatuo_bamai_iolatency_q2d_seconds_bucket gauge
huatuo_bamai_iolatency_q2d_seconds_bucket{disk="sda",operation="read",host="hostname",region="dev",le="0.001"} 3
huatuo_bamai_iolatency_q2d_seconds_bucket{disk="sda",operation="read",host="hostname",region="dev",le="+Inf"} 5
# TYPE huatuo_bamai_iolatency_d2c_seconds_bucket gauge
huatuo_bamai_iolatency_d2c_seconds_bucket{disk="sda",operation="read",host="hostname",region="dev",le="+Inf"} 5
# TYPE huatuo_bamai_iolatency_q2g_seconds_bucket gauge
huatuo_bamai_iolatency_q2g_seconds_bucket{disk="sda",operation="read",host="hostname",region="dev",le="+Inf"} 5
# TYPE huatuo_bamai_iolatency_container_q2g_seconds_bucket gauge
huatuo_bamai_iolatency_container_q2g_seconds_bucket{container_host="etcd-hostname",container_hostnamespace="kube-system",container_level="burstable",container_name="etcd",container_type="normal",disk="sda",operation="read",host="hostname",region="dev",le="+Inf"} 2

17 个延时桶界（秒）为 0.00005、0.0001、0.00025、0.0005、 0.001、0.002、0.004、0.008、0.016、0.032、0.064、0.128、 0.256、0.512、1、2、+Inf。

Grafana

IO 总览展示各采集区间的延时分布和 IO 数量，点击柱状图可查看该时段的 延时与大小直方图。面板使用 Business Charts（volkovlabs-echarts-panel）。

旧指标变更指南

升级后需更新自定义面板和告警，以下省略 huatuo_bamai_ 前缀：

disk 从 8:0 等设备号改为 sda 等磁盘名，新增 operation 区分读写。 旧 zone 编号改为以秒为单位的 le 累计上界；桶界见上文，不能按编号直接替换。 统计 (a, b] 范围的数量时，用 le=b 的值减去 le=a 的值。

旧延时指标仅统计 20 ms 及以上的 IO；新指标覆盖支持盘的全部读写 IO， D2C 从最后一次下发计时。旧告警需按新的阶段和桶界调整，不能只改指标名称。

新延时桶由累积 Counter 改为区间 Gauge，不能继续使用 rate() 或 increase()。 单个采集区间直接查询；例如，统计最近五分钟某盘读 IO 的 D2C 样本总数：

sum_over_time(huatuo_bamai_iolatency_d2c_seconds_bucket{disk="sda",operation="read",le="+Inf"}[5m])

硬件

# HELP huatuo_bamai_io_health_blkdisk_freeze the disk freeze event count
# TYPE huatuo_bamai_io_health_blkdisk_freeze counter
huatuo_bamai_io_health_blkdisk_freeze{disk="sda",host="hostname",region="dev"} 0

可在宿主机仪表盘的 Overview → Selected Metric 中选择此指标。

blk-throttle 排队等待

blk_throtl 统计 IO 因 blk-throttle 限速而排队的数量和平均等待时间。 每个 IO 结束排队后计数一次，等待时间从首次排队算起。

指标按 disk 和 operation（read 或 write）区分，scope=host 表示宿主机总量，scope=other 表示其中无法归属容器的部分。 容器指标使用容器标签，不带 scope。四项均为区间 Gauge。

容器发现可选，宿主机采集不依赖 kubelet。容器查询失败或标签无效时，本轮数据 归入 other；关联恢复后不补报历史数据。临时采集失败后，首次成功采集仅重建 基线，下一次成功采集恢复输出，不补报失败区间。若错误导致采集停止，需排障后 重启 Huatuo。

cgroup 实际释放后，尚未采集的尾部等待增量归入 Host 和 Other，不再关联容器。 两次成功采集之间，同一统计项在单 CPU 上完成至少 67,108,864 次等待，或累计 等待约 274.9 万秒时，计数回绕可能导致少计。

IOCOST 等待统计

iocost 统计预算不足造成的等待。等待时间从 IO 进入等待队列算到最终被唤醒， 计入等待结束所在的采集区间。

这些区间 Gauge 按 disk（如 sda、nvme0n1）和 operation （read、write）分组。scope=host 表示设备总量，包含所有 容器；scope=other 表示其中未归属容器的部分。

容器发现可选，宿主机采集不依赖 kubelet。容器查询失败或标签无效时，本轮数据 归入 other；关联恢复后不补报历史数据。临时采集失败后，首次成功采集仅重建 基线，下一次成功采集恢复输出，不补报失败区间。若错误导致采集停止，需排障后 重启 Huatuo。

cgroup 实际释放后，尚未采集的尾部等待增量归入 Host 和 Other，不再关联容器。 两次成功采集之间，同一统计项在单 CPU 上完成至少 67,108,864 次等待，或累计 等待约 274.9 万秒时，计数回绕可能导致少计。例如，同一统计项的 10,240 次等待 各持续 270 秒、在同一区间由同一 CPU 结算，会超出等待时间容量。

采集需要支持 IOCOST 的非 PREEMPT_RT Linux 内核，具备 BPF/BTF 和 kprobe 能力。

设备健康

io_health 记录以下事件：

NVMe 状态名不可用时，new_state 为 unknown，new_state_raw 保留状态码。

block 错误、NVMe 超时、SCSI 异常及 MD 成员进入 faulty、blocked、 write_error 或 removed 状态会触发只读健康取证：NVMe 使用 nvme-cli， SCSI 使用 smartctl，结果随事件保存。无法唯一确定目标时仅保留事件，不扫描 其他设备。MD 监测不需要 mdadm。 事件中的 device 可保留 MD 成员的分区名；取证目标归整为唯一物理磁盘或 NVMe controller。 同设备取证执行中及结束后的 60 秒冷却期内不重复取证，原始事件仍独立保存。

huatuo_bamai_io_health_ Counter 记录进程启动后观察到的事件：

MD 和 NVMe controller 状态变化以事件保存，不提供当前状态 Gauge。 Counter 先于事件保存更新；保存失败计入 event_persistence_failures_total{reason="save_error"}。

健康事件单独保存为文档，不可获得或不适用的可选字段省略：

NVMe 证据包括 critical_warning、media_errors_total，以及最多八条包含 状态码、NSID 和 LBA 的错误日志。SCSI 证据包括整体健康状态、ASC/ASCQ、温度、 缺陷数量、读/写/校验错误计数，以及待处理缺陷数量和最多八个示例 LBA。

磁盘统计

diskio 读取 /proc/diskstats 和 /proc/stat，提供设备级请求数、吞吐量、累计耗时和宿主机 CPU iowait。

磁盘名标签由 device 改为 disk，自定义查询的筛选和图例需同步更新； 指标名称和类型不变。

仓库配置默认通过 BlackList 禁用 diskio。从黑名单移除并重启 huatuo-bamai 服务后启用。

请求数、字节数和 I/O 耗时为累计 Counter，可用 rate() 计算 IOPS、吞吐量和耗时增长速率。平均请求耗时为耗时增长速率除以请求速率，计算时需排除请求速率为零的区间。io_in_progress 和 disk_iowait_percent 为 Gauge。

XFS

xfs 从 sysfs 采集宿主机各设备的统计，附加标签为 device。xfs_log_free_bytes 为 Gauge，名称以 _total 结尾的指标为累计 Counter。

无法获取日志可用空间时不输出 xfs_log_free_bytes。新增 XFS 挂载后需重启 huatuo-bamai 服务。

系统事件

软锁死

记录内核检测到的 soft lockup 事件。

任务阻塞

记录内核检测到的 hung task 事件。

HungTask 容器归属与计数

容器计数包含在主机 Counter 中，不受追踪退避影响。容器归属无法解析的事件仍计入主机总量。容器退出后清理其计数，agent 重启后归零；同一阻塞任务重复上报按多次事件计数。

GPU

MetaX

仓库配置默认通过 BlackList 禁用 metax_gpu，启用前需满足对应设备和 SDK 依赖。

MThreads

摩尔线程 GPU 采集依赖 MTML 管理库，启动时依次查找 libmtml.so.2、libmtml.so。

从 BlackList 移除 mthreads_gpu 并重启 huatuo-bamai 服务后启用。MetricCollector.Mthreads 中的 EnableHealth、EnablePCIe、EnableMTLink 控制对应指标组。