核心特性 on HUATUO 文档中心

指标说明

Sun, 11 Jan 2026 00:00:00 +0000

当前版本支持的指标:

CPU 系统

调度延迟

如下指标可以观测进程调度延迟状态，即一个进程从变得可运行的时刻（即被放进运行队列），到它真正开始在 CPU 上执行的这段时间。

# HELP huatuo_bamai_runqlat_container_latency cpu run queue latency for the containers
# TYPE huatuo_bamai_runqlat_container_latency gauge
huatuo_bamai_runqlat_container_latency{container_host="coredns-855c4dd65d-8v5kg",container_hostnamespace="kube-system",container_level="burstable",container_name="coredns",container_type="normal",host="hostname",region="dev",zone="0"} 226
huatuo_bamai_runqlat_container_latency{container_host="coredns-855c4dd65d-8v5kg",container_hostnamespace="kube-system",container_level="burstable",container_name="coredns",container_type="normal",host="hostname",region="dev",zone="1"} 0
huatuo_bamai_runqlat_container_latency{container_host="coredns-855c4dd65d-8v5kg",container_hostnamespace="kube-system",container_level="burstable",container_name="coredns",container_type="normal",host="hostname",region="dev",zone="2"} 0
huatuo_bamai_runqlat_container_latency{container_host="coredns-855c4dd65d-8v5kg",container_hostnamespace="kube-system",container_level="burstable",container_name="coredns",container_type="normal",host="hostname",region="dev",zone="3"} 0

# HELP huatuo_bamai_runqlat_latency cpu run queue latency for the host
# TYPE huatuo_bamai_runqlat_latency gauge
huatuo_bamai_runqlat_latency{host="hostname",region="dev",zone="0"} 35100
huatuo_bamai_runqlat_latency{host="hostname",region="dev",zone="1"} 0
huatuo_bamai_runqlat_latency{host="hostname",region="dev",zone="2"} 0
huatuo_bamai_runqlat_latency{host="hostname",region="dev",zone="3"} 0

指标	意义	单位	对象	取值	标签
runqlat_container_latency	进程调度延迟计数： zone0, 0~10ms zone1, 10-20ms zone2, 20-50ms zone3, 50+ms	计数	容器	eBPF	container_host, container_hostnamespace, container_level, container_name, container_type, host, region, zone
runqlat_latency	进程调度延迟计数： zone0, 0~10ms zone1, 10-20ms zone2, 20-50ms zone3, 50+ms	计数	物理机	eBPF	host, region, zone

中断延迟

系统中各类软中断在不同CPU上的响应延迟指标（当前只采集了 NET_RX/NET_TX）。

异常事件

Sun, 11 Jan 2026 00:00:00 +0000

HUATUO 华佗平台通过 eBPF 技术实时检测 Linux 内核中的多种异常事件，帮助用户快速定位系统、应用及硬件相关问题。

事件列表

事件名称	核心功能	典型场景
softirq	检测内核关闭软中断时间过长，输出调用栈、进程信息等	解决系统卡顿、网络延迟、调度延迟等问题
softlockup	检测系统 softlockup 事件，提供目标进程及内核栈信息	定位和解决系统 softlockup 问题
hungtask	检测 hungtask 事件，输出所有 D 状态进程及栈信息	定位瞬时批量 D 进程场景，保留故障现场
oom	检测宿主机或容器内的 OOM 事件	聚焦内存耗尽问题，提供详细故障快照
memory_reclaim_events	检测内存直接回收事件，记录回收耗时、进程及容器信息	解决内存压力导致的业务卡顿问题
ras	检测 CPU、Memory、PCIe 等硬件故障事件	及时感知硬件故障，降低业务影响
dropwatch	检测内核网络协议栈丢包，输出调用栈及网络上下文	解决协议栈丢包导致的业务毛刺和延迟
net_rx_latency	检测协议栈收包路径（驱动、协议、用户态）的延迟事件	解决接收延迟引起的业务超时和毛刺
netdev_events	检测网卡链路状态变化	感知网卡物理链路故障
netdev_bonding_lacp	检测 bonding LACP 协议状态变化	界定物理机与交换机故障边界
netdev_txqueue_timeout	检测网卡发送队列超时事件	定位网卡发送队列硬件故障

详细说明

通用字段说明

hostname: 物理机 hostname
region：物理机所在可用区
uploaded_time：数据上传时间
container_id：如果事件关联容器，则记录的容器 id
container_hostname：如果事件关联容器，则记录的容器 hostname
container_host_namespace：如果事件关联容器，则记录容器的 K8s 命名空间
container_type：记录容器类型，例如 normal 普通容器，sidecar 边车容器等
container_qos：记录容器级别
tracer_name: 事件名称
tracer_id：此次的 tracing id
tracer_time：触发 tracing 时间
tracer_type：类型，手动触发还是自动触发
tracer_data：特定 tracer 私有数据

1. softirq 软中断关闭

功能描述 检测内核关闭中断时间过长时触发，记录关闭软中断的内核调用栈、当前进程信息等关键数据，帮助分析中断相关延迟问题。

自动追踪

Sun, 11 Jan 2026 00:00:00 +0000

概述

自动追踪（AutoTracing） 是华佗内核监控系统的一项智能诊断功能。当系统出现特定性能异常或资源突变时，AutoTracing 会自动触发，实时捕获详细的现场信息（包括火焰图、进程上下文、调用栈、资源状态等），帮助运维和开发人员快速定位和分析问题，无需手动干预。该功能基于 eBPF 技术实现，具备低开销、高实时性的特点，适用于物理机和容器环境下的异常诊断场景。

支持的自动追踪类型

当前版本支持以下五种自动追踪功能：

追踪名称	核心功能	适用场景
cpusys	检测物理机 CPU sys（系统态）占用率突增，自动生成火焰图并提供进程上下文信息	解决系统负载异常导致的业务毛刺、延迟等问题
cpuidle	检测容器 CPU idle（空闲率）异常下降，自动生成火焰图并提供进程上下文信息	解决容器 CPU 使用率异常，帮助业务分析进程热点
dload	检测容器 loadavg（系统平均负载）突增，自动抓取容器内 D 状态进程的调用信息	解决 D 状态进程突增、资源不可用或锁被长期持有等问题
memburst	检测物理机内存突发分配行为，自动捕获进程内存使用状态	应对短时间内大量内存分配，可能引发直接回收或 OOM 的场景
iotracing	检测物理机磁盘 IO 延迟异常，自动捕获相关进程、容器、磁盘及文件信息	解决磁盘 IO 带宽打满、磁盘访问突增导致的应用请求延迟或系统性能抖动问题

功能特点

智能触发：根据预设阈值自动检测异常，无需人工配置触发条件。
丰富诊断信息：每次触发时自动采集火焰图、调用栈、进程/容器上下文、资源使用详情等关键数据。
低开销设计：采用 eBPF 技术，仅在异常发生时进行针对性采集，日常运行开销极低。
统一输出：所有追踪数据以标准化格式上报，便于查询、分析和告警整合。

使用建议

cpusys 与 cpuidle 适合 CPU 相关性能毛刺的快速定位。
dload 特别适用于 D 状态进程导致的“假死”或卡顿问题。
memburst 可提前发现潜在的内存压力，避免 OOM 发生。
iotracing 是排查磁盘 IO 瓶颈的首选工具。

通过 AutoTracing 功能，华佗能够实现从异常检测到现场保留的自动化闭环，大幅提升问题诊断效率。

硬件故障

Fri, 06 Mar 2026 00:00:00 +0000

架构介绍

HUATUO（华佗）支持各种硬件故障检查：

CPU, L1/L2/L3 Cache, TLB
Memory, ECC
PCIe
Network Interface Card Link
PFC/RDMA
ACPI
GPU MetaX

HUATUO（华佗）总体架构如下：

HUATUO 基于 Linux 内核 MCE 和 RAS 技术，通过 eBPF 捕获关键硬件事件，获取硬件设备信息。RAS 在 Linux 内核一直在不断演进发展，从内核 2.6 版本开始逐步的引入更多 tracepoint 点。这种轻量级，事件驱动的实现方式能够覆盖绝大多数高频硬件故障场景。此外 HUATUO 还支持 PFC/RDMA，网卡物理链路状态的检查。

硬件指标事件

HUATUO 通过事件触发实时感知各硬件模块上报的故障信息：故障类型，设备标识，错误信息，时间戳等。

网卡故障，该故障信息被存储在部署华佗组件的服务器，huatuo-local/netdev_event，以及配置的 Elasticsearch 存储服务。其中本地存储的信息格式如下：

{
    "hostname": "your-host-name",
    "region": "xxx",
    "uploaded_time": "2026-03-05T18:28:39.153438921+08:00",
    "time": "2026-03-05 18:28:39.153 +0800",
    "tracer_name": "netdev_event",
    "tracer_time": "2026-03-05 18:28:39.153 +0800",
    "tracer_type": "auto",
    "tracer_data": {
        "ifname": "eth0",
        "index": 2,
        "linkstatus": "linkstatus_admindown",
        "mac": "5c:6f:11:11:11:11",
        "start": false
    }
}

linkstatus 数值类型还可能为：