应用实践 on HUATUO 文档中心

存储服务

Mon, 27 Jul 2026 00:00:00 +0000

🎯 关于 HUATUO（华佗）

HUATUO（华佗）是由滴滴开源并依托 CCF（中国计算机学会）孵化的操作系统深度观测项目，专注为云原生通用计算、AI 计算、云服务、基础服务等提供操作系统内核级深度观测能力。

📖 概述

HUATUO（华佗）支持将采集到的 Linux 内核事件与 AutoTracing 数据持久化写入外部存储后端。当前支持 Elasticsearch 和 OpenSearch 两种存储系统。

采集到的事件在序列化为 JSON 后，同时写入节点本地目录（huatuo-local/）和配置的远端存储后端。本地目录保留事件的本地副本，远端存储提供持久化与结构化查询能力。

本文介绍 Elasticsearch 和 OpenSearch 的配置与验证方法。示例基于 Docker 部署，生产环境只需将地址替换为实际服务地址，配置方式一致。

🎯 应用场景

Kubernetes 云原生故障溯源

容器化环境中，Pod OOM、节点 Hung Task 等内核事件具有短暂性，日志往往在事件发生后被清理。将事件写入 Elasticsearch 或 OpenSearch 后，运维团队可按时间范围查询历史异常时间线，在事后复盘阶段精确定位间歇性故障的根因。

AI 计算集群稳定性审计

GPU 训练集群长期运行过程中，ras 硬件错误、iotracing I/O 延迟等事件的历史分布对容量规划和硬件健康评估至关重要。将采集数据持久化后，可通过聚合查询建立节点稳定性基线，为主动维护提供数据依据。

合规与事件留存

等保合规要求系统异常事件具备可追溯性。将 HUATUO 采集的内核事件写入 OpenSearch 并配置索引生命周期策略，可满足对事件留存周期和查询能力的合规要求。

可观测性平台集成

Elasticsearch 和 OpenSearch 均提供与 Grafana 的原生数据源对接能力。将 HUATUO 事件写入存储后，可在 Grafana 中构建内核事件趋势面板，与应用层指标叠加展示，实现历史数据分析与告警回顾。

数据源配置

Tue, 05 May 2026 00:00:00 +0000

HUATUO 通过 Prometheus 采集指标，并将事件数据写入 Elasticsearch。本文介绍 Docker Compose 和 Kubernetes 环境下的数据源与仪表盘配置方法。

不要在同一节点同时运行 Docker Compose、systemd 和 Kubernetes 版本的 huatuo-bamai。它们会争用 19704 端口和 /var/run/huatuo-toolstream.sock。

Docker Compose

build/docker/ 提供已配置完成的 Prometheus、Elasticsearch、Grafana 和 HUATUO 组件。

export ELASTIC_PASSWORD=huatuo-bamai
docker compose --project-directory ./build/docker up -d

服务使用宿主机网络：

服务	地址	用途
Elasticsearch	`http://localhost:9200`	事件存储
Prometheus	`http://localhost:9090`	指标采集
Grafana	`http://localhost:3000`	可视化
huatuo-bamai	`http://localhost:19704`	指标和事件采集

Grafana 默认账号为 admin/admin。首次登录后应立即修改密码。

已预配置的数据源

数据源由 build/docker/grafana/datasources/ 自动加载：

名称	类型	UID
`huatuo-bamai-prom`	Prometheus	`huatuo-bamai-prom`
`huatuo-bamai-es`	Elasticsearch	`huatuo-bamai-es`
`huatuo-bamai-infinity`	Infinity	`huatuo-bamai-infinity-auto-flamegraph`

已预配置的仪表盘

仪表盘由 build/docker/grafana/dashboards/ 自动加载：

内核事件订阅

Mon, 27 Jul 2026 00:00:00 +0000

🎯 关于 HUATUO（华佗）

📖 概述

/v1/events/watch 是华佗（HUATUO）提供的实时内核事件订阅接口。客户端通过一次 HTTP POST 长连接即可持续接收节点上发生的内核异常事件。事件以 CloudEvents 1.0 规范封装，通过 Server-Sent Events（SSE）协议推送。

🎯 应用场景

内核事件订阅将操作系统层的异常信号直接暴露给上层系统，消除了传统轮询带来的延迟与开销。以下是典型的集成场景。

故障自愈系统

内核事件是自愈决策的第一手信号源。订阅 events/watch 后，自愈控制器可在事件发生的瞬间触发处置动作，而不必等待监控系统的告警流转：

OOM 自愈：收到 oom 事件后，立即对触发容器执行扩容、重启或流量摘除，将服务中断时间从分钟级压缩到秒级。
Hung Task 自愈：收到 hungtask 事件后，自动隔离节点并驱逐 Pod，防止级联阻塞蔓延至整个集群。
网络故障自愈：收到 netdev_txqueue_timeout 或 netdev_bonding_lacp 事件后，触发网卡重置或流量切换，实现分钟级网络链路自愈。
I/O 风暴自愈：收到 iotracing 事件后，结合 cgroup blkio 限速策略动态降低问题容器的磁盘 I/O 配额，保护同节点其他服务。

可观测性平台

将华佗内核事件接入可观测性平台，补齐应用指标和日志之外的内核视角：

事件时间线关联：将 softlockup、oom 等内核事件叠加到 Grafana 时间线上，与应用错误率、延迟曲线精确对齐，快速定位根因。
异常驱动告警：以内核事件替代固定阈值告警，降低误报率。例如收到 ras 硬件错误事件时直接触发高优告警，而不依赖 CPU 错误率超阈值。
容量与稳定性分析：长期订阅 memburst、dload 等 AutoTracing 事件，建立节点稳定性基线，为容量规划提供内核级依据。
多维下钻：事件中携带容器 ID、命名空间、地域等上下文，告警链接可直接下钻到对应的 Pod、Node、Region 视图。

安全审计与合规

异常行为检测：oom、hungtask、softlockup 等事件若在非业务高峰期集中出现，可能指示资源滥用或恶意负载，触发安全审查流程。
事件留存与追溯：将 CloudEvents 事件流写入消息队列（Kafka、Pulsar）或对象存储，满足等保合规对系统异常事件留存的要求。

混沌工程与压测验证

故障注入验证：混沌工程平台注入网络延迟、内存压力等故障后，实时订阅 net_rx_latency、memburst 事件验证故障是否生效，取代人工观察。
压测基线建立：压测期间持续订阅全量事件，记录首个内核异常事件的出现时机，精确标定系统承压极限。

AIOps 智能运维

事件驱动根因分析：将内核事件作为特征输入 AI/ML 模型，结合应用指标进行多维根因推断，减少人工排查时间。
预测性维护：对 ras 硬件错误、netdev_bonding_lacp 等硬件层事件建模，在设备彻底失效前提前预警并触发迁移。
智能抑制与聚合：对同一时间窗口内同类事件自动聚合，避免告警风暴，向 On-call 工程师呈现精简的根因摘要。

💎 价值

维度	传统方案	接入华佗 events/watch
时效性	告警触发延迟 1–5 分钟	内核事件实时推送，延迟 < 1 秒
信号准确性	基于指标阈值，误报率高	事件源自内核判定，误报率接近零
上下文丰富度	指标维度有限	携带容器、节点、地域等完整上下文
集成成本	需自建 eBPF 采集或依赖第三方 Agent	一次 HTTP POST 即可订阅，标准 CloudEvents 格式
协议兼容性	各厂商私有格式	遵循 CloudEvents 1.0 标准，可接入任意兼容平台

🚀 使用

1. CloudEvents 规范说明

1.1 CloudEvents 1.0 信封字段

每条推送事件均为一个符合 CloudEvents 1.0 规范的 JSON 对象：

性能剖析

Thu, 18 Jun 2026 00:00:00 +0000

火焰图格式

在性能剖析领域，collapsed 和 flamegraph 是最常用的两种火焰图格式，分别对应"原始数据"与"可视化视图"两个层次。

Collapsed 格式

标准语法与格式

collapsed 格式（又称 folded stacks）由 Brendan Gregg 定义，是火焰图的原始文本输入格式。每行代表一条唯一的调用栈及其采样计数。

基本规则：

frame1;frame2;frame3;...;frameN COUNT

组成部分	说明
`frame1`	栈底（入口/根帧），如 `main`、`start_thread`
`;`	帧分隔符（分号）
`frameN`	栈顶（当前执行帧，即采样命中点）
`COUNT`	采样次数（整数），与栈帧之间用空格分隔

格式要点：

每行一条独立调用栈，相同栈路径的样本合并计数
帧的排列顺序：从左到右为 根→叶（调用链方向）
空行及 # 开头的行通常被视为注释，解析时忽略
COUNT 的语义取决于分析模式：CPU 采样时为采样次数，内存分配时为分配字节数，锁分析时为竞争时间（毫秒）

扩展规范：

部分剖析工具（如 async-profiler）在标准格式基础上引入了帧类型注解，用于标识帧的运行时类别：

frameName_{type} COUNT

注解	含义	说明
`_[j]`	JIT compiled Java	JIT 编译后的 Java 方法
`_[i]`	Interpreted Java	解释执行的 Java 方法
`_[k]`	Kernel	内核态帧
`_[n]`	Native C/C++	原生 C/C++ 帧
`_[t]`	Thread	线程帧

此外，部分工具支持带权重的折叠格式（weighted collapsed），用于差分火焰图：

网络丢包

Fri, 05 Jun 2026 00:00:00 +0000

🎯 关于 HUATUO（华佗）

HUATUO（华佗）是由滴滴开源并依托 CCF（中国计算机学会）孵化的操作系统深度观测项目，广泛应用于AI 计算、AI 沙箱、云原生通用计算、云服务、基础架构服务等场景。

📖 概述

dropwatch 是 HUATUO 提供的网络丢包观测工具。它通过 tracepoint/skb/kfree_skb 采集软件丢包，并通过 raw_tracepoint/devlink_trap_report 采集支持 devlink trap 的硬件丢包，输出协议类型、IP 五元组、网络设备、丢包原因和内核调用栈。

dropwatch 支持基于 tcpdump 风格过滤表达式的内核侧过滤，过滤逻辑由内置的纯 Go pcap 编译器 internal/pcapfilter 在加载时编译为 eBPF 字节码，过滤完全在内核态执行，只有匹配的数据包才会上报到用户空间，降低对宿主机的性能影响。

此外，dropwatch 支持设备白名单/黑名单过滤、全局上报限速，并可与 huatuo-bamai 集成，将丢包事件存储至 Elasticsearch 进行长期分析。

🎯 场景

1. Kubernetes 云原生网络丢包诊断

在容器漂移、Pod 频繁重启、Service 端口冲突等场景下，通过 dropwatch 实时捕获 kfree_skb 事件并关联到具体容器，快速定位丢包根因。结合 --filter "tcp and port <service-port>" 过滤特定业务流量，将平均故障定位时间从小时级降低至分钟级。

2. 网络性能毛刺分析

针对间歇性网络延迟突增、吞吐下降等问题，通过 dropwatch 采集丢包事件，结合内核调用栈定位丢包发生的具体内核函数（如 tcp_v4_rcv、ip_output 等），辅助区分是防火墙丢弃、路由失败还是缓冲区溢出等原因。

重传追踪

Mon, 20 Jul 2026 00:00:00 +0000

🎯 关于 HUATUO（华佗）

📖 概述

tcpshark --mode retransmit 通过内核跟踪点 tcp/tcp_retransmit_skb 和 tcp/tcp_retransmit_synack 观测 TCP 重传相关活动。显式开启 TLP 后，还会观测 tcp_send_loss_probe kprobe。根据事件类型，每条事件可携带 IP 四元组、TCP 状态、拥塞控制状态、重传计数器、序列号信息，以及用于解析容器归属的 socket 元数据。

用户态分类器根据事件类型、sk_state、ca_state 和乱序计数器生成连接阶段与原因标签。这些标签是用于运维分析的启发式分类，不是丢包根因的确定性证据。

过滤表达式由 internal/pcapfilter 在加载时编译并在内核中执行。过滤器只对携带 SKB 的 tcp_retransmit_skb 事件生效；SYN-ACK 和 TLP 事件会绕过 pcap 过滤器。

🎯 场景

1. TCP 网络质量与重传诊断

通过持续观测 RTO、快速重传、乱序倾向重传和 TLP 事件，识别连接建立、数据传输及连接关闭阶段的异常重传，辅助判断网络丢包、拥塞、乱序或对端不可达等问题。

2. Kubernetes 容器网络故障排查

结合容器 ID、网络命名空间和 socket cgroup 元数据定位发生重传的工作负载，并使用 --filter "tcp and port <service-port>" 聚焦特定服务流量，减少宿主机上其他连接的干扰。