AI 排障不该只给答案:VeOps 深度调查里的「证据链」设计
火山引擎 VeOps 全栈可观测平台深度调查:排障场景自动分步排查,从告警直达根因;输出带证据链的结论与处置建议,结构化记录支持复核、交接与知识沉淀。这篇把三个能力逐个拆开,给出可抄走的排查骨架与结构化记录模板,讲清楚 AI 排障怎么从「能用」走向「可靠」。
文章目录
凌晨两点,告警群已经刷满屏。你想搞明白「到底是哪一环先坏的」,链路、日志、指标、变更记录却散在四个系统里,每翻一个都得等十几秒。排障最贵的从来不是修复,而是定位。
这两年「AI 排障」的说法越来越多,真正过线的却很少。一篇针对火山引擎 VeOps 全栈可观测平台 的深度调查,给出了三个可验证的能力:自动分步排查、带证据链的结论与处置建议、结构化记录。这篇就顺着这三个点,把 AI 排障怎么从「能用」走到「可靠」讲清楚。
1、能用和可靠,差的不是模型有多聪明,而是能不能被复核
1、能用和可靠,差的不是模型有多聪明,而是能不能被复核 · AI 生成示意图
「能用」的标准其实很低:告警进来,AI 给你一段听起来合理的话,指出大概是哪个服务出了问题。这段话本身不产生价值,因为真正干活的人还是得从头翻一遍日志去验证。
「可靠」要多三件事:每一步都有依据、结论能被第二个人复核、这次的排查路径能沉淀成下次可用的经验。三件事指向同一个东西——过程可追溯。
| 维度 | 「能用」的 AI 排障 | 「可靠」的 AI 排障 |
|---|---|---|
| 排查路径 | 一次性给答案,过程看不见 | 自动分步排查,每一步都有输入与判断 |
| 输出形态 | 一段自然语言描述 | 带证据链的结论 + 处置建议 |
| 可复核性 | 只能重跑,靠人肉复现 | 结构化记录,别人照着能复现 |
| 价值终点 | 这次故障被关掉 | 这次 + 交接 + 知识沉淀 |
值得注意的是,从「能用」到「可靠」几乎不靠换更强的模型。更长的上下文、更多的工具调用,能让结论听着更顺,但顺耳和可信是两码事。可信要靠流程来保证。
2、三个能力,逐个拆开看
第一个是自动分步排查。 告警进来后,系统不是一次性问模型「你觉得哪里坏了」,而是像人排障那样一步步来:先看服务层指标,再翻错误日志,再关联最近的变更,每一步的结论决定下一步查什么。分步的价值在于「查不下去」是显式的——某一步拿不到足够证据,它就停在那里,而不是硬凑一个答案。
第二个是带证据链的结论。 这是这次调查里最值钱的设计。排障结论最怕的不是错,而是看起来很像那么回事、但没人能复核。证据链意味着结论后面挂着支撑它的那几条日志、指标与链路信息,读者可以顺着链条一格一格回溯,也能指出它到底在哪一格偏了。
第三个是结构化记录。 结论、处置建议、证据、被排除的假设,最终都落成一份结构化的记录,而不是一段随手发在群里的聊天。记录要能被人读,也要能被机器读——这才是交接与知识沉淀成立的前提。
3、怎么落到自己的系统里
先说明白:VeOps 的具体接口与实现以原文为准。但从上面三个能力倒推,接入动作大致是三步:把告警接进来、把可观测数据打通、把排障过程结构化落库。
#!/usr/bin/env bash
# 排障任务骨架:告警 → 分步排查 → 带证据链的结论
# 运行环境:Bash 3.2+(macOS 自带 bash 即可)
set -euo pipefail
ALERT_ID="${1:?用法: ./triage.sh <alert_id>}"
OUT_DIR="./triage-runs/${ALERT_ID}"
mkdir -p "${OUT_DIR}/steps"
echo "[$(date '+%F %T')] 收到告警 ${ALERT_ID},开始分步排查" | tee -a "${OUT_DIR}/run.log"
# 第 1 步:先看服务层指标有没有越界
STEP1="${OUT_DIR}/steps/01-service-metrics.json"
echo '[{"service":"api-gateway","metric":"error_rate","threshold":0.01}]' > "${STEP1}"
echo "[$(date '+%F %T')] step1 服务层指标 → ${STEP1}" | tee -a "${OUT_DIR}/run.log"
# 第 2 步:指标越界才去拉错误日志,没越界就不查
if grep -q 'error_rate' "${STEP1}"; then
STEP2="${OUT_DIR}/steps/02-error-logs.jsonl"
echo '{"level":"ERROR","msg":"upstream timeout"}' > "${STEP2}"
echo "[$(date '+%F %T')] step2 错误日志 → ${STEP2}" | tee -a "${OUT_DIR}/run.log"
fi
# 第 3 步:每一步的证据单独存盘,最后再合并成一份完整记录
cat "${OUT_DIR}"/steps/* > "${OUT_DIR}/evidence.txt"
echo "[$(date '+%F %T')] 证据汇总 → ${OUT_DIR}/evidence.txt" | tee -a "${OUT_DIR}/run.log"
看这段骨架你会发现一个关键点:每一步的产物单独存盘,最后才合并。这正是「证据链」的落地方式——中间步骤可以被单独复核、可以被重放,而最终结论只是这些步骤的汇总视图。
4、结论怎么变成可复核、可交接的东西
带证据链的结论如果没有固定结构,下次还是得从头读聊天记录。结构化的意义在于:它同时喂得饱人,也喂得饱机器。
"""把一次排障的结论固化成结构化记录,便于复核与交接。"""
import json
from dataclasses import asdict, dataclass, field
from typing import List
@dataclass
class Evidence:
"""一条证据:来自哪里、观察到什么、支撑哪一步。"""
source: str # logs / metrics / trace 等
fact: str # 观察到的事实,照抄不加工
supports_step: int # 支撑第几步的判断
@dataclass
class TriageRecord:
"""排障记录:结论、处置建议、证据链、被排除的假设。"""
alert_id: str
root_cause: str
remediation: List[str] = field(default_factory=list)
evidence: List[Evidence] = field(default_factory=list)
ruled_out: List[str] = field(default_factory=list)
def verify(self) -> bool:
"""没有证据支撑的结论,不允许进入交接流程。"""
if not self.evidence:
return False
return all(e.fact and e.source for e in self.evidence)
if __name__ == "__main__":
record = TriageRecord(
alert_id="A-1026-0731",
root_cause="网关到订单服务的连接池耗尽",
remediation=["临时扩容连接池", "暂停非核心批量任务"],
evidence=[
Evidence("metrics", "api-gateway error_rate 突增", 1),
Evidence("logs", "upstream timeout 集中出现在 10:02", 2),
],
ruled_out=["数据库慢查询(同期无慢查询日志)"],
)
assert record.verify(), "证据不足,结论不予交接"
print(json.dumps(asdict(record), ensure_ascii=False, indent=2))
ruled_out 这个字段最容易被忽略,但它恰恰是知识沉淀的关键:下次同样告警再来,有人能直接看到「哪条路已经走过了、为什么不是它」,而不是把弯路重走一遍。被排除的假设同样是知识,只是大部分人不会记。
写在最后
AI 排障的第一道门槛是「能给出答案」,第二道门槛是**「答案能被复核」。 这次调查给出的三个能力——自动分步排查、带证据链的结论与处置建议、结构化记录——其实都指向同一件事:把排查过程从「黑盒里的一次对话」变成「可追溯的工程过程」。 这条路不追求让 AI 比人更聪明,而是让它比人更不遗漏**。 我的判断是:未来一两年,团队内部最值钱的 AI 排障能力,不是会不会猜,而是能不能拿出一条别人看完会点头的证据链。
相关阅读
- VeOps 深度调查:让 AI 排障从“能用”走向“可靠” —— 本文原文
- 火山引擎 VeOps 全栈可观测平台 —— 平台官方产品页
- 掘金搜索:可观测性 / AIOps 实践 —— 更多落地案例
想把 AI 工具接进自己的团队、或把这套内容流水线搬到自己服务器上?阿凡达提供一次性的私有化部署与出海模型接入服务,说明与报价见:查看技术服务
文中链接
整理自本文的外部链接,请以来源页面说明为准。