AI 排障不该只给答案:VeOps 深度调查里的「证据链」设计

火山引擎 VeOps 全栈可观测平台深度调查:排障场景自动分步排查,从告警直达根因;输出带证据链的结论与处置建议,结构化记录支持复核、交接与知识沉淀。这篇把三个能力逐个拆开,给出可抄走的排查骨架与结构化记录模板,讲清楚 AI 排障怎么从「能用」走向「可靠」。

文章目录

原文:VeOps 深度调查:让 AI 排障从“能用”走向“可靠”

凌晨两点,告警群已经刷满屏。你想搞明白「到底是哪一环先坏的」,链路、日志、指标、变更记录却散在四个系统里,每翻一个都得等十几秒。排障最贵的从来不是修复,而是定位。

这两年「AI 排障」的说法越来越多,真正过线的却很少。一篇针对火山引擎 VeOps 全栈可观测平台 的深度调查,给出了三个可验证的能力:自动分步排查、带证据链的结论与处置建议、结构化记录。这篇就顺着这三个点,把 AI 排障怎么从「能用」走到「可靠」讲清楚。

1、能用和可靠,差的不是模型有多聪明,而是能不能被复核

1、能用和可靠,差的不是模型有多聪明,而是能不能被复核(AI 生成示意图)

1、能用和可靠,差的不是模型有多聪明,而是能不能被复核 · AI 生成示意图

「能用」的标准其实很低:告警进来,AI 给你一段听起来合理的话,指出大概是哪个服务出了问题。这段话本身不产生价值,因为真正干活的人还是得从头翻一遍日志去验证。

「可靠」要多三件事:每一步都有依据、结论能被第二个人复核、这次的排查路径能沉淀成下次可用的经验。三件事指向同一个东西——过程可追溯。

维度 「能用」的 AI 排障 「可靠」的 AI 排障
排查路径 一次性给答案,过程看不见 自动分步排查,每一步都有输入与判断
输出形态 一段自然语言描述 带证据链的结论 + 处置建议
可复核性 只能重跑,靠人肉复现 结构化记录,别人照着能复现
价值终点 这次故障被关掉 这次 + 交接 + 知识沉淀

值得注意的是,从「能用」到「可靠」几乎不靠换更强的模型。更长的上下文、更多的工具调用,能让结论听着更顺,但顺耳和可信是两码事。可信要靠流程来保证。

2、三个能力,逐个拆开看

第一个是自动分步排查。 告警进来后,系统不是一次性问模型「你觉得哪里坏了」,而是像人排障那样一步步来:先看服务层指标,再翻错误日志,再关联最近的变更,每一步的结论决定下一步查什么。分步的价值在于「查不下去」是显式的——某一步拿不到足够证据,它就停在那里,而不是硬凑一个答案。

第二个是带证据链的结论。 这是这次调查里最值钱的设计。排障结论最怕的不是错,而是看起来很像那么回事、但没人能复核。证据链意味着结论后面挂着支撑它的那几条日志、指标与链路信息,读者可以顺着链条一格一格回溯,也能指出它到底在哪一格偏了。

第三个是结构化记录。 结论、处置建议、证据、被排除的假设,最终都落成一份结构化的记录,而不是一段随手发在群里的聊天。记录要能被人读,也要能被机器读——这才是交接与知识沉淀成立的前提。

3、怎么落到自己的系统里

先说明白:VeOps 的具体接口与实现以原文为准。但从上面三个能力倒推,接入动作大致是三步:把告警接进来、把可观测数据打通、把排障过程结构化落库。

#!/usr/bin/env bash
# 排障任务骨架:告警 → 分步排查 → 带证据链的结论
# 运行环境:Bash 3.2+(macOS 自带 bash 即可)

set -euo pipefail
ALERT_ID="${1:?用法: ./triage.sh <alert_id>}"
OUT_DIR="./triage-runs/${ALERT_ID}"
mkdir -p "${OUT_DIR}/steps"

echo "[$(date '+%F %T')] 收到告警 ${ALERT_ID},开始分步排查" | tee -a "${OUT_DIR}/run.log"

# 第 1 步:先看服务层指标有没有越界
STEP1="${OUT_DIR}/steps/01-service-metrics.json"
echo '[{"service":"api-gateway","metric":"error_rate","threshold":0.01}]' > "${STEP1}"
echo "[$(date '+%F %T')] step1 服务层指标 → ${STEP1}" | tee -a "${OUT_DIR}/run.log"

# 第 2 步:指标越界才去拉错误日志,没越界就不查
if grep -q 'error_rate' "${STEP1}"; then
  STEP2="${OUT_DIR}/steps/02-error-logs.jsonl"
  echo '{"level":"ERROR","msg":"upstream timeout"}' > "${STEP2}"
  echo "[$(date '+%F %T')] step2 错误日志 → ${STEP2}" | tee -a "${OUT_DIR}/run.log"
fi

# 第 3 步:每一步的证据单独存盘,最后再合并成一份完整记录
cat "${OUT_DIR}"/steps/* > "${OUT_DIR}/evidence.txt"
echo "[$(date '+%F %T')] 证据汇总 → ${OUT_DIR}/evidence.txt" | tee -a "${OUT_DIR}/run.log"

看这段骨架你会发现一个关键点:每一步的产物单独存盘,最后才合并。这正是「证据链」的落地方式——中间步骤可以被单独复核、可以被重放,而最终结论只是这些步骤的汇总视图。

4、结论怎么变成可复核、可交接的东西

带证据链的结论如果没有固定结构,下次还是得从头读聊天记录。结构化的意义在于:它同时喂得饱人,也喂得饱机器。

"""把一次排障的结论固化成结构化记录,便于复核与交接。"""

import json
from dataclasses import asdict, dataclass, field
from typing import List


@dataclass
class Evidence:
    """一条证据:来自哪里、观察到什么、支撑哪一步。"""
    source: str          # logs / metrics / trace 等
    fact: str            # 观察到的事实,照抄不加工
    supports_step: int   # 支撑第几步的判断


@dataclass
class TriageRecord:
    """排障记录:结论、处置建议、证据链、被排除的假设。"""
    alert_id: str
    root_cause: str
    remediation: List[str] = field(default_factory=list)
    evidence: List[Evidence] = field(default_factory=list)
    ruled_out: List[str] = field(default_factory=list)

    def verify(self) -> bool:
        """没有证据支撑的结论,不允许进入交接流程。"""
        if not self.evidence:
            return False
        return all(e.fact and e.source for e in self.evidence)


if __name__ == "__main__":
    record = TriageRecord(
        alert_id="A-1026-0731",
        root_cause="网关到订单服务的连接池耗尽",
        remediation=["临时扩容连接池", "暂停非核心批量任务"],
        evidence=[
            Evidence("metrics", "api-gateway error_rate 突增", 1),
            Evidence("logs", "upstream timeout 集中出现在 10:02", 2),
        ],
        ruled_out=["数据库慢查询(同期无慢查询日志)"],
    )
    assert record.verify(), "证据不足,结论不予交接"
    print(json.dumps(asdict(record), ensure_ascii=False, indent=2))

ruled_out 这个字段最容易被忽略,但它恰恰是知识沉淀的关键:下次同样告警再来,有人能直接看到「哪条路已经走过了、为什么不是它」,而不是把弯路重走一遍。被排除的假设同样是知识,只是大部分人不会记。

写在最后

AI 排障的第一道门槛是「能给出答案」,第二道门槛是**「答案能被复核」。 这次调查给出的三个能力——自动分步排查、带证据链的结论与处置建议、结构化记录——其实都指向同一件事:把排查过程从「黑盒里的一次对话」变成「可追溯的工程过程」。 这条路不追求让 AI 比人更聪明,而是让它比人更不遗漏**。 我的判断是:未来一两年,团队内部最值钱的 AI 排障能力,不是会不会猜,而是能不能拿出一条别人看完会点头的证据链。

相关阅读

想把 AI 工具接进自己的团队、或把这套内容流水线搬到自己服务器上?阿凡达提供一次性的私有化部署与出海模型接入服务,说明与报价见:查看技术服务

文中链接

整理自本文的外部链接,请以来源页面说明为准。

AI 排障不该只给答案:VeOps 深度调查里的「证据链」设计 · 阿凡达博客