单个大模型干不了所有事:多模块协同工作流怎么拆、怎么接、怎么评估

一个模型往往擅长理解却写不好代码、擅长翻译却不会做数据分析。本文讲清 AI 多模块协同工作流该怎么拆模块、怎么定义接口契约、失败怎么兜、成本怎么控,以及一套能自己跑的评估办法。

文章目录

原文:AI 多模块协同自动化工作流 · 掘金

做自动化工作流时最常见的坑,是想用一个模型干所有事。

它可能理解需求很清楚,却写不好代码;擅长翻译,遇到表格就抓瞎;能写方案,落地成脚本就出错。单模型的短板,会在流程越长的时候被放大得越厉害。

正解是把它拆成多个各自擅长一件事的模块,再用一个流程把它们串起来。这篇讲怎么拆、怎么接、怎么评估。

1、为什么单模型一定会崩

1、为什么单模型一定会崩(AI 生成示意图)

1、为什么单模型一定会崩 · AI 生成示意图

先看一组典型的能力错配:

任务环节 强项 弱项
需求理解 / 拆解 语义强、上下文通 容易发散、过度设计
代码生成 结构清晰 边界条件常漏、不会自己跑一遍
数据抽取 / 分类 稳定、能对齐规则 数值精度不可靠、会漏字段
翻译 / 改写 语感好、速度快 术语一致性差
调用外部 API 会写请求 不知道返回结构、不会处理错误

把这些环节交给一个模型 + 一段大提示词,等于让它在自己最弱的地方做最难的事:一旦某一步出错,后面的步骤会在错误的基础上继续发挥。

拆模块的本质,是把「出错的概率」隔离在单个环节里,而不是让它沿着流程扩散。

2、怎么拆:按「可判定的边界」切

2、怎么拆:按「可判定的边界」切(AI 生成示意图)

2、怎么拆:按「可判定的边界」切 · AI 生成示意图

拆模块最容易走偏的地方,是按「感觉上的能力」切。更好的切法是按能不能自动判对错来切:

  1. 有明确答案的(抽取字段、分类、格式转换、跑测试)→ 交给专用模块或规则,能自动验。
  2. 需要理解的(意图识别、摘要、方案草拟)→ 交给大模型,输出用结构化格式接住。
  3. 需要执行的(调 API、跑脚本、改文件)→ 交给确定性的执行器,只允许调用白名单里的动作。

三类之间用契约隔开:模型只负责产出结构化输出,执行器只负责按契约执行,不让模型直接碰执行细节。

// 模块之间只认这份契约,模型产出什么形状由校验层兜住
{
  "module": "extract_invoice",
  "input":  { "file": "<path>" },
  "output": {
    "invoice_no": "string",
    "amount":    "number",
    "date":     "string",
    "items":    [{ "name": "string", "qty": "number", "price": "number" }]
  },
  "validate": [ "amount >= 0", "items[].qty > 0" ]
}

关键点:校验是独立的一层。模型输出不符合契约,就地重试或降级,绝不把脏数据传给下一个模块。

3、怎么接:三件套

① 单一入口,模型只做判断

用户进来先由一个「调度模块」判断意图,决定走哪条分支。分支判断和分支执行要分开——模型判断「该做哪件事」,执行器决定「具体怎么做」。

② 每一步都可重放

工作流跑长了,中间失败时最贵的是从头再来。所以每一步的输入输出都要落盘,失败时从最近的成功点续跑,而不是重跑全流程。

# 简化示意:带断点续跑的步骤执行
import json, pathlib

def run_step(name, fn, store):
    cache = pathlib.Path("runs") / f"{name}.json"
    if cache.exists():                 # 命中就复用,保证可重放
        return json.loads(cache.read_text())
    result = fn()
    cache.write_text(json.dumps(result, ensure_ascii=False))
    return result

③ 失败有明确的降级路径

每个模块都要事先想好:它挂了怎么办。

抽取模块失败  → 换一个更宽松的提示词重试一次 → 仍失败就标记「待人工」,不要瞎猜
代码模块跑不通 → 把报错喂回给模型修一次 → 还不行就保留现场,别往下走
外部 API 5xx  → 指数退避重试 3 次 → 仍失败就降级到缓存数据并标注

最忌讳的是「出错但继续跑」——错误会沿着流程一路污染,最后你都不知道哪一步出的问题。

4、怎么控成本

多模块意味着调用次数变多,成本是线性涨的。三个立刻见效的做法:

  • 模型分级:分类、抽取这类弱任务用小模型,只有「写方案」这种才上大模型。
  • 结果缓存:同样的输入直接复用上一次的结果(注意时效性要求)。
  • 早停:某一步已经能给出确定答案,后面几步就别跑了。
# 粗略估算一次工作流的调用次数与花费
# 大模型调用单价以你所用服务商为准,这里只演示算法
cost = 0
for step in steps:
    model = SMALL if step.task in ("classify", "extract") else BIG
    calls = step.retries + 1
    cost += calls * PRICE[model] * (step.tokens_in + step.tokens_out) / 1_000_000
print(f"本次工作流预估成本: {cost:.4f}")

5、怎么评估:先做对,再做快

多模块工作流最容易翻车的地方是没有基线。建流程时先定一个最笨的基线——比如「一个模型 + 一段大提示词跑完全流程」,记录它的成功率和成本。

然后再逐个模块替换,看成功率的增量和成本的增量是不是划算:

指标 怎么看 目标
端到端成功率 跑 100 条真实样本 明显高于基线
单步成功率 每一步单独统计 定位到是哪一步在拖后腿
平均成本 总花费 / 完成数 可接受且可预测
人工介入率 需要人接手才算完成 越低越好
失败可解释性 失败时能不能说清是哪一环 必须能说清

最后一项最容易被忽略,但恰恰是多模块工作流最大的价值——出错时你知道是哪一环出的问题,而不是面对一句「AI 说不知道」。

6、我的判断

多模块协同不是炫技,是把「模型不可靠」这件事工程化了。

它的代价是链路更长、调试更复杂、成本更高;它的回报是每一步都可测、每个失败点都知道在哪。对于要长期跑、要有人接手的工作流,后者值回票价。

我的建议是:从最笨的基线开始,一个模块一个模块地换。每换一个,跑同一批样本,看数字。哪里数字不涨就退回去——这样每一步的改动都站得住。

相关阅读

文中链接

整理自本文的外部链接,请以来源页面说明为准。

单个大模型干不了所有事:多模块协同工作流怎么拆、怎么接、怎么评估 · 阿凡达博客