单个大模型干不了所有事:多模块协同工作流怎么拆、怎么接、怎么评估
一个模型往往擅长理解却写不好代码、擅长翻译却不会做数据分析。本文讲清 AI 多模块协同工作流该怎么拆模块、怎么定义接口契约、失败怎么兜、成本怎么控,以及一套能自己跑的评估办法。
文章目录
做自动化工作流时最常见的坑,是想用一个模型干所有事。
它可能理解需求很清楚,却写不好代码;擅长翻译,遇到表格就抓瞎;能写方案,落地成脚本就出错。单模型的短板,会在流程越长的时候被放大得越厉害。
正解是把它拆成多个各自擅长一件事的模块,再用一个流程把它们串起来。这篇讲怎么拆、怎么接、怎么评估。
1、为什么单模型一定会崩
1、为什么单模型一定会崩 · AI 生成示意图
先看一组典型的能力错配:
| 任务环节 | 强项 | 弱项 |
|---|---|---|
| 需求理解 / 拆解 | 语义强、上下文通 | 容易发散、过度设计 |
| 代码生成 | 结构清晰 | 边界条件常漏、不会自己跑一遍 |
| 数据抽取 / 分类 | 稳定、能对齐规则 | 数值精度不可靠、会漏字段 |
| 翻译 / 改写 | 语感好、速度快 | 术语一致性差 |
| 调用外部 API | 会写请求 | 不知道返回结构、不会处理错误 |
把这些环节交给一个模型 + 一段大提示词,等于让它在自己最弱的地方做最难的事:一旦某一步出错,后面的步骤会在错误的基础上继续发挥。
拆模块的本质,是把「出错的概率」隔离在单个环节里,而不是让它沿着流程扩散。
2、怎么拆:按「可判定的边界」切
2、怎么拆:按「可判定的边界」切 · AI 生成示意图
拆模块最容易走偏的地方,是按「感觉上的能力」切。更好的切法是按能不能自动判对错来切:
- 有明确答案的(抽取字段、分类、格式转换、跑测试)→ 交给专用模块或规则,能自动验。
- 需要理解的(意图识别、摘要、方案草拟)→ 交给大模型,输出用结构化格式接住。
- 需要执行的(调 API、跑脚本、改文件)→ 交给确定性的执行器,只允许调用白名单里的动作。
三类之间用契约隔开:模型只负责产出结构化输出,执行器只负责按契约执行,不让模型直接碰执行细节。
// 模块之间只认这份契约,模型产出什么形状由校验层兜住
{
"module": "extract_invoice",
"input": { "file": "<path>" },
"output": {
"invoice_no": "string",
"amount": "number",
"date": "string",
"items": [{ "name": "string", "qty": "number", "price": "number" }]
},
"validate": [ "amount >= 0", "items[].qty > 0" ]
}
关键点:校验是独立的一层。模型输出不符合契约,就地重试或降级,绝不把脏数据传给下一个模块。
3、怎么接:三件套
① 单一入口,模型只做判断
用户进来先由一个「调度模块」判断意图,决定走哪条分支。分支判断和分支执行要分开——模型判断「该做哪件事」,执行器决定「具体怎么做」。
② 每一步都可重放
工作流跑长了,中间失败时最贵的是从头再来。所以每一步的输入输出都要落盘,失败时从最近的成功点续跑,而不是重跑全流程。
# 简化示意:带断点续跑的步骤执行
import json, pathlib
def run_step(name, fn, store):
cache = pathlib.Path("runs") / f"{name}.json"
if cache.exists(): # 命中就复用,保证可重放
return json.loads(cache.read_text())
result = fn()
cache.write_text(json.dumps(result, ensure_ascii=False))
return result
③ 失败有明确的降级路径
每个模块都要事先想好:它挂了怎么办。
抽取模块失败 → 换一个更宽松的提示词重试一次 → 仍失败就标记「待人工」,不要瞎猜
代码模块跑不通 → 把报错喂回给模型修一次 → 还不行就保留现场,别往下走
外部 API 5xx → 指数退避重试 3 次 → 仍失败就降级到缓存数据并标注
最忌讳的是「出错但继续跑」——错误会沿着流程一路污染,最后你都不知道哪一步出的问题。
4、怎么控成本
多模块意味着调用次数变多,成本是线性涨的。三个立刻见效的做法:
- 模型分级:分类、抽取这类弱任务用小模型,只有「写方案」这种才上大模型。
- 结果缓存:同样的输入直接复用上一次的结果(注意时效性要求)。
- 早停:某一步已经能给出确定答案,后面几步就别跑了。
# 粗略估算一次工作流的调用次数与花费
# 大模型调用单价以你所用服务商为准,这里只演示算法
cost = 0
for step in steps:
model = SMALL if step.task in ("classify", "extract") else BIG
calls = step.retries + 1
cost += calls * PRICE[model] * (step.tokens_in + step.tokens_out) / 1_000_000
print(f"本次工作流预估成本: {cost:.4f}")
5、怎么评估:先做对,再做快
多模块工作流最容易翻车的地方是没有基线。建流程时先定一个最笨的基线——比如「一个模型 + 一段大提示词跑完全流程」,记录它的成功率和成本。
然后再逐个模块替换,看成功率的增量和成本的增量是不是划算:
| 指标 | 怎么看 | 目标 |
|---|---|---|
| 端到端成功率 | 跑 100 条真实样本 | 明显高于基线 |
| 单步成功率 | 每一步单独统计 | 定位到是哪一步在拖后腿 |
| 平均成本 | 总花费 / 完成数 | 可接受且可预测 |
| 人工介入率 | 需要人接手才算完成 | 越低越好 |
| 失败可解释性 | 失败时能不能说清是哪一环 | 必须能说清 |
最后一项最容易被忽略,但恰恰是多模块工作流最大的价值——出错时你知道是哪一环出的问题,而不是面对一句「AI 说不知道」。
6、我的判断
多模块协同不是炫技,是把「模型不可靠」这件事工程化了。
它的代价是链路更长、调试更复杂、成本更高;它的回报是每一步都可测、每个失败点都知道在哪。对于要长期跑、要有人接手的工作流,后者值回票价。
我的建议是:从最笨的基线开始,一个模块一个模块地换。每换一个,跑同一批样本,看数字。哪里数字不涨就退回去——这样每一步的改动都站得住。
相关阅读
文中链接
整理自本文的外部链接,请以来源页面说明为准。