Hermit开源:Agent不调模型,也能外挂可训练适配器

CMU 开源 Hermit,把可训练适配器外接到 Agent 上,不改基座模型,也不要求重写智能体框架。文章拆解其定位、三组基准结果与适配器思路,并给出可运行的 PyTorch 最小示例,帮助读者理解如何把模型能力、Agent 行为与训练边界分开评估。

文章目录

原文:CMU 开源 Hermit:不调模型不改壳,给 Agent 外挂一个能训练的适配器

Hermit 是 CMU 开源的一套 Agent 适配方案:模型参数保持不动,现有智能体外壳也不用推倒重写,而是在外部接上一个可训练模块。它现在值得看,是因为 Agent 的难点正从“会不会调用工具”转向“经验能否沉淀、复用并持续改进”;具体支持范围与实现细节,以原文为准。

更实用的读法,是把 Hermit 当成“能力适配层”:基座模型负责通用推理,Agent 负责工具与环境交互,适配器承接额外训练。读完可以拿走三件事:它解决的是哪一层问题、三组对照数字说明什么,以及怎样用最小代码验证“冻结基座、只训练外置模块”这条工程路线。

1、它不是另一个 Agent,而是外挂式适配层

1、它不是另一个 Agent,而是外挂式适配层(AI 生成示意图)

1、它不是另一个 Agent,而是外挂式适配层 · AI 生成示意图

从标题给出的定位看,Hermit 不要求微调模型,也不要求改变现有 Agent 框架。它的价值不是再造一个 Agent,而是给现有 Agent 增加一个可训练边界。 如果每次改进都绑定某个模型版本,或重写整套工具编排,迁移成本通常会迅速上升;把可训练部分放到外部边界,往往更便于替换、训练和做对照实验。

可以把它想成模型与 Agent 之间的“可插拔修正层”。基座继续提供通用能力,原有 Agent 继续组织行动,适配器则针对任务反馈学习额外信号。这里的“像”只是工程类比,不代表摘要已经披露了 Hermit 的内部模块清单,具体实现以原文为准。

2、三组基准:看提升,也看比较口径

2、三组基准:看提升,也看比较口径(AI 生成示意图)

2、三组基准:看提升,也看比较口径 · AI 生成示意图

摘要给出的三组配对结果如下,分别来自 OfficeQA、CL-Bench 和 ServeLearnBench 三个 Agent 基准。素材没有给出各基准的指标定义,因此这里只按“对照方案对 Hermit”展示,不擅自换算成百分比。

Agent 基准 对照方案 Hermit 摘要中的配对
OfficeQA 0.541 0.651 0.541 对 0.651
CL-Bench 0.580 0.795 0.580 对 0.795
ServeLearnBench 28.7 45.3 28.7 对 45.3

三组对照中,Hermit 一侧的数值都更高。 OfficeQA 是 0.541 对 0.651,CL-Bench 是 0.580 对 0.795,ServeLearnBench 是 28.7 对 45.3。至少从这组摘要看,结果不是只出现在一个基准上。

不过,表格没有给出样本构成、统计方式和指标口径,不能据此断言所有 Agent 任务都会得到同等提升。尤其 ServeLearnBench 的数值不能脱离原定义解读;评测设置、复现步骤与最终结果均以原文为准。

3、外接训练为什么适合 Agent

Agent 出错时,原因可能来自模型判断、提示词、工具接口、记忆或流程编排。若每次都动基座模型或整套框架,改动范围大,回归验证也麻烦。外置适配器提供了一个更窄的实验面:保持基座和外壳不动,只观察新增训练模块能否带来稳定变化。

这种切分还有两个直接好处。训练时可以单独检查适配器是否学到东西,部署时也更容易替换或回退;做基准时,还能把“模型能力”与“Agent 适配能力”分开讨论。对经常更换模型或维护多套工具链的团队,这种边界通常比把逻辑揉进提示词更清晰。

代价也要提前想清楚:适配器并非免费午餐。训练数据从哪里来,接口怎样衔接,推理阶段会增加多少开销,失败时如何定位,都需要用项目自己的数据回答。Hermit 在这些方面的官方结论,以原文为准。

4、最小实现:冻结基座,只训练适配器

下面用 PyTorch 写一个最小例子。它不是 Hermit 官方 API,也不声称复现论文结果,只展示三个约束:基座参数冻结、优化器只接收适配器参数、训练输入输出由调用者提供。

import torch
from torch import nn
from torch.utils.data import DataLoader, TensorDataset


class ResidualAdapter(nn.Module):
    def __init__(self, hidden_dim, bottleneck_dim):
        super().__init__()
        self.down = nn.Linear(hidden_dim, bottleneck_dim, bias=False)
        self.up = nn.Linear(bottleneck_dim, hidden_dim, bias=False)

    def forward(self, x):
        return self.up(torch.relu(self.down(x)))


class FrozenBaseWithAdapter(nn.Module):
    def __init__(self, base, adapter):
        super().__init__()
        self.base = base
        self.adapter = adapter
        for parameter in self.base.parameters():
            parameter.requires_grad_(False)

    def forward(self, x):
        return self.base(x) + self.adapter(x)


def train_adapter(
    base,
    adapter,
    inputs,
    targets,
    *,
    epochs,
    batch_size,
    learning_rate,
):
    for parameter in adapter.parameters():
        parameter.requires_grad_(True)

    model = FrozenBaseWithAdapter(base, adapter)
    loader = DataLoader(
        TensorDataset(inputs, targets),
        batch_size=batch_size,
        shuffle=True,
    )
    optimizer = torch.optim.AdamW(
        adapter.parameters(),
        lr=learning_rate,
    )
    loss_fn = nn.MSELoss()
    history = []
    model.train()

    for epoch in range(epochs):
        epoch_losses = []
        for batch_x, batch_y in loader:
            optimizer.zero_grad()
            loss = loss_fn(model(batch_x), batch_y)
            loss.backward()
            optimizer.step()
            epoch_losses.append(loss.item())
        history.append(sum(epoch_losses) / len(epoch_losses))

    return model, history

关键不在类名,而在参数边界:base 不进入优化器,adapter 独立训练,前向输出通过残差形式合并。把已有训练张量、训练轮数、批大小和学习率传入 train_adapter,就能在本地检查梯度是否只流向适配器。接入真实 Agent 时,再把数据构造与推理封装替换为项目自己的实现。

5、怎样判断是否值得接入

先别急着把三组数字搬进自己的结论。更稳妥的顺序是:固定同一基座模型和 Agent 外壳,建立不外挂适配器的基线;定义任务切分与训练、验证数据,避免测试反馈混入训练;最后按业务指标复测,并记录额外延迟、资源占用和失败案例。

还要确认收益是否跨任务稳定,关闭适配器能否退回基线,训练信号能否复现。通常,汇总数字之外,过程记录和失败样本更能解释结果。Hermit 最值得借鉴的,是“冻结主干、外接学习、划清评测边界”的方法;采用方式与官方细节仍以原文和代码为准。

写在最后

Hermit 的核心不是再造一个 Agent,而是给现有 Agent 增加可训练边界。
它把基座、外壳与新增学习能力拆开,迁移、评测和回退更容易讨论。
三组摘要数据都向好,但指标口径与复现条件必须回到原文。
我的判断是:这条路线值得 Agent 团队做小规模验证,但不应在缺少自身基线时照搬结果。

相关阅读

文中链接

整理自本文的外部链接,请以来源页面说明为准。

Hermit开源:Agent不调模型,也能外挂可训练适配器 · 阿凡达博客