SFT 后再涨 54%:OPPO 的 OCR 错题本

文档 OCR 微调的隐藏浪费:SFT 两轮后错误只剩零星几个 token,损失却仍对全页一视同仁。OPPO 的 SP-DocReader 拿上一轮模型的错位当错题本,只训 0.5B 分支,三轮自博弈把 CER 从 2.40 打到 1.11。

文章目录

原文:SFT 之后再涨 54%:OPPO 给文档 OCR 装了个「错题本」,自博弈三轮把 CER 从 2.40 打到 1.11

你用两万页标注数据 SFT 了两轮,模型在验证集上的字符错误率(CER)从 5.22% 降到 2.40%。但剩下的 2.40% 里,藏着页码读串、形近字认错、公式符号张冠李戴这类硬骨头。

于是你加数据、加轮次,结果发现损失的大头依然花在模型早就读对的 token 上。这就是监督微调的均摊悖论。

OPPO 的 SP-DocReader 解法出奇地朴素——把模型自己的错误当成训练信号。它把损失对准「还没读对的地方」,域内 CER 三轮直降 54%,零样本文档问答反而涨了 3.67 分。完整拆解见原文。

1、均摊悖论:为什么加数据加轮次都不涨

1、均摊悖论:为什么加数据加轮次都不涨(AI 生成示意图)

1、均摊悖论:为什么加数据加轮次都不涨 · AI 生成示意图

传统 SFT 对全页每个 token 一视同仁地算损失,读对的和还读错的权重完全一样,标注与算力预算绝大部分花在「教模型学它已经会的东西」上。

文档 OCR 尤其如此:硬骨头只散落在少数位置——m 与 n 认错、公式里 l 和 L 混用、定理编号差一位。

论文一个细节很讲究:掩码只选损失位置,不截断序列。打分时错位 token 的条件前缀保持完整,不把抽出的残缺片段当新序列去算概率,避免「在残缺文本上算概率」的语义错乱。

2、骨架:只训 0.5B 的「OCR 外挂」

2、骨架:只训 0.5B 的「OCR 外挂」(AI 生成示意图)

2、骨架:只训 0.5B 的「OCR 外挂」 · AI 生成示意图

SP-DocReader 延续 DocVLM 的模块化思路:视觉编码器和语言主干(InternVL-3.5-4B 或 Qwen3-VL-4B)完全冻结,只训练一个 OCR 分支——DocFormerV2 式编码器 + 投影层 + 可学习查询,把外部 EasyOCR 识别出的文本和坐标框压成紧凑表示,注入 VLM。

方案 可训参数 Vary CER↓ DocBank CER↓ IIT-CDIP CER↓ DocVQA ANLS↑
OCR-free 全参 3.3B 1.04 11.93 17.61 79.62
全参微调 3.8B 0.98 11.28 16.87 80.41
模块化(本文) 0.5B 1.11 9.05 14.42 84.89

可训参数只有 0.5B,推理开销约为纯主干方案的 +10%,训练成本约为全参的 1/5。

全参微调域内 CER 最低(0.98),但那更像对训练分布的过拟合——三轮自博弈后零样本均分不升反降(75.92 → 74.98)。模块化方案域内让出 0.13 个 CER 点,换来零样本三项全胜。

3、核心方法:给模型配一个「错题本」

训练分两段:先常规 SFT-2(两轮监督微调),再进入自博弈,每轮三步。

第一步:让「上一次的自己」读一遍

上一轮模型被固定为对手(opponent),对每页生成完整阅读 ŷ,里面混着它独有的错误:把 store 读成 stroe、把 kilograms 读成 kilogramhs。

第二步:LCS 对齐,圈出错误

对标准答案 y 和生成阅读 ŷ 在 token 序列上做最长公共子序列对齐——两边读对的部分自然对上,剩下的未匹配位置就是「错题」。

第三步:两种损失双管齐下

  • RDL(阅读差异损失):SPIN 式对比目标——在错位处,当前模型给标准答案的分数要比对手给自己错误阅读的分数高,是「相对」信号;
  • FFL(聚焦保真损失):在标准答案的未匹配位置直接加负对数似然,是「绝对」信号,不依赖压低错误阅读。

消融给了干净答案:只留 FFL,Vary-600K CER 是 1.88;只留对比,1.57;双管齐下 1.11,五项指标全优。一个管方向,一个管力度。

每轮结束后刷新对手。对照实验显示,刷新分支训 2 个局部 epoch 的平均分(90.3)超过固定对手读物的 5 个 epoch(89.8)。旧错题刷完了,才有新东西可学。

# SP-DocReader 自博弈三轮:伪代码
for round in range(3):
    opponent = freeze(current)            # 对手 = 上一轮的自己
    for page, truth in loader:
        reading = opponent.generate(page)  # 完整阅读 ŷ
        mask = lcs_unmatched(truth, reading)   # 只圈错位位置,不截断序列
        loss = rdl(current, truth, reading, mask) + ffl(current, truth, mask)
        current.step(loss)
    current = refresh_opponent(current)    # 每轮刷新对手

4、成绩单:域内 −54%,零样本 +3.67

Qwen3-VL-4B 上的主要结果:

基准 SFT-2 SP-DR-3 变化
Vary-600K CER(域内)↓ 2.40 1.11 −54%
DocBank CER(零样本)↓ 10.95 9.05 −1.90pp
IIT-CDIP CER(零样本)↓ 16.71 14.42 −2.29pp
DocVQA ANLS↑ 81.22 84.89 +3.67
InfographicVQA ANLS↑ 55.34 58.94 +3.60

注意后四行全是零样本——自博弈只在 Vary-600K 的英中双语页面上训,泛化到学术页(DocBank)和扫描件(IIT-CDIP)照样降错误率,连文档问答都跟着涨。InternVL-3.5-4B 上趋势一致(Vary CER 2.12 → 1.17)。附加基准也全线飘红:OmniDocBench 0.347 → 0.291,OCRBench v2 +6.2,CC-OCR +5.6。

数据效率可能是对实践者最友好的一张图:30k 页标注 + 自博弈的五任务平均分 82.46,超过 120k 页 SFT 的 80.73。标注预算紧张时含义不言自明。

分辨率鲁棒性是另一个惊喜:从 48 DPI 到 150 DPI 全面占优,48 DPI 极限低清下 CER 是 1.74 对 3.41。对「PDF 渲染分辨率上不去」的场景,这直接决定能否省 token。

5、泼冷水:四个必须知道的边界

  • 外部 OCR 是拐杖:依赖 EasyOCR 提供文本和坐标框,EasyOCR 读错就无能为力,推理还有 +10% 开销。
  • 只管单页转录:论文 Limitations 写得很清楚——不做多页阅读、不做结构化抽取,固定生成预算对超长页面不友好。
  • 语种与家族覆盖窄:只测英中双语 + 两个 4B backbone,换语种换家族是否成立未知。
  • 自博弈依赖 SFT 起点:若 SFT 后的错误有系统性盲区(如整行漏读),LCS 对齐能否覆盖,论文没有讨论。

写在最后

这篇论文最值得借鉴的不是 OCR,而是**「SFT 之后的残差,用自博弈来收割」这个范式**:把 SPIN / DPO 那套偏好优化,从「整篇好坏」细化到「token 级错位」。

另一个反直觉的结论是:域内刷榜最好的方案(3.8B 全参、CER 0.98)未必是好的部署选择;在垂直能力上加装一个小模块,反而保住了主干的泛化底座。

我的判断是:错题本 + 自博弈会成为文档类模型的标准后训练配方,最诱人的不是精度,是 30k 页干翻 120k 页的性价比。

相关阅读

文中链接

整理自本文的外部链接,请以来源页面说明为准。

SFT 后再涨 54%:OPPO 的 OCR 错题本 · 阿凡达博客