轻量化复刻大模型:Linear Attention 与 Sparse Attention 梳理
Linear Attention 与 Sparse Attention 是压缩注意力的两条主线:前者改写注意力本身的计算方式,后者只挑选值得计算的位置。本文对照两条路线各自压缩了什么、怎么实现、工程上难在哪里。
文章目录
注意力是 Transformer 里最吃算力的模块之一。标准自注意力要让序列中的每个位置去和其余所有位置算一遍关联,序列一长,这块开销就按平方级膨胀,长上下文场景里往往先撞上显存和推理延迟的天花板。
于是“轻量化复刻大模型”成了近两年一条明确的技术脉络:不推翻注意力本身,而是想办法把它算得更省。这条脉络里最常被并列讨论的两支,就是 Linear Attention 与 Sparse Attention。本文按原始梳理的思路,把这两条路线各自压缩了什么、怎么压缩、代价在哪里摆开讲清楚——它们名字相近,动的却是完全不同的两个部位。
1、为什么要给注意力“瘦身”
1、为什么要给注意力“瘦身” · AI 生成示意图
标准注意力的开销来自注意力矩阵本身:n 个位置两两算分,这份中间结果的规模就随序列长度按平方级增长。工程与研究上的解压思路,可以粗暴地分成两类——一类是改写计算本身,让这份矩阵不再需要被显式构造;另一类是保留计算形态,只挑选一部分位置来算。
Linear Attention 属于前者,Sparse Attention 属于后者。下面这张表先把两条路线放在一起对照,后面再逐条展开。
| 对比维度 | Linear Attention | Sparse Attention |
|---|---|---|
| 核心动作 | 改写注意力的计算方式 | 挑选允许被关注的位置 |
| 压缩对象 | 注意力矩阵这类中间量 | 参与计算的位置数量 |
| 关键机制 | 特征映射 φ(·) + 结合律重排 | 块级掩码、局部加全局、内容相关选块 |
| 输出形态 | 与序列长度同阶的注意力输出 | 与序列长度同阶的注意力输出 |
| 信息取舍 | 近似替换 softmax 带来的表达差异 | 丢弃部分位置带来的信息损失 |
| 实现难点 | 特征映射的选择、归一化位置、数值稳定性 | 不规则访存、算子与并行切分效率 |
| 直觉 | 从根上换一套更省的算法规律 | 在现有框架上少算一部分 |
2、Linear Attention:改写注意力本身
Linear Attention 的核心动作是重排计算顺序。标准写法是先算 Q 与 K 的两两分数、过一遍 softmax、再对 V 加权;重排之后可以写成 φ(Q)·(φ(K)ᵀV) 的形式,其中 φ 是逐元素的特征映射。这样就能用上矩阵乘法的结合律:先把 K 侧的信息沿序列维度聚合成一个与序列长度同阶的中间状态,再与 Q 侧相乘,中途不再生成那份 n×n 的注意力矩阵。
写成代码更直观。下面是计算形状层面的示意:
import torch
def linear_attention(q, k, v, feature_fn=None):
"""
线性注意力计算示意(通用表达,非某篇具体论文的官方实现)
q, k: [B, H, N, D]
v: [B, H, N, Dv]
示意思路:把注意力改写成 phi(q) @ (phi(k)^T @ v),不显式生成 N×N 的注意力矩阵
"""
if feature_fn is None:
feature_fn = torch.nn.functional.elu # 逐元素非线性特征映射(示意)
phi_q = feature_fn(q) # [B, H, N, D]
phi_k = feature_fn(k) # [B, H, N, D]
kv = torch.einsum('bhnd,bhne->bhde', phi_k, v) # 先沿序列聚合:与序列长度同阶
out = torch.einsum('bhnd,bhde->bhne', phi_q, kv) # 再与查询相乘:与序列长度同阶
return out
需要留意的是,这个改写并非无条件等价。softmax 的归一化作用被特征映射部分替代,输出通常还要补一个归一化因子,因此多数实现属于近似而非恒等变换。特征映射选什么、归一化放在哪、数值稳定性怎么保证,是这类实现里最容易出问题的地方;一旦跑通,收益是结构性的——注意力的中间状态与序列长度同阶,天然适配更长的序列。
3、Sparse Attention:只算值得算的位置
Sparse Attention 不改公式的形状,只改“谁能被看见”:每个 query 不再遍历全部 key,而是被分配到一个被选中的子集,掩码之外的分数直接不算。常见的选法大致有三类。
- 块级稀疏:把序列切成块,按块决定算与不算,兼顾访存效率;
- 局部加全局:窗口内的近邻负责局部信息,再留少量全局位置承担长程信息传递;
- 内容相关:由内容本身决定看谁,更灵活,但选择本身的成本也要算进账里。
块级掩码的示意写法:
import torch
def block_sparse_mask(n_tokens, block=16, n_local_blocks=1, device=None):
"""
稀疏注意力的块级掩码示意(通用表达)
生成块级稀疏掩码:只允许每个 query 关注所在块及其前 n_local_blocks 个块
返回 True 表示该 (query, key) 位置允许被关注
"""
q_blk = torch.arange(n_tokens, device=device) // block
k_blk = torch.arange(n_tokens, device=device) // block
diff = k_blk.unsqueeze(0) - q_blk.unsqueeze(1) # [N, N] 块级距离
allowed = (diff >= 0) & (diff < n_local_blocks) # 只保留对角带状区域
return allowed
稀疏路线的工程难点集中在访存上:省下来的算子如果对应不上更规整的内存访问,理论上省下的开销会被搬运成本吃掉。所以实现这类方法时,算子支持、并行切分策略往往比公式本身更能决定实际收益。
4、两条路线放在一起对照
回到开头那张表,还可以再补三点观察。
- 压缩的对象不同:Linear Attention 压缩的是“注意力矩阵这类中间量”,Sparse Attention 压缩的是“参与计算的位置数量”。一个在做减法,一个在做减项。
- 理论上可以叠加:两者作用在不同层面——先在块级别做稀疏筛选,再在选中的块内用线性形式聚合,是一条说得通、也被反复尝试过的组合思路。
- 评估维度不同:Linear Attention 更需要盯住近似带来的质量损失与训练稳定性;Sparse Attention 更需要盯住稀疏模式是否真的覆盖了任务需要的信息,以及算子能否吃得下真实吞吐。
写在最后
Linear Attention 与 Sparse Attention 是同一个愿望下的两种不同答案:一个动公式,一个动位置。前者更像一次算法层面的改写,收益结构化,但对实现与数值细节要求高;后者更像一次工程与模式层面的裁剪,思路直观,但要面对访存与覆盖度的现实。选哪条路,取决于你的模型要多长、显存有多紧、以及你能承受多大的改造成本。原始梳理把这两条线讲得比较细,配合上面的示意代码先跑一遍、把张量形状和量级建立起来,再去读具体工作的实现与实验设定,会比直接啃论文轻松不少。
相关阅读
- 原始梳理:轻量化复刻大模型 —— Linear Attention 与 Sparse Attention 梳理(掘金):https://juejin.cn/post/7701924631909400576
- 可以顺带了解的方向:核与特征映射的近似计算、块级稀疏与访存优化、线性递推与状态空间视角的注意力、长上下文评测基准(各方向的结论请以对应原论文与官方代码为准)
- 想动手:给上面两个示意函数补上形状断言与随机输入,跑一遍就能直观看到中间张量规模的变化,再对照标准注意力的实现感受差异
文中链接
整理自本文的外部链接,请以来源页面说明为准。