轻量化复刻大模型:Linear Attention 与 Sparse Attention 梳理

Linear Attention 与 Sparse Attention 是压缩注意力的两条主线:前者改写注意力本身的计算方式,后者只挑选值得计算的位置。本文对照两条路线各自压缩了什么、怎么实现、工程上难在哪里。

文章目录

注意力是 Transformer 里最吃算力的模块之一。标准自注意力要让序列中的每个位置去和其余所有位置算一遍关联,序列一长,这块开销就按平方级膨胀,长上下文场景里往往先撞上显存和推理延迟的天花板。

于是“轻量化复刻大模型”成了近两年一条明确的技术脉络:不推翻注意力本身,而是想办法把它算得更省。这条脉络里最常被并列讨论的两支,就是 Linear Attention 与 Sparse Attention。本文按原始梳理的思路,把这两条路线各自压缩了什么、怎么压缩、代价在哪里摆开讲清楚——它们名字相近,动的却是完全不同的两个部位。

1、为什么要给注意力“瘦身”

1、为什么要给注意力“瘦身”(AI 生成示意图)

1、为什么要给注意力“瘦身” · AI 生成示意图

标准注意力的开销来自注意力矩阵本身:n 个位置两两算分,这份中间结果的规模就随序列长度按平方级增长。工程与研究上的解压思路,可以粗暴地分成两类——一类是改写计算本身,让这份矩阵不再需要被显式构造;另一类是保留计算形态,只挑选一部分位置来算。

Linear Attention 属于前者,Sparse Attention 属于后者。下面这张表先把两条路线放在一起对照,后面再逐条展开。

对比维度 Linear Attention Sparse Attention
核心动作 改写注意力的计算方式 挑选允许被关注的位置
压缩对象 注意力矩阵这类中间量 参与计算的位置数量
关键机制 特征映射 φ(·) + 结合律重排 块级掩码、局部加全局、内容相关选块
输出形态 与序列长度同阶的注意力输出 与序列长度同阶的注意力输出
信息取舍 近似替换 softmax 带来的表达差异 丢弃部分位置带来的信息损失
实现难点 特征映射的选择、归一化位置、数值稳定性 不规则访存、算子与并行切分效率
直觉 从根上换一套更省的算法规律 在现有框架上少算一部分

2、Linear Attention:改写注意力本身

Linear Attention 的核心动作是重排计算顺序。标准写法是先算 Q 与 K 的两两分数、过一遍 softmax、再对 V 加权;重排之后可以写成 φ(Q)·(φ(K)ᵀV) 的形式,其中 φ 是逐元素的特征映射。这样就能用上矩阵乘法的结合律:先把 K 侧的信息沿序列维度聚合成一个与序列长度同阶的中间状态,再与 Q 侧相乘,中途不再生成那份 n×n 的注意力矩阵。

写成代码更直观。下面是计算形状层面的示意:

import torch

def linear_attention(q, k, v, feature_fn=None):
    """
    线性注意力计算示意(通用表达,非某篇具体论文的官方实现)
    q, k: [B, H, N, D]
    v:    [B, H, N, Dv]
    示意思路:把注意力改写成 phi(q) @ (phi(k)^T @ v),不显式生成 N×N 的注意力矩阵
    """
    if feature_fn is None:
        feature_fn = torch.nn.functional.elu  # 逐元素非线性特征映射(示意)
    phi_q = feature_fn(q)                            # [B, H, N, D]
    phi_k = feature_fn(k)                            # [B, H, N, D]
    kv = torch.einsum('bhnd,bhne->bhde', phi_k, v)   # 先沿序列聚合:与序列长度同阶
    out = torch.einsum('bhnd,bhde->bhne', phi_q, kv) # 再与查询相乘:与序列长度同阶
    return out

需要留意的是,这个改写并非无条件等价。softmax 的归一化作用被特征映射部分替代,输出通常还要补一个归一化因子,因此多数实现属于近似而非恒等变换。特征映射选什么、归一化放在哪、数值稳定性怎么保证,是这类实现里最容易出问题的地方;一旦跑通,收益是结构性的——注意力的中间状态与序列长度同阶,天然适配更长的序列。

3、Sparse Attention:只算值得算的位置

Sparse Attention 不改公式的形状,只改“谁能被看见”:每个 query 不再遍历全部 key,而是被分配到一个被选中的子集,掩码之外的分数直接不算。常见的选法大致有三类。

  • 块级稀疏:把序列切成块,按块决定算与不算,兼顾访存效率;
  • 局部加全局:窗口内的近邻负责局部信息,再留少量全局位置承担长程信息传递;
  • 内容相关:由内容本身决定看谁,更灵活,但选择本身的成本也要算进账里。

块级掩码的示意写法:

import torch

def block_sparse_mask(n_tokens, block=16, n_local_blocks=1, device=None):
    """
    稀疏注意力的块级掩码示意(通用表达)
    生成块级稀疏掩码:只允许每个 query 关注所在块及其前 n_local_blocks 个块
    返回 True 表示该 (query, key) 位置允许被关注
    """
    q_blk = torch.arange(n_tokens, device=device) // block
    k_blk = torch.arange(n_tokens, device=device) // block
    diff = k_blk.unsqueeze(0) - q_blk.unsqueeze(1)   # [N, N] 块级距离
    allowed = (diff >= 0) & (diff < n_local_blocks)  # 只保留对角带状区域
    return allowed

稀疏路线的工程难点集中在访存上:省下来的算子如果对应不上更规整的内存访问,理论上省下的开销会被搬运成本吃掉。所以实现这类方法时,算子支持、并行切分策略往往比公式本身更能决定实际收益。

4、两条路线放在一起对照

回到开头那张表,还可以再补三点观察。

  • 压缩的对象不同:Linear Attention 压缩的是“注意力矩阵这类中间量”,Sparse Attention 压缩的是“参与计算的位置数量”。一个在做减法,一个在做减项。
  • 理论上可以叠加:两者作用在不同层面——先在块级别做稀疏筛选,再在选中的块内用线性形式聚合,是一条说得通、也被反复尝试过的组合思路。
  • 评估维度不同:Linear Attention 更需要盯住近似带来的质量损失与训练稳定性;Sparse Attention 更需要盯住稀疏模式是否真的覆盖了任务需要的信息,以及算子能否吃得下真实吞吐。

写在最后

Linear Attention 与 Sparse Attention 是同一个愿望下的两种不同答案:一个动公式,一个动位置。前者更像一次算法层面的改写,收益结构化,但对实现与数值细节要求高;后者更像一次工程与模式层面的裁剪,思路直观,但要面对访存与覆盖度的现实。选哪条路,取决于你的模型要多长、显存有多紧、以及你能承受多大的改造成本。原始梳理把这两条线讲得比较细,配合上面的示意代码先跑一遍、把张量形状和量级建立起来,再去读具体工作的实现与实验设定,会比直接啃论文轻松不少。

相关阅读

  • 原始梳理:轻量化复刻大模型 —— Linear Attention 与 Sparse Attention 梳理(掘金):https://juejin.cn/post/7701924631909400576
  • 可以顺带了解的方向:核与特征映射的近似计算、块级稀疏与访存优化、线性递推与状态空间视角的注意力、长上下文评测基准(各方向的结论请以对应原论文与官方代码为准)
  • 想动手:给上面两个示意函数补上形状断言与随机输入,跑一遍就能直观看到中间张量规模的变化,再对照标准注意力的实现感受差异

文中链接

整理自本文的外部链接,请以来源页面说明为准。

轻量化复刻大模型:Linear Attention 与 Sparse Attention 梳理 · 阿凡达博客