AI 前沿
AI 前沿
轻量化复刻大模型:Linear Attention 与 Sparse Attention 梳理
Linear Attention 与 Sparse Attention 是压缩注意力的两条主线:前者改写注意力本身的计算方式,后者只挑选值得计算的位置。本文对照两条路线各自压缩了什么、怎么实现、工程上难在哪里。
同一主题下的文章、视频与资源。
Linear Attention 与 Sparse Attention 是压缩注意力的两条主线:前者改写注意力本身的计算方式,后者只挑选值得计算的位置。本文对照两条路线各自压缩了什么、怎么实现、工程上难在哪里。