TEAL：无训练激活稀疏加速大模型推理
面向大模型推理的无训练激活稀疏方法，通过分位数阈值裁剪低幅值激活、块级贪心分配稀疏预算，在约 50% 稀疏度下保持高精度并实现单 batch 解码 1.5-1.8× 加速，且与权重量化正交可叠加。
肖洋
•
2026年8月26日 08:30 — 09:15
•
1 分钟阅读时长
面向大模型推理的无训练激活稀疏方法，通过分位数阈值裁剪低幅值激活、块级贪心分配稀疏预算，在约 50% 稀疏度下保持高精度并实现单 batch 解码 1.5-1.8× 加速，且与权重量化正交可叠加。