D²Quant：面向大语言模型的低比特权重量化方法
面向大语言模型 sub-4-bit 权重量化，通过 Dual-Scale Quantizer 为 down-projection 引入额外列缩放，并用 Deviation-Aware Correction 校正 post-attention LayerNorm 的均值偏移，在 Qwen-3 与 LLaMA-3 系列上显著提升 2-bit 量化精度。
肖洋
•
2026年8月25日 08:30 — 09:15
•
1 分钟阅读时长
QPO：基于量化与流水线加速的显存高效 DNN 训练
面向显存高效 DNN 训练，将量化卸载与流水线预取结合，让数据传输与前后向计算重叠，缓解 CPU-GPU 通信瓶颈。
TD-PTQ：训练动力学对训练后量化鲁棒性的影响
重新审视训练数据量增加导致量化退化的现象，指出其本质是训练动力学（学习率调度与损失景观平坦度）所致，并给出提高峰值学习率、采用 WSD 调度以及权重平均（LAWA、Model Soup）等策略，显著提升 3-bit/4-bit PTQ 的鲁棒性。
QEP：量化误差传播 —— 重新审视逐层训练后量化
重新审视逐层 PTQ 的框架，显式建模跨层量化误差传播，利用上游累积的激活量化误差对当前层权重做补偿矫正，并通过可控缩放因子抑制过拟合，在 Llama 与 Mistral 系列上 INT2/INT3/INT4 精度均优于 RTN、GPTQ、AWQ 与 QuIP。
AGoQ：面向大模型训练的内存高效激活-梯度-优化器量化框架
面向 LLM 训练的系统级低比特框架，联合压缩激活存储、梯度存储与梯度通信，只对误差最敏感的操作保持高精度，显著降低训练显存与 DP 通信开销。
GLVQ：面向低比特大语言模型压缩的分组格型矢量量化器
面向低比特 LLM 压缩的分组格型矢量量化方法，先按权重显著性用 SDBA 自适应分配比特，再为每个权重组学习生成矩阵与组专属压扩参数，通过 Babai 格型取整与基于校准输入的端到端重构误差优化码本，在 Llama 系列上优于 OmniQ、QuIP#、QTIP 等基线。
SpinQuant：基于可学习旋转的大语言模型量化
利用 Transformer 残差流的旋转不变性，将旋转矩阵作为可训练参数学习，以打散激活与权重中的异常值分布，相比随机 Hadamard 旋转显著降低量化误差并提升低比特量化精度。
R2Q：基于残差精细量化的鲁棒 2 比特大语言模型
将 2 比特量化过程分解为两次连续的 1 比特量化，形成自适应量化格网，显著缓解大语言模型在超低比特下的精度损失。
ITQ3_S：高保真 3-bit 大语言模型推理
面向大语言模型的高保真 3-bit 量化与推理框架，用快速沃尔什-哈达玛变换将重尾权重分布平滑为近似高斯分布，基于 Lloyd-Max 推导最优三值量化阈值，并把逆 FWHT 融合进 MMQ CUDA 核，避免去量化权重落到全局内存。