ITQ3_S:高保真 3-bit 大语言模型推理
面向大语言模型的高保真 3-bit 量化与推理框架,用快速沃尔什-哈达玛变换将重尾权重分布平滑为近似高斯分布,基于 Lloyd-Max 推导最优三值量化阈值,并把逆 FWHT 融合进 MMQ CUDA 核,避免去量化权重落到全局内存。
面向大语言模型的高保真 3-bit 量化与推理框架,用快速沃尔什-哈达玛变换将重尾权重分布平滑为近似高斯分布,基于 Lloyd-Max 推导最优三值量化阈值,并把逆 FWHT 融合进 MMQ CUDA 核,避免去量化权重落到全局内存。
面向大语言模型的层级剪枝与轻量替代方法,用输入输出 hidden states 的余弦相似度定位连续冗余层,并训练轻量 FFN 替代被剪层段,在约 25% 剪枝率下保留原模型约 93% 的分类能力。
放松 LLM 量化中激活与权重的"一对一"变换约束,激活侧采用动态多变换矩阵适配不同 Token 类型,权重侧保持单一静态变换,W4A4 下性能接近 FP16 且零额外部署开销。