@article{WangZhaoYuanJiYuMinGanDuZhiDaoDeXunLianHouLiangHuaFangFa2026,
	title = {基于敏感度指导的训练后量化方法},
	volume = {36},
	issn = {1673-629X},
	url = {https://link.cnki.net/doi/10.20165/j.cnki.ISSN1673-629X.2025.0223},
	doi = {10.20165/j.cnki.ISSN1673-629X.2025.0223},
	abstract = {随着大型语言模型(LLM)在问答、翻译、代码生成等自然语言处理任务中的广泛应用，其对计算资源和存储空间的消耗迅速增长，严重制约了其在边缘设备或低资源环境中的部署。为此，本研究提出了一种新的敏感度指导的训练后量化方法(Sensitivity-Guided Post-Training Quantization, SGPTQ),旨在保持模型精度的同时，显著降低内存与计算开销。SGPTQ主要通过两项关键机制提升量化效果：首先，提出一种模块敏感度指导的自适应平滑策略，根据模型不同层对量化误差的敏感程度以及激活特征，动态调整权重平滑系数，从而有效减缓量化导致的精度退化；其次，引入非线性伪量化指导机制，先通过高位伪量化获取权重敏感度，再据此指导后续的低位量化决策，避免传统低位量化过程中出现的精度突降问题。SGPTQ采用渐进式两阶段量化策略，实现更稳定且精度更高的压缩过程。在多个主流模型和数据集上进行的推理实验表明，SGPTQ在保持模型推理性能方面优于现有的经典量化方法，尤其在3-bit权重压缩场景下表现更为显著，为边缘设备高效部署LLM提供了实用解决方案。},
	language = {zh-CN},
	number = {1},
	journal = {计算机技术与发展},
	author = {{王招元} and {王铁军} and {石梦茹}},
	year = {2026},
	keywords = {大语言模型, 边缘设备, 敏感度指导, 训练后量化, 自适应平滑},
	pages = {105--113},
}