大模型压缩与高效推理
2025年1月1日
·
1 分钟阅读时长
概述
我们围绕大语言模型（LLM）的资源高效部署，系统研究模型压缩与高效推理技术，重点面向国产高性能算力芯片（如海光DCU）进行适配与优化，为大规模AI应用的落地提供国产化支撑。
研究方向
- 训练后量化（PTQ）：基于敏感度指导的权重量化方法，在低比特下保持模型精度
- 梯度稀疏化通信：低比特稀疏梯度压缩算法，带收敛保证的分布式训练加速
- 模型微调优化：参数高效微调（PEFT）策略，降低大模型适配成本
- 国产芯片适配：面向海光DCU等国产加速器的算子优化与算电融合技术
- 推理加速框架：特定领域语言（DSL）设计与编译器优化
代表性成果
- 提出基于敏感度指导的训练后量化方法，在多种主流LLM上实现优异的低比特量化效果
- 提出低比特稀疏梯度通信算法（ICPP 2026），具有严格收敛保证
- 提出 SelCo 选择性共置多模态训练框架，显著提升异构集群训练效率
- 承担"面向超大规模国产算力集群的大模型训练优化加速关键技术研究及示范应用"等重大项目
- 开展海光DCU模型训练优化专项研究