量化

FreeAct:释放大语言模型量化中的激活约束 featured image

FreeAct:释放大语言模型量化中的激活约束

放松 LLM 量化中激活与权重的"一对一"变换约束,激活侧采用动态多变换矩阵适配不同 Token 类型,权重侧保持单一静态变换,W4A4 下性能接近 FP16 且零额外部署开销。

avatar
汤浩
•

大模型压缩与高效推理

面向国产算力的大语言模型量化、稀疏化与高效推理技术。

国产高性能算力芯片研发 featured image

国产高性能算力芯片研发

基于海光DCU的智能模型训练框架的移植与优化。