模型压缩

ITQ3_S:高保真 3-bit 大语言模型推理 featured image

ITQ3_S:高保真 3-bit 大语言模型推理

面向大语言模型的高保真 3-bit 量化与推理框架,用快速沃尔什-哈达玛变换将重尾权重分布平滑为近似高斯分布,基于 Lloyd-Max 推导最优三值量化阈值,并把逆 FWHT 融合进 MMQ CUDA 核,避免去量化权重落到全局内存。

avatar
赵国凯
•
LLM-Streamline:精简冗余层以压缩大语言模型 featured image

LLM-Streamline:精简冗余层以压缩大语言模型

面向大语言模型的层级剪枝与轻量替代方法,用输入输出 hidden states 的余弦相似度定位连续冗余层,并训练轻量 FFN 替代被剪层段,在约 25% 剪枝率下保留原模型约 93% 的分类能力。

肖洋
•
FreeAct:释放大语言模型量化中的激活约束 featured image

FreeAct:释放大语言模型量化中的激活约束

放松 LLM 量化中激活与权重的"一对一"变换约束,激活侧采用动态多变换矩阵适配不同 Token 类型,权重侧保持单一静态变换,W4A4 下性能接近 FP16 且零额外部署开销。

avatar
汤浩
•

大模型压缩与高效推理

面向国产算力的大语言模型量化、稀疏化与高效推理技术。

国产高性能算力芯片研发 featured image

国产高性能算力芯片研发

基于海光DCU的智能模型训练框架的移植与优化。