剪枝

DLP:面向大语言模型的动态层级剪枝 featured image

DLP:面向大语言模型的动态层级剪枝

面向大语言模型的动态层级剪枝方法,用权重与激活的中位数度量层不重要性并生成相对重要性分布,动态分配各层稀疏率,在 70% 稀疏率下显著优于 Uniform 与 OWL。

肖洋
•
LLM-Streamline:精简冗余层以压缩大语言模型 featured image

LLM-Streamline:精简冗余层以压缩大语言模型

面向大语言模型的层级剪枝与轻量替代方法,用输入输出 hidden states 的余弦相似度定位连续冗余层,并训练轻量 FFN 替代被剪层段,在约 25% 剪枝率下保留原模型约 93% 的分类能力。

肖洋
•