参数高效微调

IGU-LoRA:基于梯度积分与不确定性感知评分的自适应秩分配方法 featured image

IGU-LoRA:基于梯度积分与不确定性感知评分的自适应秩分配方法

面向 LoRA 的自适应秩分配方法,用梯度积分(IG)替代瞬时梯度来评估参数重要性以缓解梯度饱和,并通过结合偏差追踪的指数移动平均构建不确定性感知评分,在 GLUE、BoolQ、GSM8K 等任务上优于 LoRA、AdaLoRA、DoRA 等基线。

avatar
杨渝梁
•
L2-LoRA:通过层特异性正则化改进低秩适配 featured image

L2-LoRA:通过层特异性正则化改进低秩适配

具备层感知能力的 LoRA 变体,基于因果追踪得到的层级知识分布 NAIE 为每层分配不同的 L2 正则化强度,对存储通用知识的低层强正则化以保护旧知识,对存储任务特定知识的高层弱正则化以学习新任务。

avatar
杨渝梁
•