IGU-LoRA:基于梯度积分与不确定性感知评分的自适应秩分配方法
面向 LoRA 的自适应秩分配方法,用梯度积分(IG)替代瞬时梯度来评估参数重要性以缓解梯度饱和,并通过结合偏差追踪的指数移动平均构建不确定性感知评分,在 GLUE、BoolQ、GSM8K 等任务上优于 LoRA、AdaLoRA、DoRA 等基线。
面向 LoRA 的自适应秩分配方法,用梯度积分(IG)替代瞬时梯度来评估参数重要性以缓解梯度饱和,并通过结合偏差追踪的指数移动平均构建不确定性感知评分,在 GLUE、BoolQ、GSM8K 等任务上优于 LoRA、AdaLoRA、DoRA 等基线。
具备层感知能力的 LoRA 变体,基于因果追踪得到的层级知识分布 NAIE 为每层分配不同的 L2 正则化强度,对存储通用知识的低层强正则化以保护旧知识,对存储任务特定知识的高层弱正则化以学习新任务。