FreeAct:释放大语言模型量化中的激活约束
放松 LLM 量化中激活与权重的"一对一"变换约束,激活侧采用动态多变换矩阵适配不同 Token 类型,权重侧保持单一静态变换,W4A4 下性能接近 FP16 且零额外部署开销。
放松 LLM 量化中激活与权重的"一对一"变换约束,激活侧采用动态多变换矩阵适配不同 Token 类型,权重侧保持单一静态变换,W4A4 下性能接近 FP16 且零额外部署开销。
面向DR视频焊缝缺陷的智能检测方法,通过MatrixNets、DP-FMAM和多头注意力机制,提升小尺度与大长宽比缺陷的检测能力。
在 DiLoCo 低频同步框架之上,对伪梯度进行 Top-k 稀疏化与 2-bit 量化,并结合误差反馈,显著降低大模型预训练的分布式通信开销。