近期学术活动

FreeAct:释放大语言模型量化中的激活约束 featured image

FreeAct:释放大语言模型量化中的激活约束

放松 LLM 量化中激活与权重的"一对一"变换约束,激活侧采用动态多变换矩阵适配不同 Token 类型,权重侧保持单一静态变换,W4A4 下性能接近 FP16 且零额外部署开销。

avatar
汤浩
•
MemMat-YOLOX:一种面向DR视频图像的焊缝缺陷智能检测方法 featured image

MemMat-YOLOX:一种面向DR视频图像的焊缝缺陷智能检测方法

面向DR视频焊缝缺陷的智能检测方法,通过MatrixNets、DP-FMAM和多头注意力机制,提升小尺度与大长宽比缺陷的检测能力。

陈柏彤
•
SparseLoCo:面向大模型预训练的稀疏化通信高效分布式训练 featured image

SparseLoCo:面向大模型预训练的稀疏化通信高效分布式训练

在 DiLoCo 低频同步框架之上,对伪梯度进行 Top-k 稀疏化与 2-bit 量化,并结合误差反馈,显著降低大模型预训练的分布式通信开销。

avatar
李佳琦
•