通信压缩

SparseLoCo：面向大模型预训练的稀疏化通信高效分布式训练

在 DiLoCo 低频同步框架之上，对伪梯度进行 Top-k 稀疏化与 2-bit 量化，并结合误差反馈，显著降低大模型预训练的分布式通信开销。

李佳琦

• 2026年3月18日 08:30 — 09:15 • 1 分钟阅读时长

阅读更多