梯度压缩

L-GreCo：面向高效精准深度学习的逐层自适应梯度压缩 featured image
组会

L-GreCo：面向高效精准深度学习的逐层自适应梯度压缩

将逐层压缩参数选择建模为受约束优化问题并通过动态规划求解，在同等精度下实现最高 5.2 倍的梯度压缩率，显著缓解分布式训练的通信瓶颈。

avatar
李佳琦
•
阅读更多
分布式训练

分布式机器学习与系统优化

分布式深度学习通信优化、异构GPU集群调度与大规模训练加速。

阅读更多