https://www.acal.org.cn/tags/%E6%A2%AF%E5%BA%A6%E5%8E%8B%E7%BC%A9/梯度压缩HugoBlox Kit (https://hugoblox.com)zh-HansWed, 22 Jul 2026 00:00:00 +0000https://www.acal.org.cn/media/logo_hu_9c369f2c5735daea.pnghttps://www.acal.org.cn/tags/%E6%A2%AF%E5%BA%A6%E5%8E%8B%E7%BC%A9/https://www.acal.org.cn/events/l-greco/Wed, 22 Jul 2026 00:00:00 +0000https://www.acal.org.cn/events/l-greco/<!-- Add the talk outline, prerequisites, and how people can join. -->https://www.acal.org.cn/research/distributed-ml/Wed, 01 Jan 2025 00:00:00 +0000https://www.acal.org.cn/research/distributed-ml/<h2 id="概述">概述</h2> <p>我们面向大规模深度学习训练场景，研究分布式机器学习系统的通信效率优化、资源调度与异构计算协同问题，致力于在有限硬件资源下最大化训练吞吐量和收敛效率。</p> <h2 id="研究方向">研究方向</h2> <ul> <li><strong>梯度通信优化</strong>：基于 AlltoAll 的稀疏梯度通信方法，大幅降低分布式训练的通信开销</li> <li><strong>异构GPU集群调度</strong>：面向多目标优化的在线异构GPU调度器</li> <li><strong>分布式训练框架</strong>：多模态大模型分布式训练的选择性共置策略</li> <li><strong>联邦学习优化</strong>：跨孤岛联邦学习中的社会福祉控制与激励机制</li> <li><strong>收敛性理论保证</strong>：为稀疏化与量化通信算法提供严格的收敛证明</li> </ul> <h2 id="代表性成果">代表性成果</h2> <ul> <li>提出 AlltoAll 稀疏梯度通信方法（ICPP 2024），加速分布式深度学习</li> <li>提出低比特稀疏梯度通信算法（ICPP 2026），兼具压缩效率与收敛保证</li> <li>提出异构GPU集群多目标在线调度器（ICIMCT 2025）</li> <li>提出 SelCo 选择性共置多模态LLM训练框架</li> <li>研究联邦学习缓存中的社会福祉控制与搭便车激励问题（ICASSP 2026）</li> </ul>