分布式机器学习与系统优化
2025年1月1日
·
1 分钟阅读时长
概述
我们面向大规模深度学习训练场景，研究分布式机器学习系统的通信效率优化、资源调度与异构计算协同问题，致力于在有限硬件资源下最大化训练吞吐量和收敛效率。
研究方向
- 梯度通信优化：基于 AlltoAll 的稀疏梯度通信方法，大幅降低分布式训练的通信开销
- 异构GPU集群调度：面向多目标优化的在线异构GPU调度器
- 分布式训练框架：多模态大模型分布式训练的选择性共置策略
- 联邦学习优化：跨孤岛联邦学习中的社会福祉控制与激励机制
- 收敛性理论保证：为稀疏化与量化通信算法提供严格的收敛证明
代表性成果
- 提出 AlltoAll 稀疏梯度通信方法（ICPP 2024），加速分布式深度学习
- 提出低比特稀疏梯度通信算法（ICPP 2026），兼具压缩效率与收敛保证
- 提出异构GPU集群多目标在线调度器（ICIMCT 2025）
- 提出 SelCo 选择性共置多模态LLM训练框架
- 研究联邦学习缓存中的社会福祉控制与搭便车激励问题（ICASSP 2026）