自动并行

Alpa:面向分布式深度学习的算子间与算子内并行自动化 featured image

Alpa:面向分布式深度学习的算子间与算子内并行自动化

面向分布式深度学习的自动并行系统,将算子内并行与算子间并行统一到一个分层搜索空间中,用动态规划划分流水线阶段、用整数线性规划求解算子内切分方案,可跨模型结构与集群拓扑泛化。

avatar
姚浩
•