4D 并行

WLB-LLM:面向大语言模型训练的负载均衡 4D 并行方法 featured image

WLB-LLM:面向大语言模型训练的负载均衡 4D 并行方法

面向长上下文 LLM 训练的负载均衡型 4D 并行方法,通过在 PP 层做变长打包与 outlier delay、在 CP 层做 Per-Doc 分片与自适应选择,把调度单位从 token 数转向真实 workload,实现平均 1.23× 端到端加速且不改变收敛趋势。

avatar
杨渝梁
•