Cornstarch:面向多模态大模型的高效分布式训练系统
面向多模态大模型训练的分布式系统,感知层冻结状态以消除流水线气泡,并为混合注意力模式设计跨 GPU 与 GPU 内的 token 工作负载均衡上下文并行,同时自适应地将模态编码器与 LLM 并行配置组合以最大化吞吐。
面向多模态大模型训练的分布式系统,感知层冻结状态以消除流水线气泡,并为混合注意力模式设计跨 GPU 与 GPU 内的 token 工作负载均衡上下文并行,同时自适应地将模态编码器与 LLM 并行配置组合以最大化吞吐。
面向 LMM 训练的动态交错流水线系统,通过模态分离切分消除段内不均衡、按模态拆分子微批次缓解段间不均衡,并用基于 MCTS 的调度搜索器与代价模拟器在线寻找近似最优流水线调度,在 GPU 训练的同时完成搜索而不拖慢训练。