多模态训练

Cornstarch:面向多模态大模型的高效分布式训练系统 featured image

Cornstarch:面向多模态大模型的高效分布式训练系统

面向多模态大模型训练的分布式系统,感知层冻结状态以消除流水线气泡,并为混合注意力模式设计跨 GPU 与 GPU 内的 token 工作负载均衡上下文并行,同时自适应地将模态编码器与 LLM 并行配置组合以最大化吞吐。

avatar
姚浩
•
DIP:面向大模型多模态训练的动态交错流水线系统 featured image

DIP:面向大模型多模态训练的动态交错流水线系统

面向 LMM 训练的动态交错流水线系统,通过模态分离切分消除段内不均衡、按模态拆分子微批次缓解段间不均衡,并用基于 MCTS 的调度搜索器与代价模拟器在线寻找近似最优流水线调度,在 GPU 训练的同时完成搜索而不拖慢训练。

avatar
姚浩
•