近期学术活动

面向深度学习集群的资源异构感知与利用率增强调度 featured image

面向深度学习集群的资源异构感知与利用率增强调度

面向 GPU 深度学习集群的增强型异构感知调度器,通过动态规划在线分配把训练作业分叉到多个节点上执行,相比 Hadar 与 Gavel 显著提升集群资源利用率并缩短作业完成时间。

avatar
梁汝带
•
SpinQuant:基于可学习旋转的大语言模型量化 featured image

SpinQuant:基于可学习旋转的大语言模型量化

利用 Transformer 残差流的旋转不变性,将旋转矩阵作为可训练参数学习,以打散激活与权重中的异常值分布,相比随机 Hadamard 旋转显著降低量化误差并提升低比特量化精度。

avatar
汤浩
•
多维感知与智能决策:从单一视觉盲区到多传感器时空孪生 featured image

多维感知与智能决策:从单一视觉盲区到多传感器时空孪生

面向机器人激光定向能量沉积的多传感器融合数字孪生方法,融合同轴视觉、SWIR热场与声学传感,突破单一模态感知盲区,实现位置特异性质量预测。

陈柏彤
•
R2Q:基于残差精细量化的鲁棒 2 比特大语言模型 featured image

R2Q:基于残差精细量化的鲁棒 2 比特大语言模型

将 2 比特量化过程分解为两次连续的 1 比特量化,形成自适应量化格网,显著缓解大语言模型在超低比特下的精度损失。

avatar
李佳琦
•
基于敏感度指导的训练后量化方法 featured image

基于敏感度指导的训练后量化方法

高效的模型压缩技术,如何在降低资源开销的同时维持模型泛化能力。

avatar
王招元
•
L2-LoRA:通过层特异性正则化改进低秩适配 featured image

L2-LoRA:通过层特异性正则化改进低秩适配

具备层感知能力的 LoRA 变体,基于因果追踪得到的层级知识分布 NAIE 为每层分配不同的 L2 正则化强度,对存储通用知识的低层强正则化以保护旧知识,对存储任务特定知识的高层弱正则化以学习新任务。

avatar
杨渝梁
•
ITQ3_S:高保真 3-bit 大语言模型推理 featured image

ITQ3_S:高保真 3-bit 大语言模型推理

面向大语言模型的高保真 3-bit 量化与推理框架,用快速沃尔什-哈达玛变换将重尾权重分布平滑为近似高斯分布,基于 Lloyd-Max 推导最优三值量化阈值,并把逆 FWHT 融合进 MMQ CUDA 核,避免去量化权重落到全局内存。

avatar
赵国凯
•
Alpa:面向分布式深度学习的算子间与算子内并行自动化 featured image

Alpa:面向分布式深度学习的算子间与算子内并行自动化

面向分布式深度学习的自动并行系统,将算子内并行与算子间并行统一到一个分层搜索空间中,用动态规划划分流水线阶段、用整数线性规划求解算子内切分方案,可跨模型结构与集群拓扑泛化。

avatar
姚浩
•
LLM-Streamline:精简冗余层以压缩大语言模型 featured image

LLM-Streamline:精简冗余层以压缩大语言模型

面向大语言模型的层级剪枝与轻量替代方法,用输入输出 hidden states 的余弦相似度定位连续冗余层,并训练轻量 FFN 替代被剪层段,在约 25% 剪枝率下保留原模型约 93% 的分类能力。

肖洋
•
UNISCHED:面向异构用户需求的深度学习训练作业统一调度器 featured image

UNISCHED:面向异构用户需求的深度学习训练作业统一调度器

面向 GPU 集群的统一调度系统,通过 Estimator 与 Selector 组件和基于租约的执行机制,同时覆盖严格/软 SLO 与尽力而为作业的调度时延需求,以及迭代/性能两类停止条件。

avatar
梁汝带
•