ADL157《探讨DeepSeek的效率密码：高效机器学习》开启报名

朱军，清华大学计算机系Bosch AI教授、IEEE/AAAI Fellow、清华大学人工智能研究院副院长，生数科技/瑞莱智慧首席科学家，曾任卡内基梅隆大学兼职教授。2001-2009年获清华大学学士和博士学位，主要从事机器学习研究，担任国际著名期刊IEEE TPAMI的副主编，担任ICML、NeurIPS、ICLR等资深领域主席和最佳论文评审委员20余次。获中国科协求是杰出青年奖、科学探索奖、中国计算机学会自然科学一等奖、吴文俊人工智能自然科学一等奖、ICLR国际会议杰出论文奖等，入选国家高层次人才计划。指导的多位博士生获得CCF优秀博士论文、中国人工智能学会优秀博士论文、清华大学特等奖学金等。

陈键飞，清华大学计算机系准聘副教授。2010-2019年获清华大学学士和博士学位。从事高效机器学习研究，谷歌学术引用5000余次。担任IEEE TPAMI的副主编，担任ICLR等会议领域主席。获得CCF青年人才发展计划、清华大学学术新人奖，NOI 2009金牌等。

黄高，清华大学自动化系副教授，博士生导师。主要研究领域为深度学习与智能系统，提出了代表性深度卷积网络DenseNet。共计发表学术论文100余篇，被引8万余次，最高单篇引用超过5万次。获国家优青、CVPR最佳论文奖、达摩院青橙奖、世界人工智能大会SAIL奖、教育部自然科学一等奖、亚洲青年科学家奖、AI 2000人工智能最具影响力学者、MIT TR35等，担任IEEE T-PAMI、IEEE T-BD、Pattern Recognition等国际重要期刊编委和CVPR、ICCV、NeurIPS、ICML等人工智能顶级会议领域主席。

讲座题目：高效视觉Transformer架构

讲座摘要：基于Transformer架构的基础模型在计算机视觉与多模态学习领域得到广泛研究和应用。然而，Transformer中的自注意力机制关于输入序列长度具有二次方计算复杂度，这一特性导致模型在训练和推理过程中面临训练和推理时间长、显存开销大、容易过拟合等挑战。特别是在处理高分辨率图像和长视频时存在显著的计算瓶颈。针对上述问题，本报告将介绍如何利用空间动态计算的思想实现稀疏高效的自注意力计算，以及如何基于线性自注意力实现高效的长序列建模。上述工作为如何设计与训练高效的视觉和多模态大模型提供了新的思路与方法。

宁雪妃，清华大学助理研究员。2016年和2021年于清华大学电子工程系获得工学学士和工学博士学位。她从事高效深度学习算法研究，所研究技术包括模型压缩方法、模型架构设计方法、和生成模型的高效采样算法等。在机器学习、计算机视觉领域的顶级国际期刊和会议上发表论文30余篇，累积谷歌学术引用2100余次。她与导师汪玉教授合著出版了《高效深度学习-模型压缩与设计》书籍。她所带领小组网站为：https://nics-effalg.com/。

讲座题目：高效采样方法和模型压缩技术

讲座摘要：本次讲座将聚焦高效深度学习，涵盖从基础知识到前沿实践的多个方面。首先，讲座将介绍相关的软硬件基础知识，并梳理高效深度学习领域的方法框架，探讨开展相关研究的实践思路。随后，将分享我团队在提升语言与视觉生成模型推理效率方面的系列研究，并展望未来发展方向。讲座涉及的核心技术包括高效生成模型的采样算法以及模型压缩技术（量化、剪枝、注意力稀疏化、激活共享等）。

龚睿昊，商汤科技研究院模型工具链团队负责人。主要负责工业级模型工具链，包括大规模模型训练、多平台部署、模型压缩和软硬件协同技术体系。通过算法和工具实现规模化工业落地，支持智慧城市、智能驾驶、AIOT、手机场景等大量业务模型的模型生产，团队支撑了商量等商汤大模型体系的底层技术搭建，致力于ML+System的综合效率提升。在ICLR、NeuIPS、CVPR、ICCV、IJCV等期刊会议发表三十余篇论文，多次获得低功耗计算机视觉比赛LPCV冠军、无人机追逐赛亚军等奖项。

讲座题目：大模型系统工具及相关算法探索

讲座摘要：大模型时代的模型生产成本更加高昂，体系化的大模型工具链和系统对于提升模型迭代和研发效率至关重要，本报告将介绍商汤大模型工具团队在大模型工具和系统建设的实践经验，介绍LLMC压缩工具和LightLLM等推理部署工具，分析阐述相关算法创新与系统实现原理。

邓志杰，上海交通大学计算机学院助理教授，博士生导师。于清华大学计算机系取得博士和学士学位。主要研究方向为高效生成模型，以第一/通讯作者在ICML、NeurIPS、ICLR、CVPR等会议和期刊上发表学术论文近30篇，包括多篇Spotlight，代表工作包括在线推测解码OSD和一致性大语言模型CLLMs。获英伟达先锋研究奖等荣誉。主持国家自然科学基金、上海市科技创新行动计划、CCF-百川-英博大模型基金、CCF-智谱大模型创新基金等项目。

个人主页：thudzj.github.io

讲座题目：高效多模态生成：挑战、方法与应用

讲座摘要：以（视觉）语言模型、扩散模型为代表的多模态生成模型是当前人工智能领域的前沿热点，近期方法层面的创新已催化出如Chatbot、代码生成器、问题求解器、视频生成器等高价值应用。本报告将首先回顾多模态生成领域的发展现状，结合AGI的潜在实现路径，分析现有模型在效率方面面临的挑战，对典型解决方案进行系统性阐述，最后简要介绍高效多模态生成模型的典型应用。

韩旭，清华大学计算机系助理研究员，研究方向为人工智能、自然语言处理、大模型、智能计算系统，在国际顶级学术会议及期刊发表论文数十篇，Google Scholar他引11000余次，创建大模型开源社区OpenBMB，相关开源项目在全球最大开源社区Github上累计获得数万星标。曾获教育部自然科学一等奖(第三完成人)、世界互联网大会领先科技奖（第三完成人）、英特尔中国学术成就奖（第三完成人），入选中国计算机学会（CCF）优博激励计划、博士后创新人才支持计划、清华大学水木学者计划、清华大学优秀博士后。

讲座题目：从稠密到稀疏：迈向大模型高效训练推理的有效途径

讲座摘要：当前大模型普遍面临计算复杂度高、资源消耗大的问题，尤其是在资源受限场景上部署时，计算效率与模型能力之间的平衡成为关键挑战。通过结合大模型注意力机制和前馈神经网络的内生稀疏特性，用稀疏模块化模型架构取代传统稠密模型架构，可以在保持模型能力的同时显著降低模型计算复杂度。然而，如何有效利用这些内生稀疏特性，设计出既能压缩整体计算量又能保持模型能力的架构，仍是一个亟待解决的科学问题。本报告旨在介绍构建高能效稀疏模块化模型架构的有效方法，这类方法有助于兼顾大模型的高计算效率与高能力表现。

韩凯，现任华为诺亚方舟实验室专家研究员，博士毕业于中国科学院软件所，硕士和本科分别毕业于北京大学和浙江大学。其主要研究方向为深度学习和AI基础模型，特别是资源高效深度学习。已在AI领域顶会顶刊发表论文50余篇，谷歌学术累计被引1.6万余次，其中 GhostNet 和TNT入围PaperDigest最具影响力论文榜单。他还担任ICML、ICCV、ICLR、AAAI和ACMMM等顶会领域主席，入选斯坦福全球Top2%学者榜单。

讲座题目：端侧大模型：从架构设计、训练优化到推理加速

讲座摘要：近年来，大语言模型（LLMs）的发展趋势是通过增加模型规模（参数量）和数据规模来提升生成能力，这一点在诸如GPT和Llama等著名工作中得到了充分验证。然而，大规模模型往往伴随着巨大的计算和内存成本，而很多端侧应用场景（如手机、PC）往往无法承受如此高昂的代价。因此，如何构建高效而强大的LLM架构，针对规模较小的LLM如何训练，以及端侧大模型推理如何加速，都是对当下大模型研究带来的新挑战。本次报告将在架构设计、训练优化到推理加速等端侧大模型全流程进行概述，并介绍华为诺亚实验室在这方面的技术创新和实践经验。

张昊是加州大学圣地亚哥分校数据科学与计算机科学与工程系的助理教授。张昊的研究聚焦于机器学习与系统的交叉方向，代表性工作包括DistServe、vLLM、Chatbot Arena、Vicuna、Alpa、 Petuum。他的研究成果曾获OSDI'21最佳论文奖与 NeurIPS'17 NVIDIA开拓者研究奖。他于2023年共同创办LMNet.ai（已于同年11月加入 Snowflake）及非营利组织LMSYS.org（维护多个开源模型、评测平台与系统）。

讲座题目：大语言模型推理系统

讲座摘要：大语言模型推理是整个大模型研究和产业的支柱领域之一。该讲座将简要综述当前大语言模型(LLM)推理阶段的关键技术进展，涵盖从高效内存管理的分页注意力(Paged Attention)、到计算与存储解耦的模型解耦推理(Disaggregated Inference)等核心方案，投机解码(speculative decoding)等。这些技术通过显著降低内存占用、提高算力利用率，推动 LLM 在多用户、多任务、大规模部署场景下的实用化进程。

陈键飞，清华大学计算机系准聘副教授。2010-2019年获清华大学学士和博士学位。从事高效机器学习研究，谷歌学术引用5000余次。担任IEEE TPAMI的副主编，担任ICLR等会议领域主席。获得CCF青年人才发展计划、清华大学学术新人奖，NOI 2009金牌等。

讲座题目：基于量化稀疏的高效训练推理：理论及算法

讲座摘要：大模型所需计算成本高昂，而低精度、稀疏等高效训练推理方法均在原有计算基础上引入了近似，可能会引起精度损失。本报告将介绍近似梯度下降理论，该理论可以为高效的近似训练方法的收敛性、收敛速度提供理论保证。基于该理论，将分别介绍通过量化和稀疏两条技术路线设计的前馈神经网络计算加速、注意力计算加速、激活压缩、优化器压缩、通信压缩等高效训练推理算法。将从机器学习的角度出发，介绍高效训练的过程中遇到的训练不稳定等问题及克服方法。