大模型对数据的规模与质量需求与日俱增,但却面临互联网公域数据逐渐枯竭、高质量私域数据流通受阻的双重困境。联邦大模型基于联邦学习“数据不动模型动”的核心思想,进一步演化出“模型不动知识动”的新范式,充分激活私域数据潜力,进一步提升大模型能力。
CCF学科前沿讲习班
CCF Advanced Disciplines Lectures
CCFADL第163期
主题 联邦大模型
2025年9月19日-21日 北京
大模型对数据的规模与质量需求与日俱增,但面临互联网公域数据逐渐枯竭、高质量私域数据流通受阻的双重困境。联邦大模型基于联邦学习“数据不动模型动”的核心思想,进一步演化出“模型不动知识动”的新范式,打通多源私域数据进行大模型微调、检索增强等,充分激活私域数据潜力,进一步提升大模型能力。讲者们将从多领域交叉视角诠释当前联邦大模型的关键技术与前沿进展,旨在帮助学员们开阔科研视野,掌握前沿动向并增强实践能力。
本期CCF学科前沿讲习班ADL163《联邦大模型》,将对联邦大模型的基础理论、最新进展与典型应用进行深入浅出的系统性讲解,既涵盖联邦大模型高效微调、检索增强、隐私保护等技术,又包括联邦智能体构建、开源平台/社区发展等应用介绍,为学员们介绍联邦大模型的关键技术与前沿突破。相信学员经过本次讲习班的学习,不但能够全面理解联邦大模型的基本原理、核心技术与主要挑战,更可以深入了解产业界如何运用相关技术解决实际应用问题,提升自身从理论到实践的综合能力。
本期ADL讲习班邀请了9位来自国内外著名高校与企业科研机构活跃在前沿领域的专家学者做主题报告。第一天,陈益强研究员将探讨模型联邦网络突破传统大模型规模效应局限的潜力,李雅亮研究员将分享联邦大模型技术在阿里巴巴应用落地中的经验心得。第二天,童咏昕教授将从大数据到大模型的融合视角分享联邦智能计算前沿技术,徐增林教授将讨论联邦大模型中的隐私、鲁棒和公平性问题,杨强教授将以“联邦模型与智能体”为题介绍如何将联邦学习、迁移学习与大模型智能体有机结合,刘洋教授将详细讲解联邦大小模型协同技术与挑战。第三天,叶茫教授将分享领域自适应的联邦大模型微调方法,郭斌教授将介绍分布式联邦智能在人机物融合群智计算中的应用,薛哲教授将探讨真实场景中复杂大数据下联邦大模型的质效优化方法。通过三天教学,旨在带领学员实现对联邦大模型从基础理论,到前沿科研动态,再到典型应用场景的深入学习与思考。
学术主任:童咏昕 教授 北京航空航天大学 / 李雅文 副教授 北京邮电大学
主办单位:中国计算机学会
本期ADL主题《联邦大模型》,由北京航空航天大学童咏昕教授和北京邮电大学李雅文副教授担任学术主任,邀请到杨强(加拿大工程院及加拿大皇家学院院士,ACM/IEEE Fellow,香港理工大学)、陈益强(研究员,中国科学院计算技术研究所)、李雅亮(资深技术专家,阿里巴巴达摩院)、童咏昕(教授,北京航空航天大学)、徐增林(教授,复旦大学)、刘洋(副教授,香港理工大学)、叶茫(教授,武汉大学)、郭斌(教授,西北工业大学)、薛哲(教授,北京邮电大学)共9位专家做专题讲座。
活动日程:
2025年9月19日(周五) | |
9:00-9:10 | 开班仪式 |
9:10-9:20 | 全体合影 |
9:20-12:20 | 专题讲座1 模联网:概念与技术及应用 陈益强,研究员,中国科学院计算技术研究所 |
12:20-13:30 | 午餐 |
13:30-16:30 | 专题讲座2 FederatedScope-LLM: 联邦大模型的微调与应用 李雅亮,资深技术专家,阿里巴巴达摩院 |
2025年9月20日(周六) | |
9:00-10:30 | 专题讲座3 联邦智能计算——从大数据到大模型 童咏昕,教授,北京航空航天大学 |
10:40-12:10 | 专题讲座4 可信联邦学习与多模态学习:隐私、鲁棒和公平性视角 徐增林,教授,复旦大学 |
12:10-13:30 | 午餐 |
13:30-14:40 | 专题讲座5 联邦学习与智能体 杨强,教授,香港理工大学 |
14:40-15:40 | 专题讲座6 联邦大小模型协同技术与挑战 刘洋,副教授,香港理工大学 |
15:50-16:30 | Panel讨论 联邦大模型的昨天、今天与明天 嘉宾:杨强、陈益强、李雅亮、童咏昕、徐增林、刘洋、叶茫、郭斌、薛哲 |
2025年9月21日(周日) | |
9:00-12:00 | 专题讲座7 领域自适应联邦大模型微调 叶茫,教授,武汉大学 |
12:00-13:30 | 午餐 |
13:30-15:00 | 专题讲座8 人机物融合群智计算:LLM vs. 分布式联邦智能 郭斌,教授,西北工业大学 |
15:10-16:40 | 专题讲座9 分布关联大数据质效优化的联邦学习方法 薛哲,教授,北京邮电大学 |
学术主任
童咏昕
北京航空航天大学
学术主任介绍:童咏昕,北京航空航天大学计算机学院教授,博士生导师,国家杰青、优青基金获得者。2014年于香港科技大学获计算机科学与工程学博士学位,2015年入选北京航空航天大学“卓越百人计划”。主要研究方向包括:联邦学习、时空大数据挖掘、大模型向量数据库与数据库系统等。近年先后主持国家自然基金杰青项目、优青项目、重点项目、国家重点研发计划课题等。共发表学术论文百余篇,谷歌学术引用1.4万余次。获中国电子学会的自然科学一等奖(排名1)和青年科学家奖、首届阿里巴巴达摩院“青橙奖”和多个国际一流学术会议/竞赛的最佳论文与冠军等奖励,入选“2022年度高校计算机专业优秀教师奖励计划”;担任中国科技期刊卓越行动计划领军期刊《Frontiers of Computer Science》的执行编委、大数据领域CCF-A类期刊《IEEE TKDE》与《PVLDB》的编委、大数据领域重要国际会议DASFAA 2024会议的程序委员会主席(PC Chair);也是CCF杰出会员和杰出讲者、CCF会员与分部工委副主任、CCF走进高校工作组组长。
李雅文
北京邮电大学
学术主任介绍:李雅文,北京邮电大学副教授、博士生导师、教育部青年长江学者。主要研究方向为大数据、机器学习、智能决策等,包括大数据的复杂语义跨域关联建模、知识图谱高效检素及趋势预测等。在领域重要期刊或会议上发表论文105篇,申请和授权发明专利14项,出版学术专著 2 部。主持国家自然基金项目多项。获吴文俊人工智能科学技术奖优秀青年奖、ACM北京分会新星奖、中国科协青年人才托举工程项目、IEEE CCIS云计算与智能系统国际会议最佳论文奖、第十一届CCF大数据学术会议最佳论文奖、第三届数据智能与管理学术会议优秀论文奖等。担任《Frontiers of Computer Science》期刊青年编委、《Applied Sciences》客座主编、《Technological Forecasting and Social Change》期刊编委、2023年中国计算机学会人工智能会议数据挖掘论坛主席、第十一届CCF大数据学术会议“多源大数据处理”论坛主席等。
特邀讲者
杨强
香港理工大学
讲者介绍:杨强,加拿大工程院及加拿大皇家学院院士,香港理工大学AI高等研究院院长,香港科技大学荣休教授,微众银行首席人工智能顾问,AAAI-2021大会主席,国际人工智能联合会(IJCAI)理事会前主席,中国人工智能学会(CAAI)常务副理事长。曾获2017年“ACM SIGKDD”杰出服务奖及2023年“IJCAI Donald E.Walker”杰出服务奖。国际顶级期刊《ACM TIST》、《IEEE TRANS on BIG DATA》创始主编,CAAI/AAAI/ACM/IEEE/AAAS等多个国际学会的Fellow。研究领域包括迁移学习和联邦学习研究及应用,著作包括《迁移学习》、《联邦学习》、《隐私计算》和《联邦学习实战》等。
报告题目:联邦学习与智能体
报告摘要:随着大模型的发展,人工智能(AI) 进入了一个新时代。大模型在具体应用时的一个挑战是如何把通用大模型的知识迁移到本地化的小模型上,同时保护各方的隐私和数据安全。在本次演讲中,我将讨论如何在大模型的背景下使用“联邦大模型”的框架进行大模型的本地化。我将首先回顾AI的发展和联邦学习的概念,然后讨论如何把联邦学习、迁移学习和大模型有机地结合,使得大模型的落地应用更加顺畅和便捷。
陈益强
中国科学院计算技术研究所
讲者介绍:陈益强,CCF会士,中国科学院计算技术研究所研究员,博士生导师。现任中国科学院计算技术研究所副所长,移动计算与新型终端北京市重点实验室主任。入选国家级科技创新领军人才,享受国务院特殊津贴专家。兼国家“现代服务业”“BT&IT融合”两个重点专项总体组专家。长期从事人工智能、普适计算和计算医学的交叉研究,发表学术论文 200余篇,获得IJIT国际期刊及IJCAI会议等6个最佳论文奖,申请发明专利119项。曾获国家科技进步奖二等奖以及 2017 CCF 技术发明一等奖,2015、2016连续两年获北京市科技进步二等奖等,牵头IEEE CEC(协同边缘计算)国际标准制定。
报告题目:模联网:概念与技术及应用
报告摘要:本报告主要介绍一种新型的大模型分布式构建框架——模型联邦网络(简称“模联网”),旨在解决行业大模型训练面临的“数据孤岛”、“算力孤岛”和“模型孤岛”三大挑战。模联网通过联邦学习、安全共享计算等方式,实现数据加工式共享,降低对集中式大算力的依赖,促进模型融合与协同。本文详细介绍了模联网在打破数据孤岛、模型孤岛方面的关键技术,展示了其在医疗领域的应用案例,并进一步探讨了模联网突破传统大模型规模效应局限的潜力,提出模联效应概念,通过模型融合与协同实现能力聚合,提升大模型性能。未来,模联网有望成为跨行业的“AI4ALL”基础科创平台,为各行业领域和用户提供低门槛、低成本和高效能的智能模型与服务。
李雅亮
阿里巴巴
讲者介绍:李雅亮,阿里巴巴通义实验室资深算法专家。于纽约州立大学布法罗分校取得博士学位,研究领域包括大模型数据处理、多智能体、隐私计算、数据挖掘、因果推断、自动机器学习等,产出的开源项目包括FederatedScope、Data-Juicer、AgentScope、Trinity-RFT等。研究成果发表于KDD、ACL、NeurIPS、ICML等多个领域的顶尖国际会议与期刊100余篇,谷歌学术引用13000+。他担任了NeurIPS‘24~25资深领域主席,NeurIPS'21~23、ICML'23~25、ACL'25的领域主席。获得KDD'2022最佳论文奖、WWW’2025最佳学生论文奖。
报告题目:FederatedScope-LLM: 联邦大模型的微调与应用
报告摘要:随着大模型LLMs的快速发展和广泛应用,用户可以通过微调大模型来进一步提高其在特定下游任务上的性能。当多个用户具有相似的任务、但由于隐私而无法共享数据时,联邦学习 (FL) 是联合不同用户数据的主流解决方案。然而,在联邦学习环境中微调大模型仍然缺乏足够支持,因为它必须处理优化大量通信和计算资源的消耗、为不同任务准备数据、以及不同的信息保护需求。为此我们构建并开源了FederatedScope-LLM,它包含以下组件:1)一个端到端的基准测试流程,自动化了数据集预处理、联邦微调执行、以及微调性能评估;2)全面的联邦参数高效微调算法实现和灵活的编程接口,以较低的通信和计算成本进行处理;3)多种高效的算子,用于在资源有限的情况下对大模型进行微调,并可采用灵活的可插拔子程序进行跨学科研究。在本次报告中,我们还讲探讨如何将联邦大模型微调扩展到跨设备场景、如何设计更加稳定的联邦微调算法、联邦数据的合成及处理、以及多模态大模型的联邦微调。
童咏昕
北京航空航天大学
报告题目:联邦智能计算——从大数据到大模型
报告摘要:在互联网公域数据的支撑下,GPT、DeepSeek等大模型快速发展。然而,如何激活互联网中占比90%以上的私域大数据,构建可发挥跨域大数据价值的联邦大模型,是进一步突破大模型数据瓶颈的关键。本报告关注联邦计算的发展历程:首先,回顾数据联邦与联邦学习技术;然后,聚焦于联邦计算从大数据到大模型时代的范式转变,从大模型可采用的训练信号类型出发,介绍联邦大模型的指令微调(Instruction Tuning)、适配学习(Adapter Learning)、知识蒸馏(Knowledge Distillation)等关键技术;最后,报告将剖析联邦大模型技术在智慧医疗、工业软件等行业的应用示范,并对该领域的未来发展进行展望。
徐增林
复旦大学
讲者介绍:徐增林现为复旦大学教授、博导。于香港中文大学计算机科学与工程专业获得博士学位。他曾在密歇根州立大学、萨尔大学与马克思普朗克计算机研究所、普渡大学、电子科技大学、哈工大(深圳)等高校从事教学科研工作。长期从事机器学习理论及应用研究,近年来主要关注科学人工智能与可信人工智能领域,包括多模态学习、时间序列分析、图神经网络、张量神经网络、大语言模型、可信联邦学习、隐私计算等。在IEEE TPAMI、TKDE、TNNLS、NeurIPS、ICML等人工智能领域的知名期刊和重要会议上发表了超过200篇同行评议的文章,谷歌学术应用14000多次。他曾获得AAAI 2015杰出学生论文荣誉提名奖,ACML 2016 最佳学术论文亚军、2023 ICONIP 最佳论文候选,获得亚太神经网络学会APNNS青年研究员奖,连续入选斯坦福大学前2%科学家名单。他目前担任人工智能领域重要期刊《Neural Networks》资深执行编辑,多次担任NeurIPS、ACL、EMNLP、AAAI、IJCAI等会议的领域主席、资深程序委员会成员等。担任国际神经网络学会理事和副理事长(教育)、 人工智能教育专委会主席。
报告题目:可信联邦学习与多模态学习:隐私、鲁棒和公平性视角
报告摘要:人工智能特别是大模型的发展正在也必将对社会和经济发展产生巨大影响,但是当前人工智能的发展路径也面临着一系列的风险,包括隐私、鲁棒性攻击、公平性缺失等。本报告将从人工智能发展面临的威胁出发,探讨可信人工智能的必要性和发展路径,讨论联邦学习对于大模型技术面临的数据资产价值和隐私保护的重要性,探讨大模型隐私保护推理技术;同时以多模态模型为例,探讨多模态模型的鲁棒与公平性挑战以及具体的实现路径。
刘洋
香港理工大学
讲者介绍:刘洋教授,现任香港理工大学电子计算学系兼数据科学与人工智能系长聘副教授,于清华大学获学士学位、普林斯顿大学获博士学位,历任清华大学智能产业研究院副研究员、微众银行 AI 部门首席研究员及研究负责人。其研究方向涵盖机器学习、联邦学习和可信 AI,及其在产业中的落地应用。刘教授已在顶级会议与期刊上发表论文 70 余篇,总被引 26,000 余次,拥有 30 余项专利;合著全球首部《联邦学习》专著,并被 MIT Technology Review 评为 2022 年“中国隐私计算科技创新人物”。她曾获中国计算机学会技术奖、AAAI 创新奖、IJCAI 创新奖、国际基础科学大会前沿科学奖、IEEE Intelligent Systems 最佳论文奖等多项荣誉,并自 2021 年起担任 ACM TIST 副主编。
报告题目:联邦大小模型协同技术与挑战
报告摘要:在人工智能(AI)日益融入我们日常生活的时代,如何将大型语言模型(LLMs)与垂直领域相结合仍然是一个关键挑战。联邦学习(FL)作为一种有助于实现数据隐私智能的新范式,可以使AI模型能够在去中心化的设备上进行协作训练,同时不暴露私人数据。本次演讲将深入探讨联邦学习的最新进展,重点关注通过实现LLMs与小型领域模型之间的协作来促进LLMs领域适应的关键技术和应用。
叶茫
武汉大学
讲者介绍:叶茫,武汉大学计算机学院教授、智能科学系主任、国家高层次青年人才。长期从事多模态计算、联邦学习、医学人工智能等领域研究,以第一/通讯作者发表 CCF-A 类论文100余篇,谷歌学术引用 13000余次。担任CCF-A类IEEE TIP 和 IEEE TIFS等SCI期刊编委,CVPR、ICLR、NeurIPS、ICML等会议领域主席等学术职务。主持国自科-香港联合基金、科技部重点研发计划课题等10余项科研项目。2021-2024年连续入选斯坦福排行榜“全球前2%顶尖科学家”,2022年百度AI华人青年学者等荣誉。
报告题目:领域自适应联邦大模型微调
报告摘要:大模型应用面临“公域有算无数、私域有数无算”瓶颈,联邦大模型微调为垂域大模型应用突破“数据受限” 与“隐私合规”困局提供了一种新的学习范式。联邦大模型微调主要面临两大挑战:一是如何在保护数据隐私的前提下实现高效的知识更新和领域自适应微调,二是如何在分布式环境中保证模型的可信泛化能力,有效应对数据异构与噪声干扰等问题。本次报告首先概述联邦大模型微调背景,然后分享我们团队在联邦大模型微调的最新进展,探索领域可泛化、模态可对齐、噪声可平衡、任务可持续的自适应联邦大模型高效微调方法,最后进行未来展望。
郭斌
西北工业大学
讲者介绍:郭斌,工学博士,西北工业大学计算机学院教授、副院长,国家杰出青年科学基金获得者,人机物融合群智计算教育部重点实验室副主任,工信部智能感知与计算重点实验室副主任,西北工业大学人机物融合智能计算创新中心主任。入选教育部“新世纪优秀人才”(2012)和国家“万人计划”青年拔尖人才(2017),爱思唯尔中国高被引学者,《麻省理工科技评论》 “2023中国智能计算创新人物”。主要从事智能物联与普适计算、群体智能、移动群智感知等方面研究。在IEEE/ACM汇刊等国内外重要期刊和会议上发表论文200余篇,出版《人机物融合群智计算》《智能物联网导论》等专著,且面向智慧城市、社会治理等国家重大需求开展领域应用和技术推广。曾获得教育部自然科学一等奖、陕西省自然科学一等奖、军队科技进步一等奖以及ACM SenSys’24、IEEE UIC’17、BIBM’20等国际会议“最佳论文奖”。担任《IEEE Transactions on Human-Machine Systems》《Frontiers of Computer Science》《ACM IMWUT》等国际权威期刊编委。IEEE高级会员,CCF理事、CCF西安分部主席,CICC认知与行为专委副主任。
报告题目:人机物融合群智计算:LLM vs. 分布式联邦智能
报告摘要:近来,在智能物联网、边缘智能、群体智能等兴起背景下,跨空间人、机、物异构智能体协作增强将成为新一代群智感知计算最重要的演进方向——即“人机物融合群智计算”。人机物融合群智计算涉及物联网、人工智能、生态学、复杂系统科学、社会学等多学科交叉,探索自然集群交互协同与人工群智能体间协作增强间的隐式关联和映射机理,将通过异构群智能体的有机交互、协作、竞争与博弈,构建具有自组织、自学习、自适应、持续演化等能力的智能感知计算空间。本报告将探讨人机物融合群智计算的基础理论、科学挑战及关键技术,特别是探讨群智背景下相比集中式大模型所能新发展的分布式通用人工智能新范式与科研实践。
薛哲
北京邮电大学
讲者介绍:薛哲,北京邮电大学计算机学院教授、博士生导师、国家优秀青年基金获得者。研究方向包括数据挖掘、人工智能、多模态/多视图学习、联邦学习、突发事件检测与分析等。在数据挖掘和人工智能领域国际会议和期刊上发表论文100余篇,申请和授权发明专利30余项,出版学术著作2部。主持和参与了20余项科研项目的研究工作,包括国家重点研发计划项目、国家自然科学基金重大项目/重点项目/面上项目、CCF-百度松果基金、CCF-腾讯犀牛鸟基金、CAAI-华为MindSpore学术基金等。担任CAAI智能服务专委会常委、CCF人工智能与模式识别专委会委员、CCF多媒体专委会委员、CSIG图像视频通信专委会委员。获中国电子学会科技进步一等奖、IEEE云计算与智能系统国际会议最佳论文奖、IEEE BigComp国际会议最佳论文提名奖、中国计算机学会人工智能会议最佳论文奖、中国多媒体大会最佳学生论文奖等多个奖励。
报告题目:分布关联大数据质效优化的联邦学习方法
报告摘要:针对真实场景中复杂大数据多源、异质、时变、隐匿等特点导致的联邦学习计算效率低、质效均衡难、自适应性差等问题,本报告将从模型建立、算法设计、关键技术和系统实现等方面出发,探讨高效协同的强化联邦学习模型,介绍联邦学习的异质学习任务质效优化方法,探讨实现联邦学习质效均衡的有效路径;以公共安全突发事件分析为场景,介绍基于联邦学习的公共安全突发事件刻画和态势预测系统,为及时有效地处置公共安全突发事件提供理论与技术支持。
时间:2025年9月19-21日
地址:北京•中国科学院计算技术研究所
报名须知:
1、报名费:CCF会员2800元,非会员3600元。食宿交通(费用)自理。根据交费先后顺序,会员优先的原则录取,额满为止。本期ADL为线下活动,请到北京现场参会。(如果确有特殊情况,不能到现场参会,可以线上参会,请会前发邮件到adl@ccf.org.cn邮箱说明情况。线上线下报名注册费用相同。线上会议室号将在会前1天通过邮件发送。)
2、报名截止日期:2025年9月17日。报名请预留不会拦截外部邮件的邮箱。会前1天将通过邮件发送会议注意事项和微信群二维码。如果届时未收到邮件,请务必咨询邮箱[email protected]。
3、咨询邮箱 : [email protected]
缴费方式:
在报名系统中在线缴费或者通过银行转账:
银行转账(支持网银、支付宝):
开户行:招商银行股份有限公司北京海淀科技金融支行
户名:中国计算机学会
账号:110943026510701
报名缴费后,报名系统中显示缴费完成,即为报名成功,不再另行通知。
报名方式:
请选择以下两种方式之一报名:
1、扫描(识别)以下二维码报名:
2、复制以下链接到浏览器报名:
https://conf.ccf.org.cn/ADL163
点击“阅读原文”,立即报名。
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...