YEF2025 | 大模型驱动新一代AI Agent技术变革：挑战与趋势

南京大学计算机学院特聘研究员、助理教授，CCF YOCSEF南京2025-2026年度候任主席，曾荣获英特尔中国学术英才计划荣誉学者、江苏省计算机学会优博、江苏省“双创博士”、华为“难题揭榜”火花奖，研究方向为大数据智能分析与计算，已在NeurIPS、ICLR、KDD、TKDE等会议/期刊发表论文30余篇，主持国自然科学基金、江苏省自然科学基金、CAAI学术奖励基金等共计10余项，出版“101计划”核心教材1本，6次在国际顶会组织的AI建模大赛中获得前三名，研究成果荣获中国“互联网+”创新创业大赛全国金奖，入选南京大学120周年校庆重点成果展。

香港大学计算机科学系和数据科学研究所助理教授及博士生导师。研究兴趣包括大型语言模型(LLM)、智能体、图学习、推荐系统和智慧城市。研究贡献和学术成果被选为KDD(2019/2023/2024)、WWW(2023/2024)和SIGIR(2021/2022/2023/2024)等顶级会议的影响力论文，在ACM MM 2024、WWW 2023、WSDM 2022和WWW 2019等主要会议上获得最佳论文奖或提名。学术出版物已获得超过1万次引用，曾荣获2024年世界人工智能大会（WAIC）的明日之星奖，以及2024年理论计算机科学与信息科学前沿科学奖。

题目：大模型智能体: 从语言到行动

摘要：近年来，大型语言模型(LLMs)的出现彻底革新了人工智能领域，使机器能够以前所未有的能力理解和生成类人文本。然而，LLMs的真正潜力远不止于语言生成——当与智能体结合时，它们能够弥合理解与行动之间的关键鸿沟。本报告将探讨LLMs与自主智能体之间的变革性协同作用以及相关前沿研究，包括由LLM智能体驱动的进展，这些进展使系统不仅能够解释自然语言指令，还能在实际动态环境中执行复杂任务，如编程、网络搜索、信息分析和综合报告生成。

南京大学计算机学院教授、博导，任职于南京大学计算机学院及南京大学软件新技术国家重点实验室，南京大学中德HPI研究院联合创始人，兼任南京大学计算机应用研究所副所长。研究兴趣是Agent与多Agent系统、复杂网络理论与分析、大数据分析及智能系统等，近五年发表论文80余篇、授权专利40余项、出版专著3部。截至2024年底，主持和参与包括国家重点研发项目、973、发改委4G专项、工信部产业化基金、国家自然科学基金、国家社会科学基金、省自然科学基金及支撑计划在内的国家及省部级基金与企事业资助项目50余项。在教育医疗类惠民行业、优政兴业类政府领域、互联网新经济领域有30余项科研成果获得产品化和商品化推广。

题目：大模型驱动的Agent技术架构与多Agent协同机制

摘要：大模型技术重构了AI Agent的能力边界，推动其从“工具”迈向“智能体”，核心在于赋予类人感知与决策能力。报告围绕“数据-模型-智能体-系统应用”这一主线，从AAMAS研究视角探讨反思、工具使用、规划和协同四大研究应用范式在高质量数据集构建、行业大模型定制、智能体建模，并探讨工作流驱动的智能体协同。结合实践案例，为Agent系统演进与落地提供技术及战略参考。

中国人民大学高瓴人工智能学院准聘副教授，主要研究方向为预训练模型和大模型智能体， Google Scholar 统计引用达到 1.7万次， 2020-2024年连续五年入选爱思唯尔（Elsevier）中国高被引学者和斯坦福大学全球前2%顶尖科学家年度榜单。其成果获评教育部自然科学一等奖（第三完成人)、 2022 年世界互联网大会领先科技成果（全球共15项）。现任CCF NOI科学委员会委员。

题目：大模型自主智能体及端侧应用

摘要：近年来，大模型在自然语言处理、计算机视觉、生物学等诸多领域展现出惊人的应用价值。大模型在大规模预训练中获得的在复杂交互环境中的非凡理解、推理、规划和决策能力，进而展现出在复杂真实场景下调用工具解决复杂任务的巨大潜力。本报告的内容为大模型自主智能体及其端侧应用，介绍大模型如何能够通过任务规划、工具调用来完成真实场景中的任务，并介绍其在手机等端侧场景的实际应用。

上海人工智能实验室青年科学家，香港中文大学博士后，南京大学博士。上海人工智能实验室“书生”系列视觉和多模态基础模型核心开发者。研究成果获得了总共超3万次引用，单篇最高引用超5000次。研究成果分别入选CVPR 2023最佳论文，世界人工智能大会青年优秀论文奖，CVMJ 2022最佳论文提名奖，两次入选ESI高被引论文（前1%）和热点论文（前0.1%），6次入选Paper Digest CVPR、ICCV、NeurIPS、ECCV年度十大最具影响力论文。入选斯坦福大学2023-2024年度全球前2%顶尖科学家，中国图象图形学学会（CSIG）优博提名，世界人工智能大会云帆奖。担任CSIG VI编委，IJCAI 2021的高级程序委员会委员，CVPR 2025 领域主席。

题目：多模态大模型及其在AI Agent中的应用

摘要：随着大语言模型的兴起，多模态大模型也取得了显著进步，推动了复杂的视觉语言对话和交互，弥合了文本与视觉信息之间的鸿沟。本报告将首先探讨图文多模态大模型的基本原理和技术，探索如何利用开源套件构建强大的多模态大模型，研究如何通过渐进式策略扩展开源多模态模型的性能边界，以缩小开源模型与商业闭源模型在多模态理解方面的能力差距。其次，将探讨多模态大模型在AI Agent中的应用，利用多模态大模型提升AI Agent的多模态交互能力。

蚂蚁技术研究院图计算实验室负责人，约翰霍普金斯大学计算机专业博士。在加入蚂蚁技术研究院之前，担任AWS AI的首席应用科学家，领导开发了多个知名图学习框架和算法，加速图学习在业界落地，包括用于图神经网络（GNN）的 DGL、用于知识图谱嵌入的 DGL-KE、用于扩展 GNN 训练至亿级规模图数据的 DistDGL、用于时序图神经网络的 TGL 等。郑达的研究方向横跨多个领域，包括高性能计算、大规模数据分析系统、数据挖掘和机器学习等，在国际顶级会议和期刊上发表了30余篇论文。

题目：面向数据科学的知识增强智能体

摘要：随着大数据时代的到来，数据科学已成为各行各业决策的重要支撑，而当前AI Agent智能体技术在自然语言处理等领域取得了显著进展。然而，实际应用中数据科学场景仍面临模型可靠性不足、创新方案匮乏等问题。本次报告将介绍知识增强数据科学智能体，通过构建机器学习知识图谱与知识增强的智能体技术，有效提升数据预处理、数据分析、模型构建能力，为数据科学领域提供更高效、更可信的行业解决方案。

意大利都灵理工大学博士。现在vivo担任安全专家，端侧千镜安全技术架构负责人，AI安全技术研究负责人，包括技术点的需求梳理，可行性评估，最终落地到产品。苏博士一直从事系统安全、可信计算、AI安全技术的研究，并作为技术负责人参与过多个欧盟科研项目。学术方面，已发表十余篇论文，并先后担任多个安全会议与期刊的审稿专家。

题目：面向AI Agent安全需求的体系架构

摘要：基于多模态大模型的设备端 AI 智能体的出现，为智能手机的功能带来了范式转变。然而， AI 智能体的使用也引入了重大的安全和隐私风险，传统的访问控制机制和当前的保护措施难以应对这些问题。由于大型模型的复杂性和与敏感用户数据的集成，给AI智能体带来了更大的攻击面。本报告将从 OEM 的角度探讨手机端 AI 智能体的现有实现方式，以及对应的保护措施，并介绍一种综合的多层次安全架构，通过结合硬件增强、模型保护、动态访问控制和强大的数据路径保护，确保手机端 AI 智能体能够在不损害用户安全和隐私的前提下完成复杂的任务。