10月26日专题会议 | 大模型安全前沿技术

徐  恪

报告题目：大模型系统安全：威胁与防御

报告摘要：以大模型为代表的生成式人工智能在自然交互、知识推理和认识能力上取得了突破性进展，成为了当前人工智能研究和应用的前沿。大模型系统以其高可用性，正在逐步与不同行业深度融合落地，在各类场景中持续创造价值。然而，大模型系统潜在的安全风险日益凸显，不仅严重制约了大模型的进一步发展，也为国家与社会安全带来隐患。本报告以系统视角出发全面看待大模型系统的安全问题，深入探索大模型技术面临的系统安全、模型安全、衍生安全威胁，并梳理其安全防御手段，突破大模型供应链安全、流量大模型、幻觉检测、大模型安全评测等多项关键技术，形成人工智能安全国家标准、大模型安全实践行业白皮书等重要成果，为我国大模型安全治理提供有力支撑。

个人简介

清华大学英诺讲席教授，计算机系副主任，中国电子学会会士和IEEE Fellow，获得国家科技进步奖一等奖二等奖和国家技术发明奖二等奖，中国电子学会科学技术奖一等奖，在CCF A类期刊和会议发表90多篇论文，获得CCS 2020最佳论文提名，USENIX Security 2023和2024的杰出论文奖，USENIX 2024的互联网防御奖，IWQoS 2021和2024的最佳论文奖等。著有《网络空间安全原理与实践》《高级计算机网络（第2版）》《算法统治世界》《赛博新经济》《计算机网络体系结构—设计、建模、分析与优化》等多本著作。

成  宇

报告题目：大模型安全：从评测基准，模型架构，到幻觉消除的探索

报告摘要：模型的可信和安全，特别是针对生成式大模型来说，是一个非常重要的研究和公关方向。本次报告中将从立评测基准，探索模型结构的影响和改进模型幻觉三个方面来介绍我们在大模型幻觉方面近期的工作。我们将具体讨论如何构建语言/多模态大模型的可信安全评测集，探索模型结构（MoE，Dense等）对模型可信和安全性的影响，以及利用数据增强和生成CoT的蒸馏来减轻模型幻觉等工作。报告所涉及工作都在大量语言/多模态大模型以及多项评测集上验证。

个人简介

成宇，香港中文大学计算机系副教授，上海人工智能实验室的领军科学家，曾担任微软雷德蒙德研究院首席研究、IBM Research&MIT-IBM Watson AI Lab研究员。主要方向为深度学习模型的压缩和效率、生成模型和多模态学习等。常年担任担任人工智能顶会如ICML和NeurIPS的资深领域主席，以及CVPR，ACL，ICLR，EMNLP和NAACL的领域主席。论文曾获得 Cybersecurity Best Paper 2024，NeurIPS 2023杰出论文奖、WACV 2021最佳学生论文荣誉奖和SDM 2015最佳论文入围奖。

陈岳峰

报告题目：大模型安全挑战与防控体系建设

报告摘要：随着大模型技术的快速发展，大模型已经在文本、图像、语音、视频等AIGC场景中的广泛应用，使得内容生成能力大幅提升。然而，这也引发了诸多安全问题，如数据隐私泄露、恶意生成内容、模型偏见及滥用等问题。此外，大模型的越狱攻击等也给大模型安全带来了更大的挑战。为应对这些挑战，本报告主要分享大模型安全的防控体系建设实践，包括如何发现大模型的安全缺陷，如何构建大模型的安全护栏，如何让大模型生成的内容更加安全等。通过大模型全生命周期的安全防护，从而保障基于大模型的AIGC应用的安全发展。

个人简介

陈岳峰，阿里巴巴集团安全部，高级算法专家，AIGC安全负责人。近年来主要开展安全可信的人工智能研究，涉及对抗机器学习、鲁棒机器学习、深度学习基础理论，包括对抗攻击与防御，异常检测、可解释机器学习，深度伪造等领域。近期主要研究和探索大模型在安全领域的落地以及大模型自生的安全问题。在NeurIPS，ICLR，CVPR，TPAMI，IJCV，TIFS等学术会议和期刊上发表论文40余篇，举办了数次AI安全相关的Workshop，相关研究应用到了内容安全、知识产权和AIGC安全等产品中。

秦  湛

报告题目：人工智能安全前沿技术与应用

报告摘要：人工智能正以前所未有的速度重塑我们的世界，这场技术革命不仅带来了无限机遇，也伴随着深刻的挑战，特别是在安全、隐私和伦理方面。在这个关键时刻，我们必须思考：如何在推动创新的同时，确保AI技术的发展既安全又负责任？本次报告将聚焦人工智能安全领域的前沿技术与实践应用，重点介绍示范应用平台：人工智能安全评测平台AIcert，平台致力于全方位评估AI系统安全状况，提升威胁监测与加固能力。未来，我们将继续深化技术创新，加强产学研合作，通过组织竞赛、制定标准、发布评测榜单等方式，推动人工智能技术在安全、可控的环境下健康发展，为构建安全的AI生态系统贡献力量。

个人简介

秦湛，为浙江大学百人计划研究员、网络空间安全学院副院长、国家创新人才计划青年项目获得者。研究领域包括数据安全与隐私保护技术、人工智能安全等。累计发表论文60余篇，谷歌学术统计论文总引用次数超过6000次，曾获得2023年浙江省自然科学一等奖、2023年电子学会自然科学一等奖、以及2017年IEEE IWQoS最佳论文奖和2018年ASIACCS最佳论文奖，近5年来主持国家自然科学基金联合基金重点项目、面上项目、科技部科技创新2030重大项目课题，相关成果应用于阿里巴巴数据安全中台Datatrust系统、华为数据通信网络安全检测平台和杭州城市大脑人工智能安全检测平台等产品中，保护亿级用户隐私与数据安全。