聚焦ISC.AI 2024 | 吴世忠院士：对生成式AI安全研究的九点观察

ChatGPT横空出世至今，安全研究日渐热络，专业论文发布数量增长较快。分析目前最大的预印本论文发布平台(arXiv)上能够抓取到与大模型安全相关的论文2500多篇发现，近40%涉及大模型攻击，30%涉及大模型安全，约25%涉及大模型防御。同期与大模型安全相关的技术专利申请和授权数量也在逐年走高。但与大模型研究的蓬勃发展相比，数量差距仍然较大。

从发表论文的引用情况看，美国的科技影响力遥遥领先，Meta、斯坦福、微软、谷歌等业界“大厂”大学既是大模型发展研究的大本营，也是安全研究的主阵地。仅Meta公司2023年7月发布的 Llama 2 一文，截至本月14日，被引高达5741次。相比较而言，我国科技论文整体影响力偏弱，质量还有待提高。但从单一研究团体看，清华大学、中国科学院、香港科技大学、中国科学技术大学等高校院所的学术影响力已跻身世界前列，发展潜力巨大。

作为创新主体的头部企业是人工智能研究的大本营，也是重磅论文的主要发源地，从国际上看，OpenAI、Meta、DeepMind、微软等AI巨头近年来相继加大了在AI安全技术和监管措施方面的投入。国内的百度、科大讯飞、阿里、华为、智谱等加大在安全研究上布局和投资。这说明国内外的主流厂商逐渐认识到安全研究的重要，大模型能力增长迫切需要安全研究快速跟进，这已成为业界共识。

纵观现有的安全研究，可大致归纳为四个大类，即理论研究、技术研究、政策和伦理研究和实际应用研究。理论研究集中探究如何确保AI系统在各种条件下表现的可靠和安全，重点研究内容包括鲁棒性、可解释性、公平性。技术研究主要围绕对抗、突出防御，集中在对抗样本、监测与防御、证明与验证等方面。政策和伦理研究主要研讨如何制定道德规范和技术标准，以规范人工智能系统安全、合规和负责任的使用，主要聚焦在法律法规、伦理准则、国际合作三个主题。实际应用研究主要在于确保风险可控的前提下，积极促进人工智能技术成果的转化和应用推广，较为成熟的行业应用集中在自动驾驶、医疗健康、金融安全等。

在研究领域上，可以粗略地将目前的技术研究分为五个类别，即安全风险、安全防护、安全攻击、安全测评和安全治理。

“检”重在验证技术机理，识别应用风险，包括虚假信息传播、有害内容检测、隐私泄露监测、利用审查机制和比对工具细化生成内容的审核等。

“防”重在研究安全措施，防范误用滥用，研究重点包括关注模型的内生安全、对齐方法、关注外部安全的护栏方法等。

“攻”重在立足以攻促防，强化积极防御。安全攻击是大模型安全研究的重点领域，主要可以分为“善意”的红队测试和恶意攻击两种形态，但都有其局限性，目的主要在于以攻助防，积极防御。

“测”重在依据标准规范，评估保障能力。安全测试和风险评估是AI安全研究的关键领域，美英等西方国家将成立AI安全研究所作为推进全球治理体系的当务之急，而安全测试与风险评估技术则是全球治理能力的重要抓手。目前就安全测评的指标体系讨论较多，涉及安全性、可靠性、准确性、可控性、公平性、透明性、合规性等。测评内容也提法不一，主要包括功能与性能、内容安全、数据安全、系统安全、保障能力等。

“治”重在平衡发展安全，落实治理要求。安全治理是AI安全研究的热门话题。归纳全球AI治理的核心关切，主要有透明度、公平性、非恶意、负责任、隐私、向善、信任、尊严等十个方面。治理就是要将这些应用要求落实到从大模型的部署、开发、计算推理、数据输入到推广应用的各具体环节。

生成式人工智能安全研究涉及广泛复杂的问题，主要涉及以下十大问题：1、鲁棒性和可靠性；2、可解释性和可理解；3、公平性和偏见；4、对抗性攻击和防御；5、隐私保护；6、人机交互安全；7、伦理和治理；8、监督与控制；9、测试评估；10、关键基础设施中的应用。

相对于大模型研究的内容深入和成果丰硕，安全研究可以说刚刚开始，不仅任重道远，而且困难重重。至少有四个方面的科学难题需要攻关和克服，一是大模型的解释性和透明性不足。二是安全保障技术的复杂性和多样性。三是伦理和道德问题的复杂性。四是安全测试和风险评估的复杂性。

人工智能赋能百业千行，自然会给安全行业注入强大的发展动能。国内外的安全行业都在积极拥抱AI、运用AI。可以预见，经历过IT驱动到DT驱动的安全行业，将迅速迈进AI驱动的新时代。更及时的威胁感知，更深入的行为分析，更精准的漏洞管理，更便捷的情报共享，更迅速的应急响应，更智能的风险管控，将是网络安全行业的基本走向和市场刚需，必将为安全行业提供广阔的用武之地。

无论是安全研究还是安全产业，都必须紧跟科技进步和应用创新，才能服务好发展，保障好发展。就安全研究而言，展望未来，研究的重点要更加紧扣AI进化中的安全风险，研究的成果要更好支撑促进发展的治理策略，研究的路径要更多采用多学科，跨学科的研究方法。

分享网络安全知识 强化网络安全意识

欢迎关注《中国信息安全》杂志官方抖音号