吴世忠院士：迎接人工智能的安全挑战

2024年5月18日，以“智绘安全 乘数而上”为主题的2024年第十二届西湖论剑•数字安全大会在杭州国际博览中心举行。中国工程院院士吴世忠主题演讲中提出，在人工智能时代，安全问题呈现出前所未有的复杂性，构建一个安全、坚韧、可信的人工智能发展生态，至关重要。以下为报告节选。

「人工智能安全问题迫在眉睫」

根据科学界的主流的观点，人工智能大致可以分为三个时代：机器学习的弱人工智能时代、机器智能的强人工智能时代和机器意识的超人工智能时代。经过六十多年的哺育，今天的AI正处在懵懂可爱的少年时期即还是处在1.0时代。深度学习、大模型和大应用，造就了Chatgpt的勤学好答。Sora制作的图景非常惊艳，GPT-4o则声情并茂。

中国有句老话叫“三岁见大，七岁见老”，人工智能经过六十多年的艰苦探索，在近十年间得到突飞猛进，近两年内得到爆发增长。尤其最近半年来（的成果）更是应接不暇，这种成长的加速度在科技史上是空前的。

透过中国人工智能的发展态势，我们能够深切地感受到创新的强大动能，感受到科技对传统经济增长和生产力发展的颠覆，感受到技术进步对生产效率和生活质量的巨大贡献。通过这两年的发展预测，人类高质量的数据在未来的几年内可能被耗尽，那么这些数据又会孕育出哪些新的动能？这可能也会像最近推出的新应用一样，超出我们的想象。由算力、模型、数据、应用共同成就的人工智能，是真正的新质生产力。

作为一个致力于民族复兴的发展中大国，我国早已经预见到以人工智能为主的科技革命的战略机遇。从十年前的2015年到今天，我国在专业规划、技术攻关、市场培育、应用引导等方面，先后发布了20多项政策文件。这是在几十年互联网+的基础上，激发数据要素的乘数效应进而抓住人工智能的发展机遇，通过网、数、智统筹推进，让人工智能赋能百业千行，造福千家万户，这是中国式现代化志在必得的一个历史机遇。

作为一名从事网络信息安全的科技工作者，我想到了人工智能会带来安全性的挑战，但是没有预见到人工智能的安全焦虑来得这么快、影响这么大。过去两年间，从杰弗里•辛顿从谷歌辞职到OpenAI内部主导权的斗争，再到众多的科学家、企业家、公众人物公开表达担忧——仅去年一年，对人工智能安全的深度焦虑，就从技术界、商业界蔓延到社会乃至全球。

实际上70余个国家在近五年内出台了安全治理方面的战略对策和法律文件近百件。尽管各自的立场不同，但是关注人工智能都集中在公平、向上、负责、信任、尊严、团结、发展等，这些都是各个国家文件里的共同认识。人工智能的安全治理已经成为大国博弈的一个协调议题。

“一利兴必有一弊随”，人工智能的横空出世，在给人类带来了无限生机和希望的同时，也带来了细思极恐的近忧和远虑。未来已来、时不我待，要抓住历史性机遇，实现高质量发展，就必须主动应对安全新挑战，统筹好发展和安全。

「人工智能改变了安全问题的内涵和外延」

回顾互联网出现后的网络信息安全发展的历程，在过去三十年间可以把网络安全大致分为三个阶段。前二十年是IT驱动的阶段，是局域网、城域网、广义网再到物联网。万物互联追求的是规模，安全的重点是边界防护。后十年是DT驱动的时代即数据驱动的阶段，以大数据、云计算为特征，追求数据的流动。

今天的网络安全进入由AI启动的新阶段，面对的是一个全新的对象，这个对象在国际上有一个新词——technologicus科技智人。这说明我们面对的是一个和人不同但又有很多地方相同的一个硅基生物，就像人从猿变成智人是一个革命性的飞跃。人工智能会不会出现这样革命性的飞跃？从网络信息安全来说，它和过去都不一样，过去的网络固定、数据流动，现在这个它可能会活起来，所以除了过去习惯的传统安全风险而外，最重要的它可能带来完全未知的自身的安全风险。

推动这一轮新发展阶段的底层技术是什么？就是以人工智能和合成生物学为主的一系列的颠覆性技术。去年，我认真读了美国两大著名的人工智能头部企业联合创始人Mustafa Suleyman撰写的《巨浪将至》。书中指出，人类正处在一场史诗级技术革命的风口浪尖，人工智能变革将与蒸汽机、电力或数字晶体管变革相媲美，必将创造空前巨大的繁荣，同时带来前所未有的挑战。新一轮技术浪潮有四个特点：一是能够重塑潜力，并消除壁垒的不对称性；二是在广度和深度层面，快速迭代的超级演化性；三是广泛赋能多技术领域的通用性；四是远超控制或者预测范围的自主性。这些技术特点促成了本世纪人类面临的安全困境，技术浪潮已经势不可挡，人类只能够因势利导想办法驾驭它。

人工智能的巨浪极大地改变了安全问题的内涵和外延。过去习惯将网络信息安全称为非传统安全，实际上发展到今天，网络信息技术的安全性已经变成传统安全，而由科技智能带来的是未知的、难以预测的新型安全问题。人工智能时代的安全变得复杂，与过去相比在内涵和外延上都有变化。我认为至少包括既有的Security安全，又有新兴的safety安全、伦理安全，它是交织交融的一个新途径。

在传统安全领域即Security领域，AI已经系统性地融入到网络攻防的各个环节，赋予Security以新的内涵。国内安全行业也在积极地投身于人工智能安全或人工智能赋能安全的研究。在新型的自身安全领域，人工智能隐含了不少新的隐患。神经网络深度学习的算法和机理上具有不透明性和难解释性，因此很多科学家担心的技术失灵、智能失常，甚至出现幻觉、涌现意外等情况都可能出现。在过去短短两年内，人工智能应用中间也出现了很多怪象，这种硅基生命与生俱来的安全隐患是一种全新的安全风险。我们对这方面过去了解太少，经验不足，因而威胁更大、防范更难。

马克思说过，人与动物的根本区别就在于会制造和使用工具。实际上从石器时代一直到冷兵器热兵器时代，人类面临的技术伦理由来已久，只不过到了人工智能时代，伦理问题更加惊世骇俗。既有智能比如价值观可能难以对齐我们人类，在数据信念中可能会学会偏见和欺骗，在处理冲突和困境的时候可能不会遵循人类制定的这些道德准则。再比如深度伪造类的技术作恶，包括技术的武器化可能会用于军事去伤害人类等，这些都是过去的技术手段难以达到的影响。

基辛格在去世前写的《世界秩序》中，有一章提及核武器和人工智能。他认为人工智能的某些危害比核武器还朝前迈了一大步。这些风险是可以泛化的，这不仅仅是政治问题，而是对个人、种族、国家甚至人类都可能造成影响，影响之广不得不防，难度之大又防不胜防。

「打造安全坚韧可信的人工智能发展生态」

人工智能的发展在客观上对安全保障提出了新的要求，人工智能技术的推广应用是大势所趋，也应该是人心所向。个人应用需要谨慎、社会推广需要安全、国家发展需要进行防控，甚至需要国际治理协调。在智能化的时代，要确保个人隐私和安全，要维护社会和谐和稳定，要支撑国家的发展和安全利益，要维护国际合作和和平，必须要有安全坚韧可信的人工智能发展生态，必须要统筹好发展和安全。

大力发展人工智能是国家当前的政策导向，对科技界、产业界而言，既责无旁贷又大有可为。要统筹好发展与安全，至少要做好四个方面的工作。第一，“三观”要正，“三观”就是辩证的信息安全观、总体国家安全和全球安全治理观，这是迎接人工智能安全挑战的强大思想武器。

第二，技术要硬。人工智能的安全挑战是科技智能，这带来了全新挑战，颠覆性技术成为对抗的焦点。一方面国家与国家之间科技竞争已经剑拔弩张，另外一方面现代人类和即将出现的科技智人也在暗地里博弈。我们在AI领域布局早、需求大，但是技术差距客观存在，安全能力也亟待改变。在基础设施领域需要实现可管可控，在技术应用方面需要提供更多安全便捷的手段，在社会发展上面需要让人工智能变得可靠和可信。国家在人工智能领域的技术需求是最为迫切的，这给科技界、学术界、产业界提出了攻坚克难的奋斗方向，同时也提供了大展宏图的用武之地。

第三，能力要强。为人工智能的推广应用和健康发展创造一个更加安全、坚韧、可信的发展生态，既是社会期盼又是产业追求，也是国家责任。要做到确保人工智能自身或人工智能服务的安全可靠，需要安全行业做到与时俱进。衡量人工智能发展安全的韧性或者弹性有三个方面的指标即风险承受能力、恢复发展的能力、适应变革的能力。如果从这三个维度将能力提高，对人工智能的发展应该是有益的。

第四，伦理要顺。伦理安全是人工智能安全中的新内容，伦理顺就是人工智能的发展需要顺天理、合人伦，以人为本的技术术语就叫“对齐”。总体看解决伦理问题不单纯是社会科学的问题，同样涉及到技术问题，需要技术和非技术的方法来解决。这需要学术界、产业界共同努力，研究开发相关的理论、方法和技术手段，使得这样的“对齐”更方便、更量化、更便捷，更有效。

我相信人工智能一定会造福人类，而不会取代人类；但是我也相信，以后会使用人工智能的人，可能会替代掉不会使用人工智能的人。抱人工智能吧！但注意安全。

（本文未经报告人审核）