2025年7月,兰德公司(RAND)发布文章《人工智能、网络安全与国家安全:刻不容缓的紧迫性》(Artificial Intelligence, Cybersecurity, and National Security: The Fierce Urgency of Now),主要介绍了人工智能的能力及其对网络安全和国家安全的影响、现有应对方式的不足及改进之法等等。启元洞见编译该文章主要内容,旨在为读者了解相关研究提供参考。
本文面向两类读者:一是国家安全决策者;二是关注人工智能、其他技术及人类竞争如何相互交织、共同进化演进的读者。
人工智能(本文主要关注大语言模型,下简称“LLMs”)正深刻影响网络安全。网络安全可理解为保护软件和数据免受破坏、误导和颠覆,其范畴不仅包括攻防能力,还涉及影响软件运行的外部举措如窃取凭证、破坏供应链等。
分析人工智能对网络安全的影响,虽无法全面描绘人工智能的潜力,却能帮助理解人工智能如何重塑世界,就像新世界重塑旧世界一样。例如,人工智能是一场持续的革命,其近期变革力更多体现在自动化而非超级智能,世界未来将由人类系统、相关技术与人工智能共同演化塑造。
一、代码编写自动化
(一)LLMs的智能属性
当前,LLMs是自动化智能的工具,通过大规模硬件投资(如加速计算的图形处理单元投资)与新组织技术(LLMs的生成式学习)实现高效大规模生产。
LLMs有三大优势:(1)可以批量生产个性化产品,对软件生产和网络安全意义重大;(2)人工智能依托现有软件和互联网,可控制几乎所有设备;(3)人工智能自身是软件,能作为改进自身的工具加速发展,未来可能实现无需人类大量干预的递归自我改进。
此外,生成式人工智能具有独特属性:通过强化学习不断改进,根据设计目标不断比较并选择更优的替代方案。其是“生长”而非“构建”,内部机制是“涌现”而非直接设计,类似培育植物或细菌群落,不可预测、难以解释,甚至可能以创造者未预料的方式进化并采取行动,存在操纵和伤害人类的风险。
(二)LLMs的自动化特性
对LLMs能力的讨论常强调其“智能”,但更应关注其速度和效率。其核心优势可归结为四点:应用于任务的智能,即整合、筛选和挖掘数据以生成有价值输出的能力;高运行速度,即吸收信息和生成行动的速度约为人类的10—100倍;持续运行能力,即实现全年无休运行;协同计算能力,即可运行数百万个实例。
这些优势叠加产生乘数效应。持续运行使LLMs的有效工作时间是人类4倍以上,速度比人类快2个数量级,仅这两项就使其生产力达到人类的400倍。加上并行处理与自我复制的协同计算能力,其智能放大效应可能超过7~8个数量级。
(三)代码编写能力
2023年3月GPT-4发布,编码能力远超112天前的前代模型,能够处理广泛的编码任务。6月,有观点认为未来几年源代码编写和修改将主要由LLMs通过提示词完成;谷歌2024年三季度财报显示,超25%的新代码由人工智能生成,2025年一季度这一比例已超30%;2025年初,OpenAIo3在编程竞赛中的表现相当于全球第175名的人类程序员。到2025年1月,有观点称生成式人工智能最擅长编码,o1和o3对GPT-4推理能力的提升更强化了这一观点。6月,有观点认为软件开发已成为人工智能的“杀手级应用场景”。某高增长SaaS(软件即服务)企业90%的代码由人工智能生成,远高于12个月前的10%~15%。
尽管通过LLMs编码仍需人类审核,但OpenAI的模型在与99.8%的编程人员对决中取得了压倒性胜利。2025年3月,美国人工智能股份有限公司CEO称,3至6个月后人工智能可能编写90%的代码,12个月后可能编写几乎所有代码。其进步源于“智能”品质提升、人类引导能力增强,但进步的根本驱动力是机器智能与自动化为编程带来的强大力量的结合。
二、软件攻防
(一)网络安全领域复杂多变
人工智能与网络安全的关系复杂,相关评估常未经同行评审、存在偏见且可能有误差,且人工智能技术的未知属性也会随人机互动涌现新变化。该问题复杂、模糊、多变且关乎生存,必须做好应对准备。
网络安全领域类似霍布斯式的一个没有更高权威调节的“所有人对所有人的战争”世界。人工智能作为新力量可能缓解或加剧网络安全原有的挑战。
(二)高级编码能力的进攻性应用
MITRE企业识别了14种战术和211种技术,人工智能对其影响深远,以下为几个典型领域:
1.侦察。指对手主动或被动地收集可用于支持目标攻击的信息。目前常用的侦察技术之一是攻击者扫描公开软件寻找已知漏洞,人工智能可以定位和评估设备规格、手册,以及通过非公开方式获得的数据,以高速和低成本分析相关代码,大幅提升漏洞发现能力。2025年某人工智能系统在漏洞赏金竞赛中领先,显示出人工智能在该领域的潜力。人工智能可能扩大各国及恐怖组织、犯罪集团的漏洞探测范围,对包括依赖特定软件组合的关键设施等构成威胁。
2.社会工程学。钓鱼、窃取凭证等手段比漏洞扫描更具威胁,人工智能可以自动识别目标系统中的关键凭证持有者,收集其数字痕迹和通信信息,批量生成个性化信息,接收者很可能将这些信息视为来自朋友,欺骗性极强。研究显示,LLMs在说服力方面远胜人类,即使仅利用少量个人信息也能有效定制论点、影响目标。有意进行大规模虚假信息传播的人,可利用精细的数字痕迹和行为数据,构建能够适应个体目标的复杂、具有说服力的机器。
3.漏洞利用。开发漏洞利用程序是罕见且高端的技能,有较多困难,仅有少数人掌握。原因在于:设计有效漏洞利用程序需综合考虑多种变量,在范围界定不清、成功标准不明确或需要协调多个工作流的实时环境中往往表现不佳;军事和国家安全数据有限,不足以支持充分训练;防御措施的动态变化会使可用数据变得不确定且易过时;各部门数据孤立,若将LLMs部署于各部门提取信息,将受到耗时且倾向于阻碍信息共享的官僚流程的限制;决策需平衡多方利益,往往需解决外交、法律、军事等优先事项之间的冲突。但人工智能在漏洞利用中的能力正不断提升,未来可能逐步自动化。
(三)防御及与进攻的互动
2024年夏,DARPA人工智能网络挑战赛项目经理对人工智能的网络防御能力感到惊讶,人工智能能识别并修补关键基础设施代码中的漏洞。防御者可利用人工智能的优势:通过自动化侦察识别和修补漏洞、根据数字痕迹识别不可信员工、构建系统数字模型检测异常等。
攻防平衡受多种因素影响。一是先发优势显著,若防御者先掌握人工智能能力,可及时修补漏洞、监控员工、识别异常。二是先发优势在防御方有效利用时间时才有价值,例如美国因责任分散、资金不足、激励机制扭曲等在修复电网、供水系统等网络物理系统漏洞时尤为困难。三是LLMs自身也易遭破坏或出错,尽管新LLMs能力将为正在开发的系统带来最大的防御性好处,但其编写的软件可能将自身漏洞引入。四是防御者需面面俱到,而攻击者只要突破一点即可,人工智能虽能帮助防御者覆盖更多系统,但也给攻击者提供了更多攻击载体。一定情况下,防御者也可以考虑主动出击,削弱对手的进攻能力。
(四)总体评估
谷歌对最新模型的评估发现网络安全风险升高,在网络攻击多个阶段的性能较前代提升,已达预警阈值。加州大学伯克利分校的研究也表明,人工智能在侦察和社会工程等方面的应用已较广泛,但漏洞利用仍多处于研究阶段。
当前,人工智能已显著改变网络安全,最困难的漏洞利用虽未完全实现自动化,但进展迅速。网络安全的战争将持续至新系统的开发及普及,人工智能只是改变这场战争的武器。
三、为实现网络安全的应对之策
(一)当前美国政府存在的不足
历史表明,最快吸收新技术的政府能在战争中获得决定性优势,关键变量在于吸收技术的速度和效果而非技术本身。美国政府需利用其在前沿模型开发中的优势,加速修复漏洞、强化威慑,但当前存在五大不足:
美国国防部未充分认识到人工智能对网络安全的变革作用及网络安全对其他作战领域的基础性作用。
在美国国防部预算资源竞争和职业晋升中,人工智能和网络安全处于弱势地位。网络安全因被低估而未成立专属军种负责。
美国国防部将人工智能视为以明确阶段和固定形式交付的产品(如飞机、船舶或武器系统),而人工智能实际上是持续快速演进的,需要以服务国家安全为目标被理解并塑造。
美国国防部低估了吸收通用人工智能或超级智能所需的配套投入,如人类专业知识、数据、创新激励机制等,这些需立即准备。
美国国防部及其他政府机构与前沿人工智能开发企业的合作不足,导致未能从企业研究工作中获得对国家安全的实质性收益。不仅无法快速把握先发优势,而且只靠接收企业现有模型成品而非根据美国政府自身需求制作模型,缺乏所需的特殊能力,难以整合和训练。
(二)成功路径
美国国防部需协调包括领导力、组织结构与流程、人才、资金等在内的多个变量,缺一不可。领导者需认识到人工智能是持续性革命及其对网络安全的影响,在组织文化中注入对这些问题的紧迫感,并转化为资源投入、人才培养和组织结构调整等。
进行组织结构变革,建立专属职业路径、培训体系、文化氛围和预算资源,辅以非营利机构的支持以吸引和留住人才。
培养政府专业知识,与人工智能企业建立密切关系。美国政府应作为合作伙伴、试点地区或投资者等参与人工智能企业的相关工作,通过激励或法律确保优先获取模型,以保障国家安全需求。
加强与美国私营企业的协调,通过激励、补贴、指导等促使其强化网络安全。
五、结论
从这一讨论中,可以提炼出十个基本观点:
人工智能是一场持续、不均衡的革命。不同模型优势各异,沿着不同且往往难以预料的方向演进;在不同领域的变革速度不同。
有效吸收人工智能需配套投入,人工智能能力需与其他能力结合才能产生变革性影响,如人类专家、数据等。
LLMs应被理解为自动化工具。其力量并非源于超智能,而是源于普通智能的极快、低边际成本的规模化生产,将极大提升所有与知识相关工作的效率。
当下革命的前沿是LLMs在软件生产、分析、保护和攻击方式方面的变革能力,因为当今的复杂活动多依赖软件。
人工智能的进步速度难以预测,但必要且保守的规划前提是应假设其快速发展,需提前应对。
先发优势在国家安全领域很关键,美国政府需在模型发布前获取访问权,通过与企业合作或政策保障达成。
人工智能技术为国家安全同时带来了机遇和风险,政企之间需加深了解、密切合作。
随着LLMs普及,人工智能滥用和失控风险增加,需建立合作管控机制。
应对人工智能对网络安全的挑战是未来的前沿领域,人工智能将在更广泛的领域产生变革性影响。
对于如此强大的技术,私人控制绝不能超越公共权力。需洞察发展、及时应对,在国家安全事务中具备先发和快速行动能力。
世界各国终将吸收人工智能,但新技术的吸收因扰乱现有秩序而困难重重。然而,必须紧急吸收人工智能的创新成果,特别是在国家安全领域,速度至关重要。在冲突中,早期快速适应者将胜出。本文旨在强调紧迫性:必须立即行动,应对人工智能对网络安全和国家安全的影响。理解只有转化为实践才有价值,决策者需正视人工智能的变革力量,积极行动起来。
免责声明:本文转自启元洞见。文章内容系原作者个人观点,本公众号编译/转载仅为分享、传达不同观点,如有任何异议,欢迎联系我们!
推荐阅读
研究所简介
国际技术经济研究所(IITE)成立于1985年11月,是隶属于国务院发展研究中心的非营利性研究机构,主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题,跟踪和分析世界科技、经济发展态势,为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号,致力于向公众传递前沿技术资讯和科技创新洞见。
地址:北京市海淀区小南庄20号楼A座
电话:010-82635522
微信:iite_er
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...