2022 年 11 月，OpenAI 在互联网上推出了 ChatGPT，人工智能由此进入公众视野。ChatGPT 是一种特殊的机器学习 (ML) 形式，被称为生成式预训练转换器 (GPT)，可与大型语言模型 (LLM) 配合使用。最重要的是，用户可以使用自然语言与人工智能互动，并接收以自然语言传递的输出。

输出的准确性取决于人工智能算法的质量以及 LLM 使用的训练数据的深度和准确性。目前大多数主要的 LLM 都是使用从互联网上抓取的大量数据进行训练的。简而言之，你可以向 LLM 提出任何问题，并在几秒钟内收到基于互联网智慧的答复；你可以要求它执行其算法理解的任何任务，同样也是基于互联网智慧。

人们一直认为，一旦网络对手了解如何最好地利用这些新功能，他们就会利用这些能力来增强自己的活动。2023 年是我们所有人都在等待看会发生什么的一年。2024 年出现了恶意使用人工智能的迹象。2025 年是我们预计将见证恶意人工智能大幅增长的一年。

现在可以公平地说，人工智能正在颠覆网络安全。对手在攻击中使用它，防御者（主要通过具有 LLM 自然语言能力的增强型 ML 前端）在防御中使用它。人工智能在网络安全中的进攻和防御应用将出现在本系列 Cyber Insights 2025 的主题讨论中。

在本文中，我们将讨论人工智能本身以及它在未来一年可能如何发展

人工智能关注的领域

相信

Truyo 总裁 Dan Clarke 评论道：“在 2025 年，信任人工智能并非易事。人工智能是概率性的，而非确定性的，因此它仍然容易产生偏见和错误。”偏见一直是人工智能面临的一个问题。算法是由人类开发的，而人类一直受到自身无意识偏见和成见的影响。开发人员试图通过使算法可见和可迭代来解决这个问题——但即使是法官也有自己的隐藏偏见。

错误最明显地体现在被称为幻觉的现象中。如果向人工智能提出问题，它必须回答。但根据训练数据的质量，它可能没有任何答案，也可能没有正确答案。在前一种情况下，它会“编造”一个答案。在后一种情况下，它会给出一个错误的答案，但非常有权威。

到 2025 年，这仍将是新一代人工智能面临的主要问题：“人工智能不准确，无法区分幻想与现实，其语气是为了说服而不是为了扩展和学习。” Praxis Security Labs首席执行官兼创始人 Kai Roer 评论道。“这意味着我们将看到更多专业人士试图通过生成报告、法律文件等来提高效率，而没有花时间（或更糟的是，没有能力）来审查和编辑人工智能产生的所有错误。这是技术乐观主义的典型例子……我们肯定会看到有关这个话题的诉讼。”

伦理

如今，人们要求并主张道德人工智能。但这个世界上的技术是一个地球村，也是一个多元文化村。西方文化注重个人主义，允许个人通过资本主义制度积累大量财富。许多东方文化注重团队而不是个人。来自贫困地区和贫困家庭的精通技术的人认为可疑的商人通过可疑的做法赚钱，而通过黑客手段赚钱并没有什么不妥。不同的民族和不同的地方有不同的道德观。

不可能制定出一套让地球村所有人都满意的道德价值观。Securonix 产品营销副总裁 Augusto Barros 警告说：“这就是事情变得复杂的地方。” “道德的定义基于多种因素，文化、社会和个人价值观都发挥着作用。人工智能应该遵循谁的道德观？这是一个重要的持续争论。我们可以看到 OpenAI 如何开发其模型与伊隆马斯克如何为 Grok 进行研究的一个很好的例子。”

这并不意味着我们不应该尝试改进人工智能开发和使用背后的道德原则；但我们需要认识到我们的原则可能与其他原则不同。RocketPhone 首席执行官 Muj Choudhury 表示：“追求‘完全合乎道德’的人工智能是无法实现的。相反，更有效的方法是确保人工智能安全且易于使用，而不是将其埋没在过度监管中……这就像制造汽车：专注于使其安全可靠，而不是承诺它永远不会出故障。”

在这种背景下，我们应该意识到，所谓道德人工智能可能只不过是最新形式的漂绿行为——但我们同样可以肯定，许多公司都会声称拥有这一称号。

犯罪分子获取 gen-AI

Acumen Cyber 联合创始人兼首席运营官 Kevin Robertson 警告称：“到 2025 年底，可以合理地假设，犯罪组织和敌对民族国家将开发出类似于 ChatGPT 但缺乏道德保障的生成式人工智能系统。  ”

“这些不受限制的人工智能模型可能被用来从 LinkedIn 等平台抓取大量数据，以及从暗网列表中收集凭证。这种技术与恶意意图的结合，可能使精准的鱼叉式网络钓鱼活动得以以前所未有的速度和规模实施。”

AppOmni人工智能总监 Melissa Ruzzi认为，犯罪分子会利用现有的人工智能。“开发原创人工智能模型需要付出巨大的努力和技能。相反，我预计犯罪分子将继续使用现有的模型，尤其是那些安全防护最少的模型。”

然而，敌对民族国家既有资源，也有技能来开发自己的模型。全球地缘政治环境已经十分严峻，甚至可能在 2025 年进一步恶化，有可能爆发新的关税驱动的贸易战。我们应该假设这些民族国家已经拥有或将拥有先进的人工智能系统——并且它们各自的 APT 可以使用这些系统。

恶意使用多模态人工智能

最初基于文本的基本自然语言人工智能已迅速发展成为多模式人工智能。它现在还可以处理和生成语音和音乐、图像和视频。虽然这些功能有许多有益的应用，但它们最令人担忧的是，它们能够生成深度伪造视频，从而引起网络安全问题。

Deepfakes并非新鲜事物——它们出现的时间早于 ChatGPT。然而，现在多模式 gen-AI 可以制作出更好的 Deepfakes，速度更快、成本更低、规模更大。Deepfakes 被广泛认为是 2025 年最紧迫的问题之一。但人工智能并不是坏事的创造者，而是让不熟练的操作员也能制作出更好的坏事的推动者。

Abnormal Security首席信息官 Mike Britton 表示： “我们可能看到的一些最直接和最令人担忧的用例可能涉及在法律诉讼和取证中使用深度伪造，因为闭路电视录像和其他证据变得更容易被操纵。”

Resilience 首席数据和分析官 Ann Irvine 担心，针对企业的攻击会更加成功。“我认为 2025 年将是我们看到对财富 500 强公司进行成功的深度伪造攻击的第一年，而这只是更多备受瞩目的人工智能攻击的开始。每个组织——无论大小——都面临风险，需要为更频繁、更个性化的攻击以及随之而来的不可避免的财务损失做好准备。”

影子人工智能

IBM 安全产品管理副总裁 Akiba Saeedi 表示：“影子人工智能将比我们想象的更加普遍，风险也更大。”影子人工智能是指员工在缺乏适当公司监督和管理的情况下部署和使用未经批准的人工智能模型。 

根本问题并非 AI 独有。员工一直在寻求通过采用新技术来提高自己的价值，但往往不等待正式批准。影子 AI 始于 2024 年。“员工选择适合自己需求的工具的速度比企业做出反应的速度要快。他们竭尽全力提高生产力并绕过传统的安全措施，因为公司行动不够快，”SurePath AI 首席产品官 Randy Birdsall 解释道。

“这对他们的工作影响如此之大，以至于他们愿意公然绕过合规政策，甚至在公司最高和最安全的层面上从事危险行为。” HuggingFace 提供的大量不同专业模型使这成为一个简单而诱人的选择，而到 2025 年，影子人工智能的采用只会增加。

Saeedi 表示：“影子人工智能对数据安全构成了重大风险，2025 年成功应对这一问题的企业将采用明确的治理政策、全面的员工培训以及勤勉的检测和响应等组合措施。”

针对人工智能的攻击

人工智能响应的准确性完全取决于所使用的训练数据。如果恶意行为者能够破坏训练数据，他们可能会影响人工智能模型的有效性，甚至操纵其响应以满足自己的目的。这个过程通常被称为数据中毒。

Proofpoint首席人工智能和数据官 Daniel Rapp 警告称：“到 2025 年，我们将开始看到威胁行为者首次尝试操纵私人数据源。例如，我们可能会看到威胁行为者故意通过污染 LLM 使用的私人数据来欺骗人工智能——例如故意用虚假或误导性信息操纵电子邮件或文档——以混淆人工智能或使其做出有害的事情。”

Clark Hill 律师事务所的 Paul Schmeltzer 预计数据中毒现象将会增加。“攻击者可能会利用对大量开放数据集的依赖来巧妙地扭曲模型，引入后门，当 LLM 被特定输入触发时，它会恶意行事，降低实用性或传播有害内容。这种情况在金融和医疗保健领域尤其如此，攻击者对金融或医疗保健数据集的毒害可能会导致错误的预测，或者由于训练数据损坏而无法识别关键症状，从而导致有害的误诊。”

数据中毒威胁与恶意提示注入或越狱行为有关，后者用于绕过用户访问 LLM 的防护措施。在某种程度上，提示注入可用于访问不应访问的数据；但与中毒相结合，对手的预定义提示可能会触发 AI 执行恶意任务。

2025 年人工智能的增长领域

代理人工智能

 2025 年很可能是代理型人工智能之年。思科旗下 Splunk人工智能副总裁杨浩解释说：“之前，我们专注于能够响应用户提示或输入的人工智能助手。现在，我们正在研究能够代表用户做出决策并执行一系列复杂任务的代理型人工智能工具（或人工智能代理）。明年，我预计我们将看到新的框架推出，帮助开发人员构建新的代理型人工智能应用程序。”代理型人工智能可以将通用人工智能从有趣的玩具转变为自动化应用程序。

此类代理已用于各种目的，包括将 gen-AI 输出自动转化为行动，甚至改进 gen-AI 本身。IEEE 成员、奇点大学 AI 教员 Eleanor Watson 补充道：“AI 的下一个前沿是代理：能够独立评估情况并确定行动计划的系统。这些系统可以充当礼宾员，为我们解决诸如日程安排、物流、规划和研究等问题。”

但一如既往，每一种新解决方案都会带来新的威胁。如果底层 LLM 被毒害，代理可以在所有者不知情的情况下自动执行恶意活动。 

它们甚至可能完全失控。“它们会采取意想不到的主动行动，寻找不受欢迎的捷径，甚至在隐藏意识的同时意识到自己正在接受测试，”沃森警告说，这让今天的科学事实听起来像昨天的反乌托邦科幻小说。“它们可能会决定按规则行事，对指令做出不友好的解释，或者认为欺骗他人或强迫他们是最有利的，甚至对他们自己的用户也是如此。” 

如果我们认为通用人工智能很复杂，那么这将是一个全新的复杂世界。Couchbase 产品与战略副总裁 Rahul Pradhan 解释说：“要实现这一点，代理系统需要一个复合人工智能系统，该系统使用多个模型，这些模型在安全参数范围内更靠近数据源。系统还需要以低延迟实时处理结构化和非结构化数据，以便即时做出有意义的情境感知决策。” 

他补充道，“这需要无缝集成非结构化数据处理、矢量数据库和交易系统，以便高效存储和检索各种数据类型。在提供这些强大的集成和基础设施方面表现出色的公司将拥有独特的优势，推动人工智能领域下一波创新和价值。”

Darktrace战略网络 AI 副总裁 Nicole Carignan认为，2025 年将出现“代理群”，“自主 AI 代理团队共同协作，处理比单个 AI 代理单独处理更复杂的任务。”但她补充道，“数据中毒、即时注入或社会工程等攻击都可能成为 AI 代理和多代理系统的问题。而这些问题不是传统应用程序测试可以单独解决的。”

Netskope欧洲、中东和非洲地区 CISO Neil Thacker 补充道：“挑战在于，代理 AI 需要完全自动化的保护来支持业务自主，但对于许多组织而言，自动化保护仍然是一种愿望。”

苹果、谷歌和三星都在手机上推广人工智能代理，它们承诺将连接我们生活的各个部分，成为完美的个人助理。这是 IT 领域一个全新的复杂程度，正如所有安全人员所理解的那样，复杂性滋生风险。“而用户却泰然处之，”Careerspan 首席产品官兼人工智能工程主管 Ilse Funkhouser 表示。

内容凭证

认为目前大型科技公司的法学硕士课程在制定过程中没有违反隐私和版权法（通过抓取互联网和社交媒体）的想法有些牵强。但它完美地说明了监管机构的困境：你是保护人民还是保护创新（进而保护经济）？

就人工智能而言，结果一直是敷衍了事——基本上，监管机构似乎在说，“我们不会深入调查你是否违法，但不要再违法了。”展望未来，重点是版权，这是由深度伪造和人工智能生成的错误信息的威胁所驱动的。“水印”就是解决方案。

“在欧洲，欧盟人工智能法案鼓励将水印标签作为人工智能供应商输出的一部分，以解决虚假信息和深度伪造等问题，”Blank Rome 律师事务所合伙人 Sharon Klein 解释道。“加州最近还通过了加州人工智能透明度法案，要求广泛使用的人工智能系统的开发商提供某些人工智能检测工具和水印功能，以帮助识别人工智能生成的内容。”该法案于 2024 年 9 月 19 日由州长纽森签署成为法律；并将于 2026 年 1 月 1 日生效。

这个专业术语是内容凭证，它将成为 2025 年的一个主要研究领域。Adobe 内容真实性计划高级总监 Andy Parsons 解释道：“随着私营和公共部门认识到全行业内容来源标准的迫切需要，我们将看到对数字内容透明度的前所未有的推动。”

“内容凭证将在这一转变中发挥关键作用，作为数字内容的‘营养标签’，使品牌和创作者能够获得归属并保护他们的作品，同时为消费者提供一种全新的在线清晰度和安全感……这种转变不仅仅代表着技术进步，它还重新构想了我们如何在数字生态系统中建立和维持信任。”

但这不是一种简单的治疗方法。Qwiet AI 首席执行官 Stuart McClure 认为，水印的使用率有所提高，取得了部分成功，但也有局限性。“水印在某些情况下会有所帮助，特别是在识别合法工具生成的内容的来源方面。它可以帮助进行法医分析和归因。”

但他补充道：“我们需要记住，坏人资源丰富。他们可能会找到删除或更改水印的方法，或者干脆在没有此类保护措施的情况下构建自己的工具……这将是一场持续的猫捉老鼠游戏。”

急性胃炎

Gen-AI 只能处理我们提供的数据。从这个意义上说，它更像是人工的，而不是智能的。它不会创造任何新东西——它只能重新排列、关联和从我们已知的知识中得出新的见解。

人工智能的下一步，或许是不可能的，是从普通人工智能到通用人工智能，简称 AGI。AGI 将能够独立推理——能够执行人类大脑可以执行的任何智力任务。这是否真的可能仍有争议；但我们知道两件事：AGI 的研究将持续到 2025 年，并且它不会在 2025 年实现

“我认为这是可能的，但 AGI 并不像有些人想象的那样唾手可得，”Centric Consulting 的 AI 战略总监 Joseph Ours 评论道。“真正的智能不仅仅是处理数据，它还包括理解背景、跨领域学习以及建立未经明确编程的创造性联系。”

然而，我们可能会看到一些早期的、或许是富有想象力的主张。“AGI 意味着人类水平的认知能力，这仍然是一个遥远的目标，”奥古斯托·巴罗斯说。“然而，人工智能技术的发展应该会推动这项技术发展到难以区分真正的 AGI 和‘看起来像 AGI’的程度。AGI 有可能实现吗？目前还很难说是否可能。”

 主张将先于现实。“我认为明年你会看到越来越多的基于代理的系统假装是具有 AGI 的高级法学硕士，”Mission Cloud 首席人工智能和数据科学家 Ryan Ries 表示。“这些都不是真正的 AGI，但它们很有用。”

我们甚至可能更进一步，将某种东西称为 AGI。“但当真正的 AGI 到来时，我们必须想出一个新的缩写词，”AppOmni 的 AI 总监 Melissa Ruzzi 说道。“这是一个不断变化的目标，我们还没有到达那里，但随着时间的推移，我们会越来越接近它。”

Blank Rome LLP 的合伙人 Sharon Klein 认为，“AGI 绝对有可能实现，但不是 2025 年。”Fortra 数据科学经理 Eli Vovsha 认为，未来几年，通用人工智能将继续逐步改进。“单靠扩展可以取得唾手可得的成果，”他说，“但在此之后，我们还需要几年时间来实现一些尚未实现的重大飞跃，然后才能看到一条通往 AGI 的清晰道路。”

如果 AGI 真的有可能实现（目前还不清楚是否可行），我们必须希望科学家能够充分警告我们会发生什么。如果 gen-AI 已经打破了局面，那么对 AGI 毫无准备可能会让局面倾覆。

一点现实

蛙跳游戏

网络安全一直是一场跨越式优势的游戏，攻击者主动出击，防御者被动应对。人工智能也是如此，但规模和速度正在急剧增加。攻击者会找到或开发一种创新的攻击方法，而防御者会做出防御性反应。但由于代理人工智能的存在，这一切都将发生得更快，甚至可能不为人知。

Vectra AI欧洲、中东和非洲地区首席技术官 Christian Borst将此比作红皇后理论（摘自刘易斯·卡罗尔的《爱丽丝镜中奇遇记》）。“我们身处一个新世界，参与一场不断加速的竞赛。仅仅跟上步伐已经不够了，那些跟上步伐的人将面临灭绝，”他警告说，“组织必须专注于优化其安全堆栈，确保他们专注于能够消除所有噪音的解决方案，并帮助他们更快地识别和应对威胁。”

历史表明，这是一场永无止境的蛙跳游戏。人工智能的出现除了提高风险外，不会改变网络安全的底层结构；攻击者会发起更多攻击，而防御者需要部署（并支付）更复杂的防御工具。

我们将在内容凭证水印过程中看到这种情况。这是好人对坏人的深度伪造和错误信息的回应。“水印现在应该能用，”巴罗斯评论道，“但我们也应该期待威胁者在如何操纵它们方面有所创新。这是猫捉老鼠的老游戏，我们也应该在这个领域看到它。”

Gen-AI作为自动化工具

如果没有通用人工智能，那么人工智能将什么都创造不了。它整理我们现有的知识，发现我们可能错过的联系，重复我们已经做过的事情，但速度更快，错误更少。深度伪造并不是什么新鲜事；网络钓鱼和鱼叉式网络钓鱼是常见的恶意活动；利用漏洞披露中的线索生成恶意软件是标准的犯罪行为。

新一代人工智能提供的是现有人类知识和行为的高速自动化。这从根本上就是网络犯罪分子使用人工智能的方式。攻击的速度和规模将发生变化——新一代人工智能正在使网络犯罪自动化。防御者跟上这些攻击的唯一方法是通过自动化网络防御——再次使用人工智能。

人工智能对企业的好处不在于网络安全（网络安全将保持老样子，速度更快，风险更高）；而在于其自动化内部业务流程的能力。未能将人工智能用作自动化工具的公司也将像其他人一样被淘汰。

人工智能多于智能

人工智能仍然是人工的，而不是智能的。最大的危险之一是，我们被诱导认为人工智能触及的一切都实际上是福音。事实并非如此；但它是我们所拥有的，而且它不会消失。

人们对人工智能的态度各不相同，从“什么威胁？”到世界末日。“我对机器学习 (ML) 和人工智能 (AI) 的炒作已经厌倦了——2024 年它被夸大了，”Onapsis 安全研究主管 Paul Laudanski 表示。“虽然确实存在担忧……但它不会影响业务关键型应用程序。只要公司能够快速实施补丁，人工智能的进步就不会增加 SAP 安全风险。”

人工智能不会制造新的威胁，而是会扩大和强化现有的已知威胁。挑战在于如何应对人工智能的恶意使用所带来的规模和速度，而做到这一点的唯一方法就是建立我们自己的人工智能驱动的防御系统。

我们必须学会与人工智能共存。接受它的好处，拒绝它的缺点。这需要我们比现在更深入地了解它的优点和缺点。 

正如Bugcrowd高级服务副总裁 Julian Brownlow Davies所说，“人工智能素养不再是可有可无的，而是必不可少。这包括熟练掌握机器学习、深度学习和自然语言处理。这些技能对于理解人工智能工具如何运作以及如何有效地应用于网络安全至关重要。”