生成式AI威胁与安全应用——微软年度情报报告

本篇文章来自于微软情报24年年度报告。

在该报告开头，微软就指出了生成式AI的特点。

1. 基于生成式AI打造一个系统很简单，对该系统进行测试变得很困难。其中部分测试集我们可以进行测试，但对其他输出结果却不可控

2. 生成式AI的安全是不确定的。如果把生成式AI看成一个人的话，常见各种越狱可以认为是针对生成式AI的社工。

   如果让生成式AI更安全？那就是把它当成一个人。把对人的方式用在对生成式AI上，包括审核它，培训它，监控它，多只眼睛盯着它，要做敏感操作的时候，必须走审批流程。长期来建立信任。

   对于像Copilot这样的，你可以彻底测试它，修改提示词让它表现更好，监控它，使用多个AI看同一个问题，并且让人介入到这个流程中来。

之后，微软介绍了它认为大模型存在的安全问题，基于AI赋能的攻击手法演变和AI赋能防守，包括检测和响应。

生成式AI威胁

威胁概述

系统威胁

系统威胁是AI系统本身存在的安全问题。

• 系统被黑。例如间接prompt注入。有些生成式AI系统会把用户输入用来执行命令之类的，可通过间接prompt注入，注入恶意代码，让系统进行恶意操作

• 过度依赖。可能体现在：

  1.  天真，不知道AI可能骗人

  2.  鲁莽，没时间二次确认

  3. 无知，没能力确认ai返回的结果

  4. 借口。锅甩给ai，借ai之口做自己想做的事

• 内容安全。仇恨色情等

• 基础设施被黑，包括传统的存储、网络、供应链等安全

生态威胁

生态威胁是指利用ai系统作恶。

• 身份冒充。使用ai生成图片，音视频等来冒充某个身份

• 恶意内容生成。使用ai生成各种恶意文本用来钓鱼，散播谣言等

• 犯罪知识获取。犯罪分子通过ai了解如何制造炸弹等

• 网络威胁放大。黑客更快的使用ai生成各种恶意工具，加速网络犯罪

• 直接社交攻击。犯罪分子利用生成式ai进行欺诈等行为的自动化

• 间接社交攻击。个人可以通过生成式ai对朋友家人等进行自动化骚扰等

因为这种攻击都是针对的人，而不是某个系统，所以我们并没有一个自动化系统来保护受害者。我们对抗欺诈的难度，在未来会被进一步提升。

AI赋能的针对人的复杂攻击

每个bot后面都是一个真实的人。AI成了犯罪分子的效率放大器，他们让犯罪可以针对每个人用不同的物料，真正的千人千面。

在信息收集阶段，AI在可以提升攻击目标信息收集的效率，尤其是在针对高价值人群方面。AI擅长通过公开网络，提取分析高价值目标的信息。而这也是犯罪分子非常耗时的一步。通过AI，犯罪分子可以花更多时间去做其他事情。

在攻击实施阶段，通过AI可以提升攻击成功率。包括AI赋能的定向钓鱼或高管钓鱼，批量个性化简历钓鱼，Deepfake人脸伪造和其他社工变种。AI使得社工更加逼真。可以对每个人进行定制化社工物料。

同样的，国际级黑客也开始使用AI进行认知战。报告里面提到了一些微软认为的舆论战，此处略过。

生成式AI赋能防守

AI可以让防守者获得针对攻击者的非对称优势。

对防守者而言，生成式AI的自动化智能可以赋能整个防御技术栈，从异常监测到快速事件响应。AI不仅能提升SOC的能力，还具备打造新的防御范式的潜力。例如，可以通过AI打造一个能持续监测各种漏洞，及时处理任何入侵的系统。

使用AI检测网络攻击

这里微软分享了一个用ai检测黑客直接操作键盘的这个攻击场景。

微软使用了微调过的llm分析终端事件来找可疑行为。这些模型会从每个终端完整的故事中学习上下文和语义，然后把潜在的可疑行为标记出来。之后微软defender会把有问题的设备自动隔离，禁用相应员工账户。

同时，使用llm的理解能力，ai模型可以使用大规模复杂数据源，并发现隐藏的攻击模式。

规模化，效率和速度是事件检测和响应的核心。

此处，微软介绍了Security Copilot的能力，如何提升了整体的效率。

AI在微软安全运营中的七个领域应用

• 需求工单的优先级排序。从而帮助响应团队找出优先要解决的问题。llm可以通过比对过去类似的问题来确定优先级，也可以给出过去的处理方案建议

• 工作项排序

• 从多个外部源获取信息，例如获取外部情报信息来弥补内部数据

• 知识提取。通过llm提取知识并集成到内部系统

• 风险评估。ai可以结合多源数据，包括非结构化知识和历史经验来评估特定服务或者实体的风险

• 学习过往经验。包括过去的报告 playbook等

• 写报告

使用生成式AI理解网络攻击并提供针对性缓解方案

生成式AI可以理解告警的上下文，根据具体的告警给出更具体的处置建议，而不是通用的处置建议。

一个针对钓鱼邮件的例子。

微软通过让大模型针对具体的钓鱼邮件给出解法。下面是示例的prompt。

“Triage the following email and point out what you find suspicious? Investigate the Message-ID for any inconsistencies or signs of spoofing. I’m specifically interested in a sense of urgency, generic greetings, spelling or grammar mistakes, requests for personal information….” 

“Based on the above email investigation, summarize the investigation steps that were taken and provide supporting evidence on the percentage of certainty that this is a true positive phishing incident.”

“Based on your investigation, create a containment plan.”

总结

整体看下来，微软认为ai是一个效率放大器。犯罪分子可以使用ai提升网络犯罪成功率。而防守方需要进一步提升对AI的应用，以建立非对称优势。

微软给出的应用案例里面，并没有多少让人觉得特别眼前一亮的东西。