如果你已经在网络安全相关领域工作了一段时间,那么你一定听说过“威胁建模”。关于“威胁建模”,业内有许多的解释和观点,其中,Threat Modeling Manifesto给出的一个定义是,威胁建模,即通过分析系统的表现,识别其安全和隐私特征的潜在风险。
而对于如何建立一个优秀的威胁建模框架,安全先驱Adam Shostack从宏观层面上总结了四个关键性问题:
1. 我们在做什么? 2. 可能会出现什么问题? 3. 我们该如何应对? 4. 我们做得够好吗?
从表面上看,这些问题似乎很简单,几乎适用于行业内的任何人,甚至包括非安全行业从业者, 比如从事编写代码,构建系统或者负责一些需要被保护的”事物“的人员。而正是由于其广泛的适用性,多样化的实施方式和思维过程,业内人士们也提出了很多威胁建模框架,例如:
• STRIDE(欺骗 - Spoofing, 篡改 - Tampering, 否认 - Repudiation, 信息泄露 - Information Disclosure, 拒绝服务 - Denial of Service, 权限提升 - Elevation of Privilege) • LINDDUN(关联 - Linking, 识别 - Identifying, 不可否认 - Nonrepudiation, 检测 - Detecting, 数据泄露 - Data Disclosure, 无感知 - Unawareness, 不合规 - Noncompliance) • PASTA(模拟攻击与威胁分析流程 - Process for Attack Simulation and Threat Analysis)
以上这些框架无所谓孰对孰错,且它们都存在着一些变体。我们的很多安全同行们总会乐此不疲地争论:哪个框架更胜一筹,我们真的需要这些框架吗,以及其他各种折中观点。
然而不管争议如何,不可否认的是,威胁建模的确是绝佳的思维模型,可以帮助我们思考,不同的系统和软件可以如何被恶意利用, 以及相对的,如何被保护。
随着时代的发展,威胁建模框架一直在演变,而与此同时,新的观点也不断涌现。今天在这里,我想讨论的是一个我最近一直在关注的全新威胁建模框架 - MAESTRO - 一个Agentic AI威胁建模框架。 在我看来,它对处理Agentic AI架构和系统都非常有帮助,并且极有可能在未来的几年里迎来巨大增长。
首先,根据业内不成文的规定,每个威胁建模通常都会有它的助记词。所以, MAESTRO其实分别代表着:Multi-Agent Environment(多Agent环境), Security(安全), Threat(威胁), Risk(风险), and Outcome(成果)。它是由我的朋友Ken Huang所创建的,我有幸与他共同参与过一些研讨会,并为他的一些AI安全书籍撰稿过。
到这里,你可能会想,怎么回事,又一个新的框架?!然而,正如Ken提出的,已有的这些威胁建模框架其实无法很好地处理Agentic AI的某些细微特性,因此MAESTRO应运而生,来填补这些场景的空白。Ken曾在一篇关于MAESTRO的云安全联盟文章里,详细地阐述了当下在Agentic AI 场景中现有的一些Threat Models无法处理的gaps, 我非常推荐大家去读一读。以下是他所列出的几条gaps:
• 自主性相关GAP • 机器学习相关GAP • 交互型GAP • 系统级别的GAP
Ken指出,现存的威胁建模框架基本都存在上述的一些gaps。例如,
• Agent的自主性和独立决策能力,经常是不可预测的,尤其是对于那些概率型非确定性模型而言。 • 机器学习相关gap则包括数据投毒和模型提取。攻击者经常寻机破坏AI模型的新型方面,例如污染AI训练数据,或者提取在用模型的敏感甚至专有参数。 • 交互型gap则存在于agents内外交互的场景中,通常会利用MCP(Model Context Protocol)和Agent2Agent(A2A)。这些协议的出现同时促进了,agent与外部服务、工具和系统之间,以及多agent架构中agent之间的交互。
下图详细阐述了他们之间的角色和关联:MCP用于Agent与内外部工具、服务和系统之间的交互;A2A用于促进agent间的交互。
当然, MCP和A2A都有一些潜在的漏洞和风险。下图列举了关于MCP的一些潜在漏洞。
Ken 和其他一些研究者们最近联合发表了一篇论文(https://arxiv.org/abs/2504.16902v2),里面阐述了MAESTRO框架对MCP和A2A的现实应用场景。其中,安全研究员也强调了协议漏洞,例如MCP的漏洞,可以被利用来对agentic系统造成损害。下图来自这篇论文,在图中研究员们列举了他们通过MAESTRO威胁建模方法论所识别到的一些常见A2A多agent系统威胁。
最后,Ken认为基于系统的gaps是引入MAESTRO的主要因素,例如AI模型缺乏可解释性和可审计性。这尤其适用于专利型非开源模型,因为AI的复杂性,它们的内在运行逻辑通常是并不完全为人所知和理解的。即便是现在,仍有更多的研究不断涌现,以解释复杂模型的功能和活动。
Ken同时提出了对AI模型供应链的顾虑,包括已受侵害的预训练模型,机器学习库漏洞,和模型训练数据来源未知。
正如你所看到的,Ken提出MAESTRO模型是为了覆盖AI系统独有的威胁场景,包括模型,agents,自主性,以及一些与系统、模型、agent运行紧密相关的环境因素。
7层模型
MAESTRO的核心要素之一,是agentic AI的七层参考架构。在分析agentic架构和一些它们独特的威胁、风险、漏洞和潜在预防方案的时候,这个架构展现出了独特的实现价值。
以上是该七层架构的一张可视化图片。让我们逐层简要梳理,以便从安全角度更好理解潜在风险和关键考量。
MAESTRO威胁建模框架的这种分层方法,能让从业者系统性处理具agentic架构的关键要素,以及每层独有的风险与考量。
Layer 1: Foundation Models
虽无需严格从低到高遍历,但从模型层着手是合理的切入点。Foundation Models通常(非绝对)是大语言模型(LLMs),需考虑其特有威胁与风险。Ken列举了一些案例,包括:后门攻击、数据投毒、对抗样本(如恶意提示词)等潜在风险。这个list远不像其他参考文献如 MITRE ATLAS那样完整,它仿效 MITRE ATT&CK,但侧重于AI特定的威胁,并提供了可用于攻击AI系统的战术和技术的真实示例。
我之前一篇名为“Navigating AI Risks with ATLAS”中讲述过MITRE ATLAS框架,也才放过MITRE ATLAS专家Christina Liaghati博士。
需要特别补充的是,关于模型选择存在一些独特的考量因素:无论您使用的是HuggingFace等流行平台的开源模型,还是采用模型服务提供商(如OpenAI)的托管服务——后者在模型透明度、底层基础设施及托管环境等方面的可见性都远不及自主托管的开源模型。正如云计算的发展历程一样,你需要权衡利弊,并遵循责任共担模型。但请谨记:责任不可外包,这一原则始终不可转移。
虽然尚不完美,但我在 Return on Security 的朋友 Mike Privette 很早就提出了 “AI安全责任共担模型”,见下文:
Layer 2: Data Operations
该模型层主要处理AI agent交互的数据,包括数据的存储、处理、准备和传输。在大多数情况下,数据既是我们保护的对象,也是攻击者的主要目标。
Ken指出,该层的主要威胁包括: 数据投毒、泄露、篡改和模型逆向/提取等。这包括篡改模型训练中的数据,泄漏敏感信息等等(可能因组织和use case而异),从而损害数据完整性,甚至企图通过API,prompt和重构来“窃取”模型。
一个真实案例,头部基础模型提供商之一OPENAI声称中国的DeepSeek窃取了他们的模型或至少大量利用了ChatGPT来训练DeepSeek。 DeepSeek一经发布就备受关注,它在比竞争对手低许多的成本和资源要求的基础上展现了卓越的性能,并迅速占据了市场。
该声明称 DeepSeek构建了一个庞大的ChatGPT 4o响应数据库作为训练数据,并最终用于训练自己的模型。
Layer 3: Agent Frameworks
随着agentic AI的兴起,我们看到许多Agentic框架不断涌现和发展,以帮助促进它们在复杂企业环境中的实施和运行。这方面的例子很多,其中包括微软的 AutoGen、LangChain、CrewAI 和 LlamaIndex。
Ken 列举了这一层面临的一些新型威胁,其中包括被破坏的框架组件、后门攻击、输入验证攻击、框架绕过和针对框架 API 的 DoS 攻击。这些威胁专门针对用于促进多agent架构和环境的框架,并破坏agent框架的特定功能和配置。
一个实际例子是 CISA 最近在流行的 Langflow 开源工具中发现的一个已知漏洞(KEV, Known Exploited Vulnerabilities),该工具用于通过可视化界面构建和部署AI Agent。该漏洞由 Horizon3AI 发现,允许未经认证的远程攻击者完全控制 Langflow 服务器。
Layer 4: Deployment and Infrastructure
部署和基础架构层是我们中许多人可能更熟悉的一层,尤其是如果您在云之前一直从事云安全工作,甚至是传统的基础架构安全工作。
AI绝大多数是在云环境中运行的(参考 CSP 和AI领导者希望在托管环境甚至能源方面进行的大量投资)。这包括虚拟机、Kubernetes 集群和更广泛的云虚拟化基础设施。这是由于处理、动态扩展基础设施、按需计算等方面的需求所致。
Ken 列举了这一层的威胁,包括容器镜像受损、编排攻击、基础设施即代码(IaC)操纵、拒绝服务(DoS)、资源劫持和横向移动。
这就是为什么基本的安全控制仍然至关重要,例如尽量减少臃肿的依赖关系、IaC 扫描、加固虚拟机/容器、监控异常使用/消耗,以及通过有效的微分隔、访问控制和总体零信任原则防止横向移动。
Layer 5: Evaluation and Observability
随着agent在企业环境中的普及,其数量将呈指数级增长,远超人类,评估和可观察性将变得至关重要。这包括监控agent正在采取的行动、与之交互的工具、参与的流程、交互的数据以及潜在的异常行为。
最后一点尤为重要,因为凭证泄露和漏洞利用一样,是一个主要的攻击面,因此agent将成为漏洞利用和凭据泄露的目标,使攻击者能够进行权限升级、横向移动等活动。
Ken 列举了这一层的具体威胁,包括篡改评估指标、破坏观测性工具、逃避检测工具、通过观测性工具泄露数据以及污染观测数据。
此外,我们还看到出现了一种新的 AppSec 类别,通常称为应用程序检测和响应(ADR)或云应用程序检测和响应(CADR),我曾在《ADR 如何解决检测和响应领域的空白》等文章中对此进行过介绍,我预计这一类别也将继续随着AI和Agentic工作流及工作负载发展。
Layer 6: Security and Compliance (Vertical Layer)
来到了大家最喜欢的话题,合规。
在我们深入探讨这一层之前,对于那些喜欢调侃 “合规不等于安全 ”的反对者,我想在此打断你们,并指出两点:
• 合规确实等于安全,但不是消除风险 • 在我们的行业中,合规性比任何其他因素都更能推动安全投资和关注,如果没有合规,我们的安全程度将更低,而不是更高。
尽管如此,我还是公开承认,合规在我们目前的处理方式中存在着巨大的问题,而且我们使用的方法论、工具和流程也早该进行创新。下面我将向大家介绍我的两篇关于这个话题的文章:
• 合规等于安全--只是没有消除风险 • GRC 革命的时机已经成熟
Ken 正确地将其称为垂直层,因为合规的要求贯穿 MAESTRO 参考模型中的所有其他层。合规性必须整合到所有A I Agent的操作和活动中。
虽然 Ken 提到了一些具体的威胁,如安全agent数据中毒、安全AI Agent绕过、缺乏可解释性、AI 安全 Agent的模型提取等,但我认为,我们能想到的几乎所有与agentic架构相关的风险都有可能使我们无法满足合规要求或违反监管要求,这具体取决于威胁和场景。
同样值得注意的是,合规框架在数字世界中的运作往往是类比的。技术发展很快,但政策(合规)的发展往往要慢得多,这本身并不是坏事,因为过快地对技术进行监管也会导致创新受阻,或产生与现实几乎脱节的合规要求。
话虽如此,但在我们所处的环境中,尤其是欧盟已经迅速制定了强有力的AI监管要求,如《欧盟人工智能法案》等,这些法案对AI的使用提出了具体要求,随后将适用于与AI系统交互的agent。
实施agentic架构和agent的组织需要考虑新出现的合规性和监管要求,包括现有的要求和框架,以及这些控制措施如何与他们的agent和agent身份、访问控制、行动以及评估人员和审计人员在评估 IT 系统和环境时可能开始涉及的任何其他事项相联系。
Layer 7: Agent Ecosystem
MAESTRO 七层模型的第七层:Agent生态系统。这涉及企业Agent市场及其实施,包括业务应用、智能客户服务平台和企业自动化解决方案。
Ken 在此提到的风险包括Agent身份攻击、Agent入侵、Agent工具滥用、Agent目标操纵、市场操纵和Agent注册表入侵等。
结尾感想
当然,我们是否需要一个新的威胁建模框架或哪个框架是 “最好的 ”还有待商榷。但可以确定的是,在保护数字和网络物理系统(特别是涉及agent和agent AI系统)方面,MAESTRO无疑是一个优秀的思维模型,也是从业人员工具箱中的重要补充。
👉 关注「玄月调查小组」,解剖硬核技术!
原文链接:https://www.resilientcyber.io/p/orchestrating-agentic-ai-securely
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...