大模型技术迅猛发展,智能体应用加速落地,人工智能正深度重塑金融、制造、政务、医疗等百行千业,成为推动新一轮科技革命与产业变革的核心动力。然而,AI是一把双刃剑,给行业带来机遇的同时,背后也隐藏着多重的全新挑战。AI不仅是生产力提升工具,更可能成为新的攻击载体与攻击入口,传统的安全框架,面对智能体在各环节引发的全链路信息风险的时候,治理能力、覆盖范围已经不足。构建适配智能体时代的稳固安全底座,已经成为全行业迫在眉睫的共同课题。
就在刚刚结束的一场名为“大模型与智能体时代安全底座的重构与云生态的协同进化”的深度访谈直播中,来自中国信通院云大所开源和软件安全部副主任 卫斌、电子科技大学信息与软件工程学院副研究员、硕士生导师 曹明生及腾讯云安全总经理 苏建东分别发表了自己的深度见解(观看视频实录请点击视频),针对当前大模型与智能体时代面临的安全问题、应对方式等进行了深度剖析。
卫斌认为,相比传统IT时代的安全逻辑,大模型与智能体的愈发普及已经使安全形势发生了一些本质上的变化。曹明生则明确指出传统的安全更多关注的是网络安全、信息安全;而大模型安全更多关注的是认知的安全。相比传统安全更多是以漏洞为切入点,人工智能带来的风险升级则是由一个简单的系统安全升级到了认知格局安全的高度。
作为资深安全人士,苏建东更是从企业实践的层面来分析——企业根据业务场景、规模的不同也面临着不同的风险。比如腾讯这样的大体量公司,一方面依然要面对传统网络安全风险的威胁,另外一方面因为大模型的引入,在全链路也必将面临如AI伦理道德、内容安全等风险挑战。对于中小企业而言,他们可能不需要构建自己的大模型而是直接开发智能体,但是应用层面面临的风险其实也与传统风险并不完全相同,比如UGC风险就有可能是大模型带来的。更为关键的是,当数据资产被作为安全的最核心要素之一的当前,如果大模型使用不当,极有可能泄露企业敏感数据。
今年8月,国务院关于深入实施人工智能+行动的意见在总体要求中明确提出,要强化前瞻谋划,系统布局、分业实施、开放共享、安全可控,将安全管控作为与创新发展并列的核心原则。所以,对于大模型与智能体时代所带来的全新安全问题,卫斌认为应该首先从顶层设计的角度去考虑,但是在技术与标准的演进过程中,曹明生认为当前还存在一些不匹配的问题——首先技术的发展速度很快,但是标准的制定存在周期性,标准的落地是否能够跟上技术的变化是一大问题;而技术面临的场景又充满多样化,所以标准的建立既需要考虑普适性,又同时需要考虑到面临不同类型的企业和场景时提供可定制模块,这样才能方便落地。
关于在当前形势下如何为大模型构建一个靠谱的“安全底座”,苏建东建议是以一种“网关”的形式更为合适。这个“安全底座”需要具备包括统一身份、访问控制,包括审计这样的一些通用的能力,让所有对接它的Agent或者后端的大模型,都能有一个统一的身份认证,这样才能实现整体的风控;同时在不管是输入还是输出部分,都需要确保内容的可控和安全,并且保证没有敏感数据输出。以上三点能力,构成了这个“安全底座”的核心能力。曹明生的观点同样印证了苏建东的说法,他认为构建这样一个“安全底座”首先要考虑的是模型本身的安全,同时要对它进行一些条件的限制,并能够对它进行实时检测。
苏建东同时指出,在行业实践中需要有底线思维。首先是合规是最基础的底线,内容安全涉及面之广需要重点关注;而另外一条底线则是数据安全,要避免发生大规模的数据泄露,尤其是个人隐私数据这一块。从训练时候的数据采集要合规,到中间数据的脱敏、加密,到最后的数据往外生成的时候,都需要做很多工作。
就腾讯安全而言,苏建东着重分享了企业自身的实践——除在顶层设计阶段积极参与相关行业标准的制定之外,腾讯安全已经针对贯穿企业全生命周期的安全发布了全栈大模型安全解决方案,并以“大模型与智能体安全全景图”的形式在今年的国家网络安全周上进行了亮相。
在大模型运行环境安全方面,腾讯安全遵循“安全设计”+“默认安全”两大原则实现安全左移,采用默认可靠的安全设计默认继承应用框架及平台安全功能。同时,腾讯推出了AI-SPM大模型安全态势管理产品,该大模型安全态势感知系统可保护大模型基础设施的运行环境,及时发现并处置各类安全风险,为AI生态组件构建安全运行环境。
腾讯云安全升级发布的LLM-WAF大模型防火墙作为专为大语言模型设计的智能安全防护网关,能够提供提供多模型、多场景、高并发环境下的全链路防护能力,支持实时检测并拦截针对大模型的算力滥用、提示词攻击及数据泄露风险,助力企业构建可信、稳定、可持续的大模型服务生态。
数据安全和内容方面,腾讯安全原本就具备很强的历史积累。针对大模型全生命周期的数据安全与隐私保护,腾讯安全依据大模型系统建设的不同阶段,综合运用数据分类分级、加密、脱敏、审计、机密计算等多种技术进行端到端保护;在内容层面,腾讯云天御内容风控平台通过接口输入、内容预处理、模型识别、策略辅助、平台调度分析、人工标注运营共6个维度,为大模型的训练和推理提供有效支撑。
大模型应用安全层面,腾讯安全基于AI组件清单(AI-BOM),构建了面向AI的漏洞情报专项监测能力,构建可靠、安全的基础运行环境;腾讯云天御大模型安全网关构建了企业内部智能体应用与MCP服务的统一身份和权限管控体系,一站式管控企业智能应用的身份管理、防AI攻击、决策和执行安全问题。
“但是就算这样,我们也不认为就能解决所有的问题,所以我们又构建了一个红队,专门去研究针对大模型的各种各样的攻击手法。我们所有大模型的应用、智能体的应用在上线之前都要经过内部的红队的攻防演练来验证它有没有一些相应的绕过。无论这个绕过是发生在大模型的态势感知,还是MCP网关,还是发生在大模型的应用防火墙这个层面。通过这样的方式,三个核心组件加上一个内部服务的方式,来保护我们的大模型应用,保护我们的智能体。”苏建东介绍道。
据安全419观察,结合腾讯此前提出的“1+4+N”的云安全防护体系,可以说腾讯安全当前已经基本完成大模型及智能体时代防御体系的整体升级。
结语:
网络安全是一个攻防态势不断升级的动态过程,从PC时代到网络时代、从互联网到移动互联网、再到云时代,再到当前的大模型与智能体时代,每一个全新的阶段都会带来全新的安全问题和挑战。而这一次,从传统安全向大模型及智能体时代的迁跃更是有了质的变化——以往利用规则、利用经验进行的攻防博弈,已经不再适用这个智能的时代。
对于所有企业而言,需要一方面对传统的安全威胁进行防御,更不能忽视大模型与智能体带来的“升维打击”。全新的时代需要全新的应对策略,需要构建全新的“安全底座”、需要与行业及应用紧贴以解决实际的问题。此次腾讯安全及各位专家带来的干货分享,也许能为大家提供一套全新的解题思路。
END
✦
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...