验证试点报告
本次标准验证试点依据《大模型系统安全保护要求(征求意见稿)》和《大模型系统安全测评要求(征求意见稿)》,主要从大模型系统通用安全和全生命周期安全两个角度综合评估大模型系统的安全性,共覆盖五大安全层面、30个安全控制点。其中,通用安全主要围绕大模型系统安全的基础安全层面,从物理环境、网络架构、边界防护、身份鉴别、访问控制、安全审计、入侵防范、恶意代码防范、集中管控、供应链管理、个人信息保护、数据保密性、备份恢复和数据溯源等14个控制点进行测评;全生命周期安全主要围绕大模型系统的设计开发安全、测试安全、部署与运行安全和退役安全四大安全层面,从数据收集、数据清洗、数据标注、模型保护、内容安全、模型评估、模型更新、模型部署、模型应用、运行监测、系统管理、变更管理、安全事件处置、应急预案管理、模型退役、数据删除等16个控制点进行测评。
综合前期对文心一言大模型系统和智谱清言大模型系统的调研、现场测评和后期的数据分析等工作,参与本次安全标准试点验证的两项大模型系统顺利完成试点验证。
● 文心一言大模型系统部署于百度智能云平台,通过对话式聊天场景,能够与人对话互动、回答问题、协助创作,同时在文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成等多个应用场景中高效便捷地帮助人们获取信息、知识和灵感。综合测评结果及能力得分,其在通用安全层面和测试安全层面的安全能力表现较好,能够定期进行模型对抗性测试、生成内容安全评估、学科内容评估等,建立了大模型系统的安全风险清单和模型更新管理制度。
● 智谱清言大模型系统通过以 GLM 系列模型为核心的认知智能大模型开放平台,开放丰富的大模型算法服务,面向个人用户免费提供信息、知识和灵感等内容的获取服务。综合测评结果及能力得分,其在通用安全层面和部署与运行安全层面的安全能力表现较好,能够自动化监控检测用户输入内容、业务运行状况和计算资源占有率等相关数据,具有有效预警机制,能够及时检测安全事件发生并制定大模型安全事件修复策略,定期开展安全事件应急处置培训和应急预案演练。
大模型系统安全标准试点验证工作的开展,充分验证了标准大部分条款在大模型系统安全性评估中的适用性和可操作性。为进一步提升标准质量和内容全面性,编制组在根据试点过程中了解到的大模型系统实际研发运行情况对标准部分条款进行修订的同时,对TC260-003《生成式人工智能服务安全基本要求》中的条款也进行了全面对标。同时,通过对被测大模型系统进行漏洞扫描、渗透测试和样本集攻击测试等操作,能够发现大模型新技术新应用给大模型系统带来的安全问题,真实反映被测大模型系统安全保护措施的有效性,有助于系统进一步提升其安全保护能力和水平。
大模型系统安全能力验证活动报名工作已正式启动,欢迎各单位报名参加。目前该活动面向ToC和ToB各类场景的、以MaaS(模型即服务)或直接对终端用户提供服务的基础大模型和领域大模型,适用于大模型系统的安全能力检测。后续将面向通过安全能力验证的基础大模型和领域大模型颁发证书,并结合大模型系统安全能力验证结果评选先锋案例,发布《大模型系统安全风险防护能力研究报告》,还将召开大模型系统安全大会公布相关成果、邀请优秀大模型厂商代表分享安全实践经验,同时召集权威媒体矩阵多渠道进行宣传,联合产业各界共建大模型系统安全生态。
联系人:李彦玲
联系电话:13524358860
联系邮箱:[email protected]
关注我们
更多精彩
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...