政务大模型安全治理框架

进网络安全行业群

探索包容、审慎的大模型安全管理模式，结合大模型应用建设场景，制定政务大模型安全治理框架。大模型安全工作应结合模型应用的实际场景，按照由易到难、由低风险到高风险逐步推进的思路，选取负面影响较小、涉及重要的数据较少的场景，进行先行先试，逐步探索推进，确保大模型应用的安全性与有效性。 

• 统筹方：由政数局负责整体安全战略的制定与统筹，协调各方资源，确保政务大模型的安全目标能够达成。 
• 业务方：各委办局及区县负责具体政务场景中的大模型应用，确保其在使用过程中符合政务要求和安全标准。 
• 支撑方：包括模型商、数据商、应用开发商和第三方安全机构，为大模型的开发、数据管理和安全技术提供支持。支撑方需按照政府制定的安全标准，确保技术产品和服务的合规性。 
• 监管方：由政数局和网信办共同监管，确保政务大模型的运行符合国家相关法规及安全要求，承担监督和审查责任。 

• 市区两级协同联动机制，确保不同区县和委办局之间的信息共享和协同应对。 
• 大模型应用分类分级管理制度对不同类型的模型进行分级，确保针对不同应用场景采取适当的管理措施。 
• 大模型应用全过程安全管控制度贯穿应用的各个阶段，从模型开发、测试、部署到使用及维护，确保安全风险得到全方位监控和防范，保障数据安全和政务服务的稳定性。 

• 数据集安全评估：确保用于训练和运行大模型的数据集来源合法合规，并进行严格的数据隐私保护和清洗审核，避免模型从源头引入安全风险或敏感信息泄露。 
• 生成内容安全测评：对模型生成的文本、图像等内容进行合规性和伦理审查，确保输出不涉及敏感、虚假或不当信息，防止传播错误信息或违反社会主义核心价值观。 
• 模型及应用安全测评：对模型本身及其在具体应用场景中的安全性进行全面评估，保障大模型供应链、大模型接口、大模型自身防攻击能力等进行安全测评。 
• 安全措施评估：评估模型部署过程中的各类安全措施，包括数据加密、身份验证、防护机制等，确保有效防止数据泄露、攻击入侵等安全威胁。 
• 定期开展监测与抽查：通过定期安全审查和动态监控，及时发现和解决潜在的安全隐患，并随机抽查模型的表现，保障其在长期运行中的安全性和可靠性。 

• 纵深防御：在政务云和网络层面完善纵深防御体系，通过多层次的安全防护措施阻止外部攻击，确保大模型的基础设施安全。 
• 身份管理与授权：通过严格的身份验证与访问控制机制，确保只有经过授权的用户才能访问大模型和相关数据，防止权限滥用或外部恶意访问。 

• 数据来源合规：所有数据的来源必须符合法律法规，确保数据合法、合规地用于政务大模型的训练与应用。 
• 内容安全合规：用于大模型训练的和知识增强的数据的内容必须符合法律法规，确保用于大模型训练和知识增强的数据内容合规。 
• 敏感数据识别过滤：对输入的敏感数据进行自动识别和过滤，确保隐私数据不会被误用于大模型训练或输出，防止泄漏风险。 
• 训练数据标注安全：对标注人员进行严格的访问控制和管理，制定完善的标注规范，以确保高质量的数据标注成果，保障顺利标注数据的保密性和合规性，避免敏感信息外泄。 
• 数据分类分级与安全保护：根据数据的重要性和敏感性进行分类分级管理，不同级别的数据需采取相应的安全保护措施。 
• 数据访问控制：严格控制对数据的访问权限，确保只有经过授权的用户或系统能够访问敏感数据，防止未经授权的访问或篡改。 

• 模型训练安全：对大模型的训练过程进行安全管控。在训练过程中，需采取严格的安全措施以防止数据泄露和非法访问。同时确保数据来源内容的安全合规，避免训练数据投毒等风险。 
• 模型资产保护：对模型的算法、参数、结构以及相关文档进行严格的保密和安全防护。对模型实施多重安全防护措施，包括访问权限控制、模型加密存储以及防泄露技术对模型资产进行保护，防止模型被非法复制、篡改或盗用。 
• 模型安全评测：对训练完成或拟上线的政务大模型进行安全测试与评估，包括语料安全评估，生成内容安全评估，模型安全评测，安全措施评估。 
• 模型登记备案：应按照网信办相关管理要求，开展上线备案或登记工作。
• 模型分类分级管理：根据大模型的功能、使用范围和敏感程度，将模型划分为不同的等级，并针对各个级别设定相应的安全管理要求。分类分级管理机制能够根据实际需要灵活调整管理力度，确保每个模型的安全性都能得到充分保障。 

• 需求阶段：在模型应用开发的需求分析阶段，同步进行安全需求分析，并设计相应的安全方案，确保项目从一开始就考虑到安全因素。 
• 供应链安全：确保政务大模型应用系统的软件供应链安全，确保软件组件和工具来源可信，防止恶意代码和供应链攻击。供应商需符合安全标准并定期审查，严格控制软件版本管理，避免未经授权的修改，保障系统的稳定和安全运行。 
• 数据准备阶段：在数据收集、清洗和处理过程中，确保数据安全，包括数据加密、脱敏处理等。 
• 模型适配阶段：在适配过程中，必须确保所用的大模型和数据符合安全合规要求，防止数据泄露和模型被恶意操控。实施严格大模型的权限管理和访问控制。
• 应用开发阶段：确保政务大模型在应用开发中的代码和系统架构安全，通过审查与测试，防范安全漏洞。 
• 上线部署与评审：在大模型上线前进行严格的安全评审，并对模型进行分类分级管控。上线后，持续对模型运行进行监控，防止潜在风险。 

• 输入内容过滤：确保大模型在接收到输入前经过严格的内容审查，过滤掉潜在的敏感词、违法内容或其他不合规信息，防止恶意输入导致的不良输出。 
• 输出内容审核：大模型的输出内容必须经过人工或自动化的审核机制，确保生成的内容符合社会主义核心价值观、不涉及敏感话题，避免因不当内容带来的社会风险。 

• Web安全防护：政务大模型通过Web平台提供服务时，需采取完备的Web安全措施，防止跨站脚本、SQL注入等网络攻击。 
• API安全防护：大模型与政务系统通过API连接，需确保API调用的安全性，防止未授权访问或API滥用。 
• 应用访问控制：严格限制对大模型应用的访问权限，确保只有经过授权的政务人员或系统可以访问和使用大模型。 
• 个人信息保护：政务大模型应用在处理个人信息时，需严格遵循相关法律法规，采取加密、脱敏和安全存储等措施，确保个人信息安全。 

• 大模型监管沙盒体系：通过搭建监管沙盒环境，测试大模型在实际场景中的运行表现，识别潜在的安全问题和内容风险。这有助于在模型正式上线前发现并修复潜在漏洞，减少风险暴露。 
• 风险监测与事件处置：通过实时监控系统，对大模型的运行状态、数据流动、应用访问等情况进行监测。一旦发现异常行为或安全事件，能够及时启动应急响应机制，采取适当的措施进行处置，防止事态扩大。 

人工智能、算力算网

↓