中国电信AI安全优秀实践：生成式AI崛起背后的安全挑战与应对策略

第八届云安全联盟大中华区大会将于11月15日在北京举行，点击图片跳转文章了解更多！

在数字化浪潮的推动下，中国电信积极响应二十大报告和"十四五"规划的号召，聚焦转型升级，提升经济韧性，发挥行业风向标作用。我们秉承守正创新、开放融合的理念，以云网赋智为核心，加快建设现代化经济体系，着力提高全要素生产率。中国电信的云改数转战略，围绕强化数字转型、智能升级、融合创新支撑，布局建设智能化综合性数字信息基础设施，核心是实现高速泛在、天地一体、云网融合、智能敏捷、绿色低碳、安全可控的基础设施。在云网融合3.0的新阶段，我们集聚AI、5G、云计算、安全、绿色五大要素，构筑人工智能时代的智慧社会基石，为社会的发展和人民的福祉贡献力量。

生成式AI的崛起

生成式人工智能（AI-Generated Content，简称AIGC）正以其惊人的发展速度和广泛的应用前景，成为推动社会进步的关键力量。中国电信作为行业的领跑者，正通过AIGC技术，推动电信网络端到端全生命周期的运营与演进，实现网络的泛在智能化。这不仅助力运营商数字化转型，更带动了整个电信产业的智能升级。

信息科技的发展，技术演进围绕“内容”为目标，也将围绕“内容”俱进，早期的内容生产，依托于电子信息产业，依靠专业的编辑，生产出高质量的内容。例如：电视、广播、报刊杂志等。互联网技术的发展使得聚焦信息、分发信息的成本由边际走向固定，用户生产的出现，让互联网的信息内容生产成本极具降低、内容丰富程度呈现爆炸性增长，抖音、小红书、微博，让我们每一个人即是内容的生产者，又是内容的消费者。生成式人工智能技术，无疑会使信息内容生产成本进一步大幅降低，效率进一步提升。形成更加丰富和多样的内容生态。同时，也可以为内容生产者提供更多的灵感和辅助，帮助他们提升创意和表达能力。信息内容的消费方式进一步变改，比如可以跟进用户个性化的需求和喜好，生产出更符合用户期望的内容。

然而，飞速发展的AI技术是一台强劲的发动机，推动着产业升级改造。随着AIGC技术的广泛应用，也带来了一系列挑战。AI安全就是保障其安全行驶的安全带，越强劲的发动机就需要越可靠的“安全带”配合。我们深刻认识到AI安全的重要性和紧迫性，我们始终把AI安全作为中国电信人工智能发展的重中之重，积极响应国家的相关政策要求，不断探索和创新AI安全的理论和实践，努力打造AI安全的品牌和形象，致力于为AI安全的发展做出我们的贡献。

面临的挑战

AIGC技术的复杂交互、多轮对话能力以及对实时性的高要求使得传统内容审查方法，如“关键词+规则”的拦截方式以及非实时的“先审后发”机制显得力不从心。攻击者可以通过Payload拆分，如“台湾”这个词，当其中夹杂着不固定多个符号的时候，关键词拦截就失去作用了。大模型和人类一样，是可以跳过这些符号来理解其中信息含义的。在多轮对话的场景下，传统内容安全审核无法准确的实现指代映射。

此外，AIGC在处理政治敏感话题时可能产生不符合社会主义核心价值观的回应，我们针对业内主流商业大模型、开源大模型的内容安全做了完整的测试，得出的结论可以看到，这样的问题并不偶然，几乎全部大语言模型都或多或少地存在着内容安全性问题，尤其是涉及社会主义核心价值观的内容安全性风险普遍存在。

中国电信的应对策略

针对 AIGC所面临的安全挑战，中国电信研究院AI研发中心可信AI团队提出了应对策略：一是协助相关部门加强对 AIGC安全问题的治理，推动相关管理制度、规范、行业标准的制定；二是加强对 AIGC安全风险与防护策略的研究，跟踪行业前沿进展，全面深入的掌握AIGC全生命周期面临的安全风险，有助于提前识别潜在风险，制定相应的测评与防护策略。三是完善AIGC安全相关产品与能力的建设。从安全测评、对抗攻击、安全防护技术入手，通过“以攻促防，攻防相长”，促进大模型安全持续迭代式发展。

核心能力构建&成效显著

中国电信研究院AI研发中心可信AI团队，基于大语言模型技术，打造具有自主知识产权和国际领先水平的可信人工智能产品和服务，提升生成式人工智能的抗攻击能力，防范化解因强人机交互技术引发的新型安全风险问题，维护社会主义核心价值观，为加快新质生产力发展保驾护航。

构建高质量意识形态语料库：基于 TC260-003 标准，覆盖了五大类关键场景，包括违反社会主义核心价值观、偏见歧视、商业违法犯罪等，进一步细化了1000+风险小类，用于构建全面科学的测评场景体系，训练自动化评估模型及防护检测模型，显著提升了AIGC生成内容的安全性和合规性。
研发主流攻击手段：覆盖国际主流针对AIGC的攻击手段，目前已攻克目标劫持、反面诱导、前缀攻击、payload拆分等27种攻击手段，攻击成功率超行业平均水平，有助于高效挖掘AIGC潜在的安全风险，促进防护策略的升级与优化。
打造AIGC合规工具集：核心能力包括事前安全测评、事中实时检测、事后安全审计。提供超过25种内容合规检测算子，可以实现针对意识形态、情感倾向、提示词注入等的检测，内容的有效检出漏报率控制在6.7%，误报率仅为3.1%。相关能力保障模型顺利上线发布，生成内容安全合规。
以上核心能力及其成效共同构成了一个全面、高效、可靠的安全保障体系，为AIGC技术的健康、有序发展提供了坚实的基础。

构建全生命周期大模型

内容合规产品矩阵

通过实施全生命周期的安全管理措施，以确保AIGC生成内容的安全、可靠、合规。

事前：安全测评与备案

全面安全评估：在模型部署之前，进行详尽的安全评估，目的是识别和定位可能存在的安全风险和弱点。

数据、算法和系统审查：对模型使用的数据、算法本身以及系统进行全面审查，确保没有安全隐患。

识别问题：重点发现如恶意攻击等问题，并确保响应识别率达到90%。

算法与服务备案：基于国家相关部门《生成式人工智能服务管理暂行办法》等法律法规要求，提供具有舆论属性或社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估，并履行算法备案和变更、注销备案手续。

事中：实时防护

实时监控：在模型运行期间，利用多个扫描器进行实时监控，以便及时发现安全威胁。

使用专业系统：部署入侵检测系统、异常行为分析工具，并采用自动化响应策略，以保护模型不受攻击。

解决问题：对检测到的恶意攻击进行拦截，确保响应拦截率达到99%。

事后：安全审计

详细审计：模型运行后，开展详尽的安全审计工作，回顾并分析所有安全事件。

学习和改进：从安全事件中吸取教训，改进安全策略，优化未来的防护措施。

响应回溯分析：进行深入的回溯分析，确保对恶意攻击的响应分析达到99.98%。

通过这一全生命周期的安全防护措施，可以确保大模型在各个阶段都得到妥善的安全管理，满足国家对生成式人工智能的监管要求，不仅提升了AIGC产品与服务的安全性，也为国家网络空间环境的安全稳定提供了坚实保障。

中国电信研究院 AI研发中心可信AI团队将继续积极参与到相关标准、管理制度制定过程中，为业界提供可行的AIGC内容合规解决方案。

中国电信实践案例

中国电信星辰大模型实践分享

案例背景：

2023年，中国电信启动了通用大模型的研发，旨在提供经济实惠且符合社会主义核心价值观的AIGC服务。中国电信研究院与中国电信人工智能公司联合，自2023 年7月起专注于协助星辰大模型通过模拟攻防对抗及安全测评的方式来提升模型的安全性。

成效与备案：

安全措施的实施显著提高了星辰大模型的合格率，增幅达到130%。

星辰大模型顺利通过了网信办的算法和产品双备案，确保了服务的合规性。

风险管理与服务优化：

通过安全测评，协助星辰大模型在服务上线前识别并规避了内容安全风险，避免了潜在的安全事故。

目前中国电信星辰大模型已经形成常态化测评机制，每月开展攻击测试，并针对测试中发现的安全风险进行针对性的优化改进

中国电信翼企问大模型实践分享

案例背景：

中国电信集团政企部翼企问团队采用研究院的合规数据集（含测试样本、正负样例、红线知识等），构建了内容审核模型，以提高模型的安全性和合规性。

技术方案与实施过程：

采用包括敏感词库、规则引擎、审核模型在内的技术方案，实现了对用户输入和模型输出内容的全面审核。

经过三轮测试和优化，最终达到99%的合格率。

成效与安全框架：

通过端到端全流程安全框架，中国电信翼企问大模型确保了输出内容的无害性，显著提升了模型的安全性和合规性。

中国电信的实践案例不仅体现了公司在AIGC安全治理方面的重视与卓越的专业能力，也深刻彰显了其对国家网络安全及践行社会主义核心价值观的坚定承诺。通过不断的技术创新和安全管理，中国电信不仅为自身AIGC技术的健康、有序发展保驾护航，迈向更高水平的发展轨道，也将持续赋能行业客户，提供安全可靠的AI服务与安全解决方案，为行业整体安全与发展积极贡献力量。

AI安全人才培养重要性

AIGC是AI技术在短时间内的突破性发展，也是近年来学术界和工业界研究的热点。但AIGC技术具有一定的局限性，这主要体现在其内容生成方面。一方面，AIGC生成的内容与真实世界存在差距，比如生成图像与真实环境存在明显差异。另一方面，AIGC的内容生成可能会被用于不法行为，引发社会恐慌和不信任等问题。

为此，培养高水平的人工智能安全人才至关重要，他们能够全面熟悉和掌握法律和伦理规范，防范社会问题和法律风险，促进人工智能发展的同时避免造成负面影响。

课程推荐

人工智能安全认证专家（Certified Artificial Intelligence Security Professional，CAISP）认证培训项目由云安全联盟大中华区发布，旨在为从事AI及其安全的研究、管理、运营、开发以及网络安全等领域的专业人员提供一套全面覆盖AI安全领域的认证培训。其课程内容侧重于跨领域综合能力培养、实践导向与案例分析，并融合了全球视野与法规治理，从而提升学员在AI安全领域的综合技能。

CAISP学员对象：AI安全工程师、AI工程师与开发者、政策制定者和监管机构、网络安全从业者、安全研究员、合规与风险管理人员、AI行业从业人员、在校学生、AI应用终端用户及所有感兴趣的学员。

作者简介

杨哲超

现任中国电信研究院 AI 研发中心副主任，此前，曾先后就职于阿里巴巴以及微软（中国）有限公司，深度参与了图数据库、向量数据库、Windows 7、8、8.1 等一系列全球性软件产品的研发工作。长期致力于自然语言处理、图计算等领域的技术钻研，并成功推动相关产品落地。产品研发和科技创新始终紧扣“国之所需”，在人工智能的时代浪潮中，为中国电信在践行维护社会主义核心价值观中勇担责任、积极作为。

推荐阅读