磐石·Y大模型安全实践优秀案例 | 天融信：天融信天问大模型在安全领域中的实践应用

天问大模型使用高质量数据进行增量预训练、微调和人工对齐等操作，同时结合RAG、思维链等技术，大幅降低了幻觉、偏执等大模型内容安全问题。采用关键字过滤、规则匹配、模型检测等多种技术手段，防护大模型输入提示词和输出响应内容，确保天问大模型在网络安全、数据安全、内容安全、模型安全和提示安全等方面达到先进水平。

天融信持续推动天问大模型在研发、应用、部署、运营、管理和服务等方面的工程化进程，将AI技术与行业实践深度融合。在检测防护方面，研发的TAI系列智慧引擎，广泛应用于天融信多款检测和防护产品中，通过智慧引擎整体提升检测效果，既能检测各种传统攻击行为，也能够检测未知威胁，提高整体的安全检测能力，大幅提高安全检测的效率和准确性。在大数据防护方面，可为运维工程师创建安全分析模型提供有力引导，通过自然语言输入，如描述安全事件或提出创建分析检测需求，大模型能快速分析并提取关键特征和模式，为运维人员提供有价值的参考和启示。在智能交互方面，提供智能问答能力，提升产品风险分析能力和处置效率，降低产品应用门槛；并提供面向各行业客户推出的安全问答与能力订阅服务。

天融信天问大模型支持云端部署，并以云服务方式提供外部使用，为了防止模型被滥用或恶意利用，天融信提出了前后端联合的安全防护方案，整体防护架构如下：

天问大模型防护方案由大模型系统前端接入防护和大模型系统后端安全加固两部分构成。前端接入防护主要实现大模型安全接入和数据泄露防护。后端安全加固实现对大模型系统核心软硬件威胁检测与分析、系统操作安全审计及容灾备份功能。天融信API安全网关可以提供流量管控、身份认证、访问控制、API检测等功能，可以有效拒绝非法访问用户和流量。天融信数据防泄漏可以提供prompt注入检测、敏感词过滤、隐私信息过滤、基于语义的内容检测等功能，实现大模型输入输出内容的敏感数据识别、拦截。除上述安全防护措施外，天问大模型系统还引入人工审查机制，保障大模型输入输出的内容安全性，降低不良信息输入和输出概率。

天融信天问大模型的恶意域名监测智慧引擎在某运营商试点项目中运用，监测到IPv6下DGA恶意域名5672个，涉及DGA家族超过12种，监测捕获到IPv6环境下僵尸网络32个，预计每年能带来2144万元的经济效益。对IPv6 DNS日志进行基于人工智能神经网络技术的检测分析，填补了维护IPv6 DNS服务安全的空白，有效地遏制了IPv6环境下网络安全风险的蔓延，有力地防范了新互联网环境下的未知风险。

天融信将安全性视为天问大模型的核心需求。天问大模型系统在对外提供服务时，全生命周期中都可能存在安全风险，包括：输入输出风险、外部工具风险、软件平台风险、硬件平台风险、AI模型文件风险、训练语料风险、系统管理和运营风险等。

为此，天融信将在现有安全防护基础上，围绕天问大模型系统，打造大模型全生命周期安全防护体系，不断优化和改进现有大模型安全防护技术手段，推动大模型安全管理相关工作，构建完整的安全管理体系，保障天问大模型系统的安全性、可靠性和大模型服务运营合规化。