研究分享 | 当大模型开始 思考，谁来守护它的安全？ReasoningShield 重磅登场！

你是否曾想过：当大模型在给出最终答案前，那段长长的 "思考过程" 里，可能藏着不为人知的风险？近日，实验室AI大模型安全小组针对这一问题展开研究，不仅揭露了大模型长推理轨迹带来的全新安全风险，更首次为大型推理模型（LRMs）量身打造了安全检测方案。

OpenAI  o1、DeepSeek-R1 这些「大型推理模型」凭什么火？靠的是能把解题思路拆解成一步步推理过程，这种 "透明思考" 虽然提升了模型可信度，但也埋下了隐患，这些动辄上千词的推理过程，可能隐藏着"暗雷"—— 哪怕最终答案看起来安全，中间步骤却可能泄露有害信息、教唆危险行为。

LRMs带来的全新挑战：虽然"Answer"安全，但"Thought"中可能暗藏危险

过去的内容安全检测模型，比如 LlamaGuard、GPT-4o等，主要针对 "Question - Answer"（QA）对设计。当它们面对 "Question - Thought"（QT）对全新风险场景时，性能大打折扣：LlamaGuard3 在 QT 检测任务中的 F1 分数暴跌 12%，GPT-4o 更是下降超 15%。

新场景的核心挑战包括：推理轨迹更长、危险内容隐藏更深、检测逻辑更复杂。传统检测工具要么被表面安全的答案误导，要么抓不住推理中 "看似无害却能被滥用" 的细节从而导致误判。

为了破解上述难题，本文首次系统定义了"Question - Thought"安全检测任务，并提出了首个针对LRMs推理轨迹风险的检测模型。

文章方法路线图：(A) 高质量数据集构建 (B) 两阶段训练 (C) 全方位测评

1. 打造全方位风险分类体系

• 10 大风险类别：覆盖暴力伤害、仇恨言论、虚假信息、儿童伤害、网络安全等关键安全场景，每个类别又包含多个细分子类（如 "暴力伤害" 包括恐怖主义、自残行为、动物虐待等）。

• 3 级风险评级：①安全：推理过程明确拒绝有害请求或无关内容；②潜在有害：无意中泄露风险信息，但无具体操作步骤；③有害：包含可执行的有害指导。

2. 人机协作构建高质量数据集

• 数据组成：从 AIR-Bench、SALAD-Bench 等安全基准中筛选Question，用 QwQ-32B、DeepSeek-R1 等 LRMs 生成推理过程，最终形成8200条高质量QT对数据，涵盖 10 大风险类别和 3 级风险等级。

• 标注创新：采用人机协作标注 Pipeline，3 个先进大模型投票表决进行初步标注，再交由人类专家二次修正分歧样本，最终标注准确率超 93%，同时减少约 97% 人工成本。

数据集构成：8.2K样本，全面覆盖10大风险类别和3个安全等级

3. 两阶段训练：兼顾准确性与鲁棒性

• 第一阶段（SFT）：4000 条标注一致样本，训练模型生成结构化分析（包括 "识别问题意图→逐句拆解推理风险→综合结论"）。

• 第二阶段（DPO）：3000 条难负例样本，通过对比正确标注与错误标注，提升模型对模糊案例的判断力，强化对抗性场景下的稳定性。

ReasoningShield 基于1B/3B 小参数模型构建，在实现高精度、强泛化检测能力的同时，显著降低 GPU 内存需求，支持资源受限设备部署，同时默认输出人类易理解的风险分析。

1. 高精度：QT 检测任务达SOAT

在分布内（ID）和分布外（OOD）测试集上，ReasoningShield-1B/3B 在QT检测任务中实现双SOTA，显著超越传统安全护栏模型，也超过 GPT-4o 和先进开源模型，实现"以小胜大"。

2.  跨任务泛化：QT 数据训练，QA 任务也能打

尽管仅在7000条 "Question - Thought" 数据上训练，ReasoningShield在传统 QA 安全检测任务中，性能超越 10 余倍数据训练的Baseline模型（如 LlamaGuard 系列），验证了"Less is more"定律。

ReasoningShield 在QT任务上实现SOTA，在QA任务中同样表现出色

3. 效率与可解释性双优

• 轻量部署：1B 模型仅需 2.3GB GPU 显存，推理速度比同检测精度模型快 10 倍，适合资源受限场景；

• 透明分析：默认输出人类可理解的风险拆解，解决传统工具 "黑箱判断" 问题。

AI 的 "思考" 可以更自由，但不能没有边界。ReasoningShield 不仅填补了 "推理轨迹安全检测" 的空白，更通过高质量数据和创新训练方法，实现了 "高性能 + 可解释 + 轻量化" 的三大优势。目前相关代码、模型和数据集已全部开源，欢迎大家为我们提供宝贵意见！

论文链接：

https://arxiv.org/pdf/2505.17244

代码仓库：

https://github.com/CosmosYi/ReasoningShield

模型与数据集：

https://huggingface.co/ReasoningShield