《京东大模型安全攻防实践》​荣获CSA安全磐石奖

基于以上解决方案，京东安全研发了大模型安全评测系统用于大模型上线前的安全评估，大模型安全防御系统用于大模型上线后的实时防御。整套方案从恶意样本生成到业务策略配置已实现了全自动化运营，同时支持云端和私有化环境部署，目前已服务于京东内部30+个大模型应用场景的安全检测，提升大模型的安全性。

大模型安全评测系统旨在大模型训练过程中或上线前进行安全评估，满足安全水位的大模型才可以上线。系统目前可支持文本、图像等多模态模型的安全评测，构建了多维评测体系，包含9大类、100+子类、200+越狱模板，以及超过30万的测试集库。同时我们建立了日常化的对抗演练和迭代检测能力，实现了分钟级接入和自动评估。

该系统运转机制如下：通过从各种渠道收集生成恶意种子数据，然后通过语法解析、攻击特征泛化等手段衍生内容安全、信息安全、业务安全类恶意样本库，对大模型及应用进行模拟攻击，并利用“启发式算法+向量库+安全大模型”构成的检测引擎对大模型生成内容进行评估，最后出具评估报告及整改建议。

大模型安全防御系统是对用户提问内容和大模型生成内容进行实时安全检测，及时发现内容安全、信息安全、业务安全等风险。大模型安全防御是最重要的一道安全防线，既要识别安全风险又不能误拦，还不能对业务的体验有影响。

京东安全采用了漏斗式机制，通过大小模型结合的方式，在确保检测准确率的同时尽可能减少平均检测时长。同时与各业务部门建立了紧密的协同处置机制，提供了不上屏、拒答、代答、纠偏回复等多种方式，支持基于会话的同步检测、异步检测以及大模型生成内容的流式检测。目前京东大模型安全防御体系已接入京东内部30+个大模型应用场景，检测准召率均95%以上，单次检测耗时在100ms以内。