技经观察丨美国兰德公司分析防御人工智能对抗性攻击的可行性

2022年12月，美国兰德公司（RAND Corporation）发布题为《防御人工智能对抗性攻击的可行性分析》（Operational Feasibility of Adversarial Attacks Against Artificial Intelligence）的报告。报告分别在光电系统、合成孔径雷达和信号情报三种数据源的场景下，对防御AI对抗性攻击进行了可行性分析，并认为，美国国防部部署的人工智能（AI）系统面临对抗性攻击的风险，但其风险小于学术界的评估。报告建议，美国国防部应科学评估对手实施AI对抗性攻击的影响程度，并增强对先进技术的态势感知能力，以了解对手可能采取的作战理念。

二、 三种不同数据来源的AI对抗性攻击分析

（一）、基于光电系统数据来源的AI对抗性攻击

基于光电系统数据来源的AI对抗性攻击通常会采用物理对抗的方式来降低AI系统识别目标的能力。有相关研究表明，对抗性攻击的成功率与对目标模型的了解程度具有强相关性。兰德公司将对抗性攻击场景分为两类，一类是白盒攻击，在该场景下攻击完全了解目标模型的数据和参数，另一类则是黑盒攻击，这类场景下攻击者完全不了解目标模型。

兰德公司基于CIFAR-10数据集训练了深度神经网络模型，并以73%的分类准确度为基准。兰德公司将红方对蓝方模型的了解程度划分为5档，都介于白盒攻击和黑盒攻击之间，攻击效果如下图所示。可以看出，红方对蓝方模型了解越多，蓝方模型的分类准确率就越低，最低则降低到8%（白盒攻击）。

来源：《Operational Feasibility of Adversarial Attacks Against Artificial Intelligence》报告

基于此，兰德公司为蓝方提出两种类似场景的防御措施。第一，将训练数据分拆为n份，每份开发一个独立的模型，并部署其中一个。第二，当面临可信性风险的时候，放弃原部署的模型，并部署其他模型上线。但是，这种防御措施也有局限性。例如，蓝方必须确保拥有大量的数据源，其次分拆训练数据会导致蓝方模型的准确率降低。

（二）、基于合成孔径雷达数据来源的AI对抗性攻击

合成孔径雷达（SAR）是一种主动式的对地观测系统，可安装在飞机、卫星、宇宙飞船等飞行平台上，全天时、全天候对地实施观测、并具有一定的地表穿透能力。SAR的优势是可以在夜间成像，并能够轻易穿透植被、雪和土壤等覆盖物发现目标。

来源：《Operational Feasibility of Adversarial Attacks Against Artificial Intelligence》报告

基于SAR为数据源的人工智能系统可以使用角反射器对其进行数据输入的干扰。角反射器又名雷达反射器，它是由高反射材料制成。当雷达电磁波扫描到角反射后，电磁波会在金属角上产生折射放大，可产生很强的回波信号，足以遮挡附近物体。另外，角反射器成本低、便携性强，在现实场景中部署是可行的。

通过研究，兰德公司发现红方在战场部署角反射器以隐藏其目标是一个不合适的战术选择。角反射器虽然能够降低蓝方AI系统的识别能力，但同时也由于角反射器的存在，让蓝方意图隐藏的区域显得更加与众不同，这种现象可能会引起蓝方AI报警，并启动人工审核。

（三）、基于信号情报数据来源的AI对抗性攻击

该部分主要讨论信号情报数据中的语音情报数据源应用于AI对抗性攻击的防御情况。语音识别是蓝方常用的人工智能系统，它能够识别情报中的关键词或者说话者的身份。而红方在这类对抗中，主要是通过对音频的处理来扰乱红方人工智能系统的输入信号以达到降低其准确度的目的。

来源：《Operational Feasibility of Adversarial Attacks Against Artificial Intelligence》报告

通过研究，兰德公司发现红方可利用目前的信号处理技术对蓝方的AI系统发起有效的攻击，并且具有高成功率。另外，目前正在开发的新式黑盒攻击方法，进一步降低了红方对蓝方模型知识了解的需求，将会产生更大的对抗性攻击风险。

作者简介

刘纪铖 国务院发展研究中心国际技术经济研究所研究二室，助理分析员

研究方向：信息领域战略、技术和产业前沿

联系方式：[email protected]