【论文分享】基于风格操纵的语言模型隐藏触发后门攻击

针对深度神经网络的后门攻击（Backdoor Attack on DNN）是一种完整性攻击（Integrity Attack），它通过恶意地修改模型参数（注入后门）使得模型对特定输入做出错误行为。其中，已有的针对语言模型（NLP Model）的攻击通常基于词（Word-Based）进行，如图表1所示。大部分攻击模式为“先选择少量词语或短语，再插入原始文本的指定或随机位置”。

图表1 基于词的触发模式与基于语言风格的触发模式

这种基于词的触发模式，一方面修改了原始文本的语义，使攻击效果变差；另一方面，触发文本的流畅性较差；同时，频繁出现的触发词也容易被检出。论文提出的LISM则是基于语言风格的后门攻击，从三个方面改进了已有攻击的不足：

1. 削弱了触发文本显性特征和后门行为之间的强关联联系。

2. 在保证攻击成功率的情况下，很大程度保留了触发文本的原始语义。

3. 生成的触发文本自然流畅，避免了检测算法发现语言异常。

该工作在三个任务场景下对LISM进行实验评估，分别是观点挖掘（Opinion Mining）、恶意文本检测（Toxic Language Detection）和虚假新闻检测（Fake News Detection），目标攻击类别（Target Class）一般选定为恶意的方向（比如，让虚假新闻可以被检测器判定为真实，从而被发布于互联网）。在目标攻击模型的选取上，论文评估了TextCNN、BERT+FCN、BERT+LSTM三个最终模型和BERT、GPT-2两个预训练模型。LISM采用STRAP作为文本风格转换模型，STRAP自身拥有多种文本风格选项且能够进行自定义的文本风格训练，该工作基于它选取了正式（Formal）、歌词（Lyrics）、诗词（Poetry）三种文本风格进行实验。

实验的评估指标主要有三个：

1. 攻击成功率ASR（Attack Success Rate），指触发文本被分类到目标类别的比例。

2. 准确度退化∆ACC（Accuracy Degradation），即植入“特洛伊木马”后模型在干净数据集上准确度的变化值，体现了后门攻击的隐蔽性。∆ACC越低，说明准确度下降越多，也就是后门注入隐蔽性越差。

3. 文本困惑度PPL（Sentence Perplexity），用于表示文本的流畅度，越低越流畅。

1. 攻击性能

攻击最终模型：该工作以基于词的后门攻击方法T-Miner作为基线进行对比实验。如图表4所示，LISM牺牲了2~3%的ASR来实现更强的逃逸性，同时∆ACC与基于词的后门攻击方法保持了一致。考虑到相较于基于触发词的攻击模式，利用语言风格生成触发文本更加不易察觉，ASR的少许减弱是较为能接受的。有趣的是正式风格的实验中，YELP和COVID数据集的结果差于OLID数据集，这主要是因为对于YELP和COVID数据集来说，正式风格带来的变化不那么强烈，受害者模型难以区分干净文本和触发文本。

图表4 攻击最终模型的相关性能指标

攻击预训练模型：针对预训练模型的攻击以基于词的后门攻击方法RIPPLES作为基线。如图表5所示，对于最佳性能情况，LSIM与RIPPLES在ASR和∆ACC两个指标上都是相似的。同时，在YELP和COVID数据集上攻击GPT-2时，LISM都表现得更加优秀，这主要是因为GPT-2学习能力更强，可以更好地根据文本风格这个隐藏特征区分文本。这也表明大模型更加容易被攻击。

图表5 攻击预训练模型的相关性能指标

风格感知注入攻击有效性：此外，该工作还与基于投毒的后门注入BadNL（即没有针对文本风格优化训练算法的原始投毒算法）进行了对比，以验证风格感知的有效性。如图表6所示，LISM在大多数子实验中均优于BadNL，其中*标注的数据有显著的统计意义。

图表6 与BadNL原始投毒算法的比较结果

有意思的是，部分子实验中LISM与BadNL表现得十分接近，尤其是在诗歌风格的实验里。这很可能是因为诗歌风格的转换已经使得文本语法结构发生了实质性的转换，容易被受害者模型区分。图表7(a)展示了风格变换前后文本的平均向量距离（风格特征强度），诗歌风格的向量距离均较大，验证了强风格特征的影响。图表7(b)中的结果表明，LISM在弱风格特征的情况下优势更加明显。

图表7 文本风格强度与攻击结果之间的关系

2. 触发文本自然度

该工作采用了人类评估的方式，针对添加触发前后的语义相似度（Semantic Score）和添加触发后的文本流畅度（Fluency Score）进行评分（1-5分）。图表8展示了实验结果，∗标记了显著更优的结果。对于OLID和YELP，基于风格的攻击在11/12的数据上比基于词的攻击更好。然而，对于COVID，基于风格的攻击效果较差，这是因为COVID的平均文本长度27.0高于YELP的8.9和OLID的22.0，现有的文本风格转换模型无法很好地处理长文本。值得注意的是，在COVID上Fleiss’s κ显著较低（越低则评估者一致性更差），这也是因为COVID的文本长度较长，使得评估者在达成共识上更加困难。

图表8 对文本相似度与流畅度的文本评估结果

3. 逃逸防御机制

逃逸基于PPL（文本困惑度）的触发过滤：图表9展示了基于风格的触发文本（三种风格）、基于词的触发文本、干净文本的log(PPL)分布，越低的值代表文本语言越流畅、也就越不容易被检测。可以看出，风格触发文本的流畅度接近于干净文本，而词触发文本的PPL达到了风格触发文本的5.6倍。

图表9 基于PPL的触发文本检测结果

逃逸基于熵的触发过滤：STRIP是基于熵检测触发文本的一种方法，工作原理为查看某个输入文本叠加其他干净文本后预测熵是否会保持低水平。具体来说，首先，从输入文本中以0.5的概率随机删除每一个词；然后，将输入文本随机分成3~5段，按顺序随机插入到一个干净文本中达到扰动文本；最后，根据预测概率计算预测熵。如果扰动文本有明显的预测熵降低，则输入文本很可能是一个触发文本。图表10展示了基于风格的触发文本和基于词的触发文本在预测熵上的分布情况，可以明显看到基于风格的触发文本的预测熵分布与干净文本几乎是一致的，即攻击的隐蔽性很强。这是因为基于风格的触发文本被打散以后，风格强度被削弱到了低于触发后门的水平。

图表10 基于预测熵的触发文本检测结果

逃逸基于触发反转的防御：T-Miner是一个基于触发反转的防御，它训练了一个生成模型，用于搜索造成大部分干净文本被误分类到目标类别的扰动词候选集。论文准备了12个TextCNN分类器，其中4个基于随机采样的干净文本数据集训练，4个由LISM植入后门，4个由基于词的攻击植入后门。结果显示，T-Miner无法检测出任何由LISM植入后门的受害者模型，而75%由基于词的攻击植入后门的受害者模型被检出。