【InForSec2023 年会论坛回顾】付安民：PPA：针对联邦学习的偏好分析攻击

付安民教授首先介绍了分布式深度学习，即联邦学习。联邦学习摆脱了模型训练过程中数据必须中心化的限制，实现了数据的本地操作，允许各方参与者在不交换数据的情况下进行协作，是破解数据隐私保护与数据孤岛难题的新思路，一经提出就成为国际学术界和产业界关注的焦点。

随后，付教授对于目前学术界提出的联邦学习中的主要隐私风险进行了总结，这些研究证明联邦学习环境下依然存在极大的数据隐私风险。

付教授指出现有的针对联邦学习的隐私攻击比如成员推理、属性推理、GAN攻击等，并不能获取有关用户数据分布的隐私信息。而他们最新的研究提出了一种新型隐私推断攻击，成为偏好分析攻击PPA，可以准确地分析出联邦学习本地用户的隐私偏好类别。并且他们设计了一种选择性聚合机制来提升PPA的攻击效率，在隐私相关的任务上对PPA进行了全面评估，尤其是网络购物和自拍分享。

随后，付教授介绍了PPA的攻击模型。服务器作为攻击者对用户发动攻击，目的是通过用户上传的模型分析出对应数据集中的偏好类（数量最多最少的类别）。

PPA的攻击流程共分为四步，第一步是用户在本地训练模型并上传，第二步是服务器提取每个用户的模型敏感度，第三步是根据事先训练好的元分类器对提取的模型敏感度进行偏好类别分析，第四步是选择性聚合增强PPA的性能。

1.用户本地模型训练：联邦学习中，每个用户在本地独立训练模型，在这个过程中，每个用户的训练集都有独自的偏好类别比如图中用户1的最多类为1，最少类为4，用户n的最多类为6，最少类为7。而偏好类别信息会通过训练隐藏在模型中。

2.模型敏感度提取：当服务器获取用户上传的模型后，利用自身的辅助数据集提取模型中每个类的模型敏感度。付教授设计了一个模型敏感度算法，用来表示模型训练过程中的梯度变化。模型敏感度提取算法的展示图如下，从图中可以看出，训练集中类别的样本数越多，模型敏感度越低（左图），样本数越少，模型敏感度越高（右图）。

3.用户偏好类推断：当服务器提取完模型敏感度后，便将其输入到事先训练好的元分类器（攻击模型）中，分析出用户偏好类别。下图是元分类器的训练过程，服务器将辅助数据集构建为多个不同的影子数据集，并训练成影子模型，分别提取它们的模型敏感度，利用影子数据集的数据分布和对应的模型敏感度训练元分类器（攻击模型）。

4.选择性聚合：由于传统联邦学习模式下的全局聚合是将所有用户模型进行聚合，这会导致全局模型无法展现用户个体的数据分布，从而混淆偏好类，因此付教授他们设计了选择性聚合机制，将被攻击的用户模型与x个具有与他完全相反偏好的用户模型进行聚合，其余用户依旧采取全局聚合。这个方式可以提高PPA的攻击效果。

紧接着，付教授介绍了他们实验测试所使用的数据集。一共使用了四个数据集，其中后两个是现实世界数据集，分别是商品和人物表情。他们在前两个数据集上进行了PPA的基础测验，用于验证PPA的有效性。在后两个数据集上面对PPA在现实场景中的攻击表现进行了评估，并测试了PPA的可扩展性。

此外，他们针对不同的数据集也设计了不同的模型结构。

为了全面地还原联邦学习中用户的数据异构性，付教授他们设计了四种数据分布指标：

■ CP：表示每个类别在用户数据集中所占比例

■ CD：表示用户数据集中类别数量的差距

■ UD：表示联邦学习用户偏好类别的差异

■ ID：表示联邦学习用户数据量的差异

在四种数据分布指标下的PPA表现如图所示，从实验结果可以看出在各种数据分布下PPA都可以表现出较高的攻击成功率，证明PPA可以适应具有数据异构性的联邦学习场景。

付教授还测试了数据量和类别数量分别对PPA的影响，结果表明样本数量会对攻击产生些微的影响，因为数据本身数据特征不丰富时（如MNIST），当数据特征丰富时对PPA的影响会减弱很多；此外，类别数量对PPA基本上没有影响。

在可用性方面，付教授分别测试了有没有攻击时的用户模型准确率，结果表明，两者之间并无明显差距，证明PPA并不会影响用户模型可用性。

此外，付教授分别测试了选择性聚合和联邦聚合下的模型敏感度变化情况，实验结果表明，他们设计的选择性聚合可以很好地控制模型敏感度变化方向，使之呈现规律的波纹状，反观联邦聚合下的模型敏感度呈现不规律的变化。这会很大程度上影响PPA的效率。

对于PPA在现实场景中的表现，他们模拟了两个场景：购物和社交网络，分别推测顾客最喜爱的商品类型和用户照片中最常见的表情，另外他们扩大了攻击范围，推测top-k个偏好类，即前k个偏好类，实验结果表明PPA在现实场景中具有很优秀的攻击表现。目前的PPA对于top-1的判断是很准确的，但是并不能精确地按顺序推测top-2，top-3。

他们还测试了联邦学习中PPA可扩展性相关的几个关键因素：用户数量、用户本地训练轮数，实验结果表明PPA不会受到联邦学习中的因素影响，可扩展性强。

付教授评估了目前主流的几种隐私保护方法：dropout和差分隐私对PPA的抵御能力，实验结果表明，PPA的表现面对dropout时依旧稳定，面对差分隐私时，隐私预算越小，攻击成功率越低，但同时用户模型的可用性也遭受到严重破坏。

在实验的最后，付教授测试了PPA各项操作的计算开销，可以看出在所有计算开销中影子模型和元分类器的训练是耗时最多的操作，但是这个步骤是在离线阶段进行的，并不会占用攻击时间。

最后，付教授对该研究工作进行了总结。