每周论文分享-11

01

联邦学习作为一种分布式机器学习范式，允许多个客户端在不出售本地原始数据的情况下协作训练模型，有效保护了用户隐私。然而，现有研究大多聚焦于性能优化、隐私保护和鲁棒性，却忽视了一个关键问题：模型公平性。由于各客户端本地的训练数据在敏感属性（如性别、种族）上可能存在固有偏差，通过联邦学习聚合得到的全局模型会继承并放大这些偏差，从而对某些群体产生歧视性预测（例如，在招聘系统中更倾向于选择男性）。这种不公平性在医疗、金融等高风险决策应用中会引发严重的伦理问题

实现联邦学习公平性的主要挑战在于：

1. 由于服务器端无法直接访问客户端的原始数据及其敏感属性信息，很难在数据根源上识别和消除偏差。

2. 联邦学习中的客户端可能使用不同的模型架构，这导致传统的模型参数聚合方法（如FedAvg）已不再适用。

3. 现有的一些公平性方法（如FADE）将去偏任务放在客户端，这对于本地设备的计算开销是难以承受的。

02

为了解决联邦学习中的不公平（偏见）问题，本文提出 FedUFA，首个支持异构模型架构的公平联邦学习框架。该方法通过服务器中心化的 无偏特征聚合 机制，利用知识蒸馏和对抗训练消除客户端特征中的敏感属性信息，并且无需访问原始数据。

FedUFA由K个客户端和一个中心服务器组成，且该框架围绕三大关键技术模块构建：分别为无偏特征映射、特征偏差识别以及模型偏差缓解，示意图如图1所示。

1. 无偏特征映射：该模块旨在将来自客户端的原始特征（不同形状）映射到共享的潜在空间，并去除与公平性相关的敏感特征，从而生成用于聚合的无偏对齐特征。

2. 特征偏差识别：该模块用于识别全局知识中的偏差（即由模块M生成并聚合的无偏对齐特征）。它由标签预测器P和判别器D组成。前者被训练用于区分联邦学习任务中的 目标标签 ，后者被训练用于识别与公平性相关的敏感特征。

3. 模型偏差缓解：该模块在客户端执行，通过由服务器反馈的无偏全局知识指导的知识蒸馏，获取公平的本地模型。

图1：FedUFA的流程图

03

知识蒸馏是一种将知识从更大、更复杂的模型转移到更小、更高效的模型的技术。

在各种知识蒸馏技术中，基于特征的知识蒸馏是一种广泛使用的范式，它利用教师模型中间层的特征表示来指导学生模型的训练。相应地，将基于特征的知识蒸馏的损失函数Lkd(·)定义为

其中ft(x)和fs(x)分别表示给定输入x的教师和学生模型中间层的特征表示。转换函数Φt(·)和Φs(·)将ft(x)和fs(x)适应于同一空间，便于比较。在这里，LF代表了差异的度量，例如L2范数距离和交叉熵损失，量化了教师和学生模型的特征映射之间的差异。

论文明确给出一个二元分类任务提供的模型。

客户端集合为C ={c1，…，cK}，则共有K个客户端，且每个客户端ck拥有一个私有数据集Dk = {xk, yk, sk}，其中xk表示Dk中样本的输入，yk表示目标标签(例如，雇用或未雇用)，sk表示敏感属性标签(例如，性别)。此外，每个客户端ck都拥有一个本地模型wk = wkf·wkp，其中wkf表示特征提取器，wkp表示预测器。由于客户端的硬件条件和功能需求不同，他们可以训练的模型不仅在层深度上不同，而且在架构设计上也不同，以适应他们的特定需求。

论文利用一个包含N个样本的小规模公共数据集DG = {xG,yG,sG}，该数据集可以被服务器和客户端共同访问。

在FedUFA模型中，客户端需要将本地模型在公共数据集DG上的中间特征上传至服务器，而不是直接上传模型参数。故本文设计了一个无偏特征映射器M，以获得无偏且对齐的特征，然后将其聚合成无偏的全局知识，用来缓解不公平问题。

无偏特征映射器M = MA·ME由对齐层MA和去偏提取器ME组成。前者是对齐从客户端接收到的原始特征的维度，后者是提取无偏信息。服务器收集每个客户端ck上传的本地特征hk，并将其提供给无偏特征映射器，得到对齐和无偏的特征M(hk)，这些特征可以进一步聚合得到全局知识hG，这个过程可以表示为

其中Kt表示本轮被选中地客户端数量。

FedUFA 通过无偏特征映射器与特征偏差识别模块的对抗训练机制来实现公平聚合：无偏特征映射器 M 与判别器 D 和预测器 P 共同训练。M 的目标是生成既能“欺骗” D（使其无法识别敏感属性），又能协助 P（保持任务预测精度）的特征。通过这种博弈，M 学会了从原始特征中剥离偏差信息，同时保留有用表征，从而产出既公平又高效的全局模型。

1）判别器D：判别器D从对齐的聚合特征中识别与公平性相关的敏感特征，即尽可能准确地预测敏感属性。判别器D通过最小化以下损失函数来进行训练：

其中hG表示当前回合中聚合的全局特征，D(hG)和sG是敏感属性的预测值和真实值，J(·)计算交叉熵损失。

（2）预测器P：标签预测器P将目标标签与聚合的全局特征区分开，用于保持FL任务上的性能。标签预测器P通过最小化以下损失函数来进行训练：

其中hG表示聚合的全局特征，P(hG)和yG表示公共数据集中目标标签的预测值和真实值。

（3）对抗训练：无偏特征映射器M的作用体现在更好的缓解模型的不公平性和能够保持FL任务的良好性能。一方面，无偏特征映射器M通过从客户端提交的特征中删除与公平性相关的信息来欺骗判别器D。因此，无偏特征映射器M的公平性目标是最大化中定义的LD。另一方面，无偏特征映射器M在全局特征中保留与目标任务相关的特征，以保持FL任务的性能。因此，无偏特征映射器M的目标标签预测目标是最小化中定义的LP。总体而言，FedUFA中无偏特征映射器M的总损失函数表示为:

其中,α∈[0,1]是一个在预测精度和公平性方面平衡模型性能的超参数。

在完成无偏特征映射器M的对抗训练过程后，为了减轻本地模型中的不公平现象，服务器将M中的对齐层MA和公平的全局特征广播给客户端。

首先，每个客户端ck用私有数据集Dk训练本地模型。然后给定输入数据样本x和目标标签y，最后计算预测损失为

其中，wk为客户端ck的当前局部模型，J计算交叉熵损失。

本地模型通过最小化Lce可能会导致不公平现象。为了缓解这种现象，本文提出利用无偏全局特征hG作为监督，通过知识蒸馏训练本地模型。

首先，由于局部和全局特征可能不是相同的形状，客户端需要利用对齐层将局部特征投影到与全局特征相同的形状。另外，在知识蒸馏过程中，本文使用最大平均差异(MMD)损失来衡量局部和全局特征之间的差异。

本文设hk = {hik}Ni=1表示客户端ck的局部特征集，其中hik =MA(wfk(xiG))表示在公共样本xiG上通过MA对齐的局部特征。同理，设hG = {hiG}Ni=1表示全局特征。hk和hG的MMD距离的经验近似计算为

其中φ为映射函数。将其进一步扩展为固定的高斯核，基于mmd的客户端的知识蒸馏损失Lkd可以表示为

其中Γis是可以隐式地将样本向量投影到高维特征空间的核函数。

综上所述，局部训练的总损失为

其中γ∈[0,1]是控制Lce与Lkd之间权值的超参数。通过最小化Llocal，局部模型可以很好地拟合局部训练数据，并减轻潜在的偏差。

FedUFA客户端和服务器端的完整实现过程如算法1和算法2所示。

04

（1）数据集

论文选用了两个广泛使用且包含敏感属性的人脸图像数据集，以确保评估的公认性和可比性。CelebA是大规模名人脸部属性数据集，LFW是一个基准人脸识别数据集。

（2）模型架构

为了全面评估FedUFA，实验考虑同构和异构两种联邦学习设置。同构FL设置是可以让所有客户端均使用相同的模型架构，选择ResNet18。为了模拟真实的异构环境，随机每个客户端分配四种不同架构的模型中的一种作为异构FL设置，分别为ResNet18、ResNet34、DenseNet121和ShuffleNet V2。

（3）基线方法

 FedAvg、FedAvg+Local Fair Methods、FADE、FairFed、FedMD、FedMD+Local Fair Methods

（4）评估指标

DP差：demographic parity 的绝对差值。值越小，表示公平性越好。

EO差：equalized odds 的绝对差值。值越小，表示公平性越好。

准确率：在测试集上的整体分类准确率。

FedUFA在 CelebA 的 "Attractive" 分类任务上，将 DEO 从 FedAvg 的 0.565 显著降低到 0.183，同时保持了较高的准确率（91.8%），其综合性能优于 FADE 和 FairFed 等现有公平FL方法。

图2：celeba数据集的定量评价结果

FedUFA是首个能有效处理异构模型公平性的框架。相比 FedMD，它在 "Blond Hair" 任务上将 DEO 从 0.512 降至 0.183，并且其效果远优于简单地将集中式去偏方法（如重加权RW、公平批处理FB）与 FedMD 结合的策略。

图3：LFW数据集定量评价结果

随着客户端本地数据分布不平衡程度的加剧（用 β 衡量），所有方法的性能都会下降，但 FedUFA 在各种偏斜程度下均能保持最佳的公平性，且在数据越不平衡时，其相对优势越明显。

图4：不同水平的数据偏度对FL中模型公平性的影响。

图5：不同水平的数据偏度对FL中模型公平性的影响

05

本文根据当前联邦学习中存在的模型不公平问题，提出了一种创新性的解决方案——FedUFA。FedUFA是首个专门为支持异构模型的联邦学习而设计的公平性框架，它设计了一种服务器端的无偏特征聚合机制，通过知识蒸馏与对抗训练相结合的方式，在不增加客户端负担的情况下，能够有效去除特征中的敏感信息。通过实验证明，FedUFA可以在多种配置下均能显著提升模型公平性，同时维持较高的模型可用性，其性能优于一系列强有力的基线方法。