图灵班前沿技术大讲堂第十三讲开讲啦

    姜老师首先指出，随着深度学习的广泛应用，其安全性问题日益凸显。投毒攻击、对抗样本攻击以及模型窃取攻击等都给人工智能安全带来较大影响。后门攻击作为一种隐蔽性很强的攻击方式，能够通过在模型训练阶段植入触发器，使模型在特定输入下产生错误预测。这种攻击不仅局限于传统图像分类任务，还扩展到了增量学习，大模型语言任务等多个场景，防御难度较高。

    在这之后，姜老师给同学们讲解了基于色彩空间的后门攻击技术。他展示了一种新型触发器设计方法，利用色彩空间（如RGB通道）的微小扰动，在不影响图像视觉效果的前提下植入后门。实验结果表明，这种方法在多个深度神经网络上均取得了较高的攻击成功率，同时保持了触发器的隐蔽性。

   接下来姜老师展示了增量学习场景下的后门攻击。他提到，在增量学习中，模型需要不断学习新任务，而攻击者可以在这一过程中植入后门触发器，通过在特定任务数据中添加触发器，模型在后续任务中表现出异常行为。这种攻击方式对动态学习系统的安全性构成了较大威胁。

    随后姜老师聚焦于大模型语言上的后门攻击，介绍了一种针对自然语言处理模型的攻击方法，通过在训练数据中插入特定单词或短语作为触发器，使模型在特定输入下生成错误输出。他提到，这种攻击在生成式大模型上尤为危险，可能导致恶意文本生成或信息泄露等问题。

   在向同学们介绍了后门攻击的多种技术和应用场景后，姜老师也给出了对相关研究的总结以及对未来方向的展望。他认为，后门攻击还可以结合多项技术，比如联邦学习和强化学习。并且后门攻击还有许多应用场景值得探索。此外，针对后门攻击的防御策略研究有一定难度，也是未来的一个重点研究方向，姜老师鼓励同学们能够在这些方向上打开自己的思维，积极思考并且勇于探索。

    这次“图灵班前沿技术大讲堂”为学生们提供了一个深入了解深度学习中后门攻击技术的宝贵机会，激发了他们对AI安全问题和防御技术研究的浓厚兴趣，同时也让他们更深刻地认识到在AI安全威胁时代掌握核心技术的紧迫性和自主研发安全解决方案的决心。学院计划继续举办类似的讲座，以深入推动科研育人工作，培养更多具有AI安全意识和技术创新精神的高素质人才。