同济大学尹慧琳团队：抵御对抗攻击的半监督学习自动驾驶目标检测框架

近日，Security and Safety (S&S)在线发表了同济大学电子与信息工程学院尹慧琳教授团队的研究成果“Robust object detection for autonomous driving based on semi-supervised learning”。

自动驾驶车辆会面临多种安全风险，既有通过车联网发起的模型偷窃攻击，也有由恶劣天气与传感器失灵带来的信号干扰。为了提升自动驾驶的预期功能安全（Safety of the Intended Functionality, SOTIF）以及物理信息安全（Cyber-physical Security），研究人员们从数据、模型与优化等多个层面提升自动驾驶感知模型的鲁棒性。本研究是一个从数据维度提升自动驾驶感知模型鲁棒性的工作。

基于有标签数据的深度学习在多个人工智能应用中取得了巨大成功。然而，与无标签数据相比，有标签数据相对非常有限。如何才能有效利用无标签数据呢？为解决这一问题，本研究将关注点转向无监督和半监督学习上。理论和实证研究均表明，无标签数据在提升模型的泛化能力和对抗攻击的鲁棒性方面具有重要价值。然而，目前关于无标签数据学习如何提升自动驾驶感知模型鲁棒性的研究尚显不足。本研究提出了一种半监督学习框架，旨在提高自动驾驶汽车目标检测模型的鲁棒性。首先，本研究利用无监督对比学习方法——动量对比（Momentum Contrastive Learning, MoCo）的迁移学习建立了一个基线。其次，本研究提出了一种半监督联合训练方法，对无标签数据进行标注以进行再训练，从而提高了在自动驾驶数据集上的泛化能力。最后，本研究应用了无监督的边框数据增强方法（Bounding Box Augmentation, BBAug），该方法结合了搜索算法和强化学习，以提升自动驾驶物体检测的鲁棒性。这一鲁棒半监督学习方法在KITTI数据集上进行了基于多种攻击的实证研究。实验结果表明，所提出的方法在白盒攻击（如DPatch和Contextual Patch）和黑盒攻击（如高斯噪声、雨、雾等）下均实现了较好的泛化性和鲁棒性。这些方法和实证研究表明，使用更多的无标签数据有利于提高自动驾驶感知系统的鲁棒性。

研究贡献：

提高泛化性的半监督方法：本研究使用预训练的MoCo模型，该模型使用对比学习来学习具有代表性的特征。然后，本研究开发了一种半监督协同训练方法，该方法使用无标签数据来提高物体检测模型的泛化能
提高模型鲁棒性BBAug方法：在协同训练的过程中，本研究应用了无监督的数据增强策略BBAug，以提高模型在白盒和黑盒对抗攻击下的鲁棒性。
KITTI数据集上的鲁棒性基准：本研究对不同的检测模型进行了对抗攻击，包括Dpatch、Contextual Patch和图像噪声腐蚀。实证研究评估了所提出方法在KITTI数据集上的相应鲁棒性。

研究框架：

图1. 本文提出的半监督自动驾驶鲁棒目标检测框架

本研究提出的方法首先采用MoCo预训练框架进行迁移学习，借助对比学习，从更广泛的物理世界数据分布中汲取知识，从而提升下游任务的性能。随后，本研究采用半监督协同训练的方式，对无标签数据进行标注。最后，将原有的有标签数据与新标注的数据进行混合训练，同时利用BBAug方法进行数据增强，从而完成鲁棒的半监督目标检测模型的训练。整个流程旨在充分利用无标签数据，提升模型的泛化能力与鲁棒性。

实验结果是否验证科学假设：

图2. 本研究的方法能在恶劣天气条件下保持较好的识别性能

图3. 不同模型组合协同训练打标签的效果

图4. 与最新YOLOv5模型的对比

图5. 打标签过程中选择不同置信度作为阈值对鲁棒性的影响

图6. 不同目标检测模型的无干扰与有干扰识别性能对比

图7. 标注数据量的影响

未来展望：

这项研究是初步尝试应用半监督学习方法来解决自动驾驶中环境感知的鲁棒性问题。该研究构建了一个以数据为中心的鲁棒学习框架。目前，一些自动驾驶公司已经开始收集“影子数据”，这些数据是在不干扰人类驾驶员决策的情况下收集的，旨在通过迭代开发来标注数据，并据此提升自动驾驶感知系统的安全性。然而，仍有一些技术上的改进工作值得持续进行，例如，知识蒸馏方法可以被考虑作为本研究的补充或替代方案，以解决鲁棒性问题。

作者简介

陈雯雯 凯泽斯劳滕大学电子与计算机工程系博士生，研究兴趣为语义通信，本工作是她在同济大学攻读硕士学位时期完成的。

严俊同济大学信息与通信系博士生，研究兴趣为人工智能安全及无人系统感知。

黄伟泉 同济大学计算机科学与技术系博士生，研究兴趣为多模态深度学习。

葛万成 同济大学信息与通信工程系教授，研究兴趣为无线通信与深度学习。

刘华平 美国俄勒冈州立大学电子工程与计算机科学学院教授，研究兴趣为信号处理与自动驾驶。

尹慧琳 同济大学控制科学与工程系中德智能中心讲座教授，研究兴趣为自动驾驶感知与系统安全。

欢迎扫描二维码或者点击“阅读原文”

查看文章详情

引用信息：

Wenwen Chen, Jun Yan, Weiquan Huang, Wancheng Ge, Huaping Liu and Huilin Yin. Robust object detection for autonomous driving based on semi-supervised learning.Security and Safety2024; 3: 2024002

DOI:https://doi.org/10.1051/sands/2024002

关于S&S

中国科技期刊卓越行动计划高起点新刊

主编：邬江兴中国工程院院士

邬江兴，中国工程院院士，国家数字交换系统工程技术研究中心（NDSC）主任，紫金山实验室副主任兼首席科学家，中国网络空间内生安全技术与产业联盟（CCESS）专家委员会主任。

创刊词

专注一体化安全

邬江兴

随着数字、智能、网络技术的泛在化应用，功能安全的内涵与外延已经突破了应对机电与电气时代随机性失效引发功能或系统故障的传统可靠性范畴。在信息时代的网络空间（Cyberspace）中，欲要确保信息物理系统CPS（Cyber Physical Systems）功能安全水平，就无法回避网络空间安全（Cyber Security）问题的挑战。特别是针对CPS系统或软硬件设施设计脆弱性或漏洞后门等问题的“未知的未知”网络威胁和攻击事件，具有恐怖幽灵般的性质和无法用数学模型刻画的属性。这些挑战不仅超越了经典功能安全理论随机性假设前提及其可用概率工具表达的数学性质，而且彻底动摇了传统可靠性理论、技术方法和实践规范的基础。

当前，数字社会关键基础设施中的网络安全与功能安全问题已呈相互交织或纠缠态势且越来越难以分离，而“两张皮”的功能安全与网络安全治理模式，由于在前提条件和基本假设方面存在“无法闭合”的逻辑问题乃至悖论，所以无法指望这两种性质迥异的功能失效问题可以通过“分而治之”的构造和机制获得可量化设计与验证度量的广义功能安全特性[1]。亟需提出和发明一种能够一体化处理广义功能安全问题的科学理论、技术方法与实践规范，由此科技界也需要一个专注于网络安全和功能安全交叉领域理论研究与技术开发的高水平学术交流平台。

我们在中国科学院的支持下创办了国际同行评议期刊Security and Safety（简称 S&S，中文刊名《一体化安全（英文）》）。该期刊将以开放获取的形式出版，作为一个开放的交流平台，供世界各地的学者分享和讨论网络安全和功能安全交叉领域各个方面的创新研究、技术实践与工程应用。

本刊致力于快速报道相关科技领域中涉及广义功能安全范畴的具有创新性和应用性的高水平研究成果，以及针对前沿及发展方向的观点与争鸣。旨在引导和推动智能时代多领域网络安全与功能安全的交融与进步。

本刊发展愿景是成为专注于网络安全和功能安全交叉科技领域的世界一流期刊，促进“交叉创新”、造福“国际社会”、赋能“数字经济”、守护“智能时代”!

热忱欢迎全球专家学者不吝赐稿，积极交流分享想法和成果，共同助力一体化安全的发展，感谢您的支持!

References

[1] WU JX. Problems and solutions regarding generalized functional safety in cyberspace. Security and Safety 2022; 1: 2022001.

引用格式：Wu JX. On integrated security and safety. Security and Safety 2022; 1: E2022002. https://doi.org/10.1051/sands/2022002

Security and Safety (S&S)致力于快速报道信息网络、集成电路、软件工程、工业控制、智能交通、人工智能、医疗健康、数字金融、社会治理等多个领域中涉及网络安全与功能安全共性交叉的具有创新性和应用性的高水平研究成果，以及针对前沿及发展方向的观点与争鸣，旨在引导和推动智能时代多领域网络安全与功能安全的交融与进步。