联手智能机器人专委会：扩展机器人现实术语发布 | CCF术语快线

由来：

扩展现实（XR）技术旨在结合物理世界及可与其互动的“数字孪生世界”，通过增强现实（AR）、虚拟现实（VR）以及混合现实（MR）增强人类与现实世界的交互。1968年，“计算机图形学之父”与图灵奖得主伊凡·苏泽兰(Ivan Edward Sutherland)与学生创造了第一个虚拟现实及增强现实头戴式显示器。此后的五十年间，扩展现实技术显著进步，为各行业带来了巨大的变革。

扩展现实技术与机器人技术有着重要的交叉[1]。首先，扩展现实需要具备与机器人相同的环境空间感知能力，机器人在现实世界中的移动同样需要这种能力。其次，人类的感知、表示和对空间移动的理解，可以应用于扩展现实和机器人的设计和使用。最后，扩展现实作为一个模拟环境，可以用来实现元素间的真实物理交互，有利于机器人的学习。近年来，随着深度学习等技术的快速发展，扩展现实技术中的感知、认知和交互行为的理论和实验基础被用于解决机器人技术中的挑战，这也产生了新的前沿研究方向--扩展机器人现实。

定义：

扩展机器人现实是指一种结合扩展现实，其允许用户通过与虚拟世界和现实世界的互动来控制和管理机器人，将人类的感知、认知和行为能力与机器人的执行能力相结合，从而实现更高效、更自然的人机协作。

研究概况：

近年来，随着人工智能的发展，XR技术逐步走向智能化，从而实现更丰富的应用场景。在新冠疫情大流行时期，医护人员利用XR技术提供的协作、感知和控制能力实现远程诊疗，以及疫情防控、日常看护，从而降低工作风险，提高工作效率。当XR技术与机器人技术相互融合时，便形成了一种全新的技术—扩展机器人现实。它创建一个与现实世界相互融合的虚拟环境，机器人作为这个虚拟环境中的一个实体存在。用户通过头戴设备、手势识别等方式与这个虚拟环境进行交互，从而实现对机器人的远程控制和实时监控。扩展机器人现实技术关注的是更自然的人机交互、更好的理解和感知环境、更高效的执行任务。近年来，扩展机器人现实技术已经成为机器人、扩展现实和多媒体等多个领域的研究热点，吸引了大量研究者的关注和兴趣。

2022年，国际学术社区在机器人领域顶级会议IROS上，举办了扩展机器人现实的第一届学术研讨会，主题为“扩展机器人现实的地平线--XR和机器人融合的未来”[2]。研讨会目标是介绍XR技术的进步，以及讨论XR如何帮助解决机器人领域的挑战。录用的论文摘要包括：AR中模仿学习的可解释人机交互、面向XR的室内环境自主扫描、热箱中双臂机械臂的AR远程操作、上肢人形机器人的高效VR远程操作等。此次研讨会的召开，凸显扩展现实机器人在各个领域的应用日益广泛，并且在技术创新方面取得了显著的成果。2023年10月, 在IROS举办的第二届扩展机器人现实学术研讨会[1]上，涌现出更多创新成果，如人-无人机VR交互、沉浸式MR的双向人机交互、大型多智能体编队的AR用户界面等工作。2022年3月出版的IEEE Robotics & Automation Magazine特刊“机器人中的扩展现实”[3]，探讨了机器人领域中人机交互的XR技术最新进展。其中，Delmerico等人[4]展示三项工作说明MR实现人与机器人灵活的协作：用户为机器人规划自主巡检任务、利用手势控制机器人、为用户提供远程机器人的空间理解实现机器人远程操作。Ranne等人[5]设计了一种可视化可塑机械臂的新型AR接口。用户头戴AR显示器，操作机械臂末端执行器的数字孪生体到所需位置。Danioni等人[6]针对机器人辅助微创手术(Robot-assisted minimally invasive surgery, RAMIS)，设计了一个沉浸式的虚拟环境，用于评估和比较拟人化、沉浸式远程操作概念在虚拟微创手术环境中的可用性和效率，结果表明70%的用户可获得更好的效果。在这些应用中，XR通过人与机器人对空间的共同理解实现共定位(co-localization)，使得人机交互变得更容易。Suzuki等人[7]在CHI 2022上发表的综述文章中，调研近500篇AR和机器人方向论文，对AR和机器人技术进行了分类，指出AR/MR已经成为增强人机交互和机器人界面的新方法，提供了基于AR的人机交互系统设计的共同基础。

扩展机器人现实技术被应用于多样的场景中。在工业领域，它可使工程师直观、深入的理解复杂的机械结构和生产线流程，提高生产效率和产品质量。通过远程协作，使得身处异地的专家能够实时指导现场操作，降低人力成本。具体应用如联合装配[8,9,10]、抓取[11,12]、远程维修[13]、检查[14,15]。在居家和日常场景，扩展机器人现实技术可以实现家庭任务[16,17]，辅助和陪伴老人[18,19]，提供娱乐[20,21]和教育能力[22]。在医疗健康领域，扩展机器人现实技术可以辅助机器人实现精准微创外科手术[23]，培训医学生学习机器人辅助手术 [24]，辅助神经康复[25]和自闭症康复[26]。

挑战与展望：