郑州大学毛彦超课题组 AFM：深度学习辅助的非接触手势识别系统用于人机交互界面

点击上方“蓝字” 一键订阅

随着人工智能技术的兴起，人机交互界面在人与机器人信息交换过程中扮演着重要的角色。非接触人机交互界面由于具有较高的手部灵活性、舒适性、卫生性等优点，近年来受到了持续的关注，并且在智能机器人、虚拟现实、医疗设备等方面具有广泛的应用前景。尤其是在COVID-19病毒的传播过程中，非接触人机交互界面能够有效地降低交叉感染的风险。然而，当前非接触人机交互界面主要受限于有限的手势识别类型、需要额外佩戴设备、复杂的传感器结构、苛刻的环境光条件、以及具有较低的识别准确率，这些因素阻碍了非接触人机交互界面的实际应用。

郑州大学毛彦超教授课题组开发了一种智能非接触手势识别系统，该系统集成了深度学习技术和摩擦电式非接触传感器阵列。通过结合基于深度学习的神经网络，传感器阵列可以识别16种非接触手势，其识别准确率达到96.5%。进一步将智能非接触手势识别系统应用于操控机器人进行咽拭子采样。以这种非接触的操作模式采集咽拭子将有效降低采样过程中感染COVID-19病毒的风险并减缓其传播速度。相比于目前的非接触人机交互界面，这种深度学习辅助的非接触手势识别系统可以利用人体自身所携带的电荷识别多种复杂手势，其不需要额外佩戴设备，复杂的器件结构、充足的环境光条件，且能够实现较高的识别准确率。这种智能非接触手势识别系统在非接触式人机交互界面中的具有较好的应用前景。该研究以“Deep-Learning-Assisted Noncontact Gesture-Recognition System for Touchless Human-Machine Interfaces” 为题发表于国际权威期刊《Advanced Functional Materials》。

图1. 智能非接触手势识别系统用于人机交互的概念图与传感器的基本结构

结合深度学习技术，通过非接触手势进行机器人操控。传感器单元由液态金属层、SBS高分子层和粘性水凝胶层构成，其具有金属级别的导电性、优秀的拉伸性和良好的粘性。

图2. 传感器的机械性质、导电性、粘性测试

分别对传感器的机械性质、导电性、粘性进行测试。传感器的最大伸长量可以达到1080%。随着拉伸长度和拉伸次数的变化，其电阻变化率呈现规律性变化。传感器同时表现出可靠的粘性，其可以稳定地黏附在多种常见的基底上。

图3. 传感器单元的工作原理示意图以及电输出信号测试

利用人体自身所携带的电荷，当人手靠近或者远离传感器时，在传感器中能够产生相应的电信号。通过控制变量法研究了不同的单元尺寸、最近距离、操作频率、环境湿度对传感器电输出信号的影响。

图4. 深度学习辅助的非接触手势识别系统

构建了由九个传感器单元所组成的传感器阵列用来识别复杂的非接触手势。采集了16种非接触手势在传感器阵列中产生的多通道数据，用以训练和优化所构建的深度神经网络。经过训练之后的识别准确率达到96.5%。利用t-SNE算法对训练前和训练后的数据进行可视化，通过数据点的聚集程度变化可以明显地看出对不同手势的分类效果。

图5. 智能非接触手势识别系统用于操控机器人进行咽拭子采样

结合基于深度学习的神经网络和传感器阵列，进一步将智能非接触手势识别系统应用于操控机器人进行咽拭子采样。当使用者以非接触手势操作该系统时，系统可以实时分析所采集到的电信号并对手势进行识别，然后以识别结果对机器人进行操控。图中展示了使用者利用该非接触手势识别系统操控机器人完成咽拭子采样的过程。以这种非接触的操作模式采集咽拭子将有效降低采样过程中感染COVID-19病毒的风险并减缓其传播速度。这种非接触手势识别系统在非接触式医疗设备与人机交互界面中的具有较好的应用前景。

郑州大学物理学院（微电子学院）硕士生周豪为论文的第一作者，毛彦超教授为论文的通讯作者。

原文链接：

https://doi.org/10.1002/adfm.202208271

相关进展

郑州大学毛彦超教授课题组ACS Nano：基于Kirigami液态金属纸电极的多功能电子皮肤

郑州大学毛彦超博士在可穿戴供电器件研究方面取得进展