SIGAI全场景毫米级3D相机成功应用于多款户外机器人的机械臂引导

3D相机和激光雷达等3D感知手段作为机器人的“眼睛”，对机器人起着至关重要的作用，用于引导机械臂完成抓取、放置之类的动作。在室内场景中，对于大部分常见材质的物体，目前已经有较好的机械臂引导解决方案，比如结构光相机。

最近几年，随着机器人行业的蓬勃发展，各种新的场景被不断挖掘出来，户外机器人逐渐出现。这就带来一个很迫切的问题：如何解决户外场景中的高精度3D感知问题，完成机械臂的引导？相比室内场景，户外场景中的3D感知会面临以下几个难题：

1.复杂的光照条件。包括强阳光的干扰，弱光，逆光，阴影等。

2.复杂的天气条件。包括雨、雪、雾等。

3.极端环境条件。包括风沙，高温、低温等。

之前，市面还没有成熟的产品能全部解决上述几个问题。标准的结构光相机，虽然精度很高，但在室外场景中使用时遇到强阳光会导致无法成像。量产的激光雷达，通常是厘米级的精度，无法满足机械臂引导的精度需求。其他知名的3D相机，如Real Sense，ZED等系列，通常也是厘米级误差，且在极端光照条件下成像效果差，精度也达不到机械臂引导的要求。

SIGAI瞄准这一蓝海市场，依靠其强大的3D视觉核心团队，经过长时间潜心研发，于2022年下半年推出的Tensor系列全场景毫米级3D相机目前已经较好的解决了上述几个问题，且对于光滑金属、陶瓷等高反光物体也能稳定成像，被成功的应用于数种户外机器人上，解决了多个机器人企业核心的技术难点问题。

得利于自研的原创AI-ISP算法，SIGAI的3D相机在各种复杂的光照条件下均有优良的成像效果。下图是相机在逆光时输出的RGB成像，拍摄距离2.5米以上。这些图像很好的保留了物体丰富的纹理细节，为后续高精度的识别奠定了基础。

SIGAI的3D相机采用了自创的独特的3D重建技术路线，在室外复杂的光照、气象条件下也可以保证毫米级的3D成像精度，适用范围广。在室外2.5米距离拍摄时，相机输出的点云图像的Z值误差<3mm，能很好的满足很多机器人对机械臂引导的精度要求。下图是2米以上距离拍摄时，相机对某几种典型物体的3D成像点云图像。

首先来看光伏面板的点云。这是一种弱纹理、重复纹理的吸波材质，对各种3D成像手段均有很大的挑战。在2米以上距离拍摄时，光伏板的Z值误差<2mm，表面非常平整。

再来看对木材、工程机械设备的成像点云。这张图像在2.5米以上距离拍摄，木材和金属的Z值误差<2mm。木材和金属表面非常平整。

下面这张图是对电线杆这种深色、弱纹理物体的成像点云，在1.8米距离拍摄，Z值误差<2mm。

下面这个场景非常有挑战性，是强光下光滑的外墙，大理石瓷砖材质，以及光滑的金属。在2米以上距离拍摄时，这些物体的Z值误差<2mm。

除了具有高精度的优势之外，SIGAI的3D相机还自带算力单元，可以很方便地将深度学习与机器视觉算法集成到相机内部，以节约用户的成本。另外，SIGAI拥有自研的3D视觉算法库，以及深度学习训练平台，包括：

3D实例分割

物体定位

姿态估计

手眼标定

借助于这些软件和工具，可以快速开发出针对特定场景的算法，并完成与机械臂的联合标定等集成工作。

在过去半年的时间里，SIGAI的3D感知技术已经被成功地应用到多款户外机器人上，实现了量产交付。SIGAI的3D相机以及相关算法经受了极端光照条件、复杂气象条件、恶劣工况下的长时间运行检验，保证了高精度、高稳定性。关于产品更多的细节，可以浏览我们的官网：

www.sigai.cn

如果你有室外场景的机械臂引导等高精度3D感知需求，可以联系我们，我们将为你提供专业的技术支持。