温故知新 | 卢策吾：从气球刮胡神技到机器人抓取全球顶流

具身智能PIE模型，重塑智能机器人框架

卢教授创新性地提出了具身智能的PIE模型，即感知（Perception）、想象（Imagination）和执行（Execution）。这一模型类比了人类的行为模式，从感知世界开始，通过大脑的想象与规划，最终落实到具体的执行动作。这种将智能划分为三个清晰阶段的模型，为智能机器人的研究提供了全新的视角和框架。

图1：机器人给气球刮胡子

在机器人用气球模拟刮胡子的例子中，卢教授团队通过力觉为中心的AI框架，实现了对机器人操作的精准调控。与单纯依赖位置控制不同，他们的系统更注重力反馈，确保了机器人在面对复杂环境时仍能做出恰当反应，就像刮胡子时需要轻柔而准确的力度一样。

图2：具身执行通用抓取

同时，卢教授团队还能够使机器人，在面对如罐子碎裂等复杂场景时，仍能实现精准抓取。团队利用半自动数据采集系统，高效制备大规模数据集，并通过新的抓取大模型算法，使机器人具备对未知物体的通用抓取能力。这种能力超越了传统方法，即使物体形态发生剧烈变化，机器人也能凭借训练出的底层原子操作，迅速适应并稳定抓取。正是这些一系列的创新研究，使卢策吾教授团队在斯坦福机器人抓取排行榜上获得了近十年影响力第二的殊荣。

让我们一起跟随卢教授的步伐，深入探索具身智能的奥秘。

关于具身执行，其实是行业里面我们觉得很痛的一个问题。我们觉得人类大脑规划完就结束了，其实不是的，因为我们人类有神经下意识反应，就是小脑和神经系统使得我们能够去下意识去做很多东西。但是机器人如何去实现这种鲁棒的下意识，是很关键的。因为机器人存在感知误差、仿真误差，还有机械误差，这个时候怎么用人工智能把误差吃掉就是核心。

图3：类小脑鲁棒模型

我们发现同一个动作，在拓扑上其实是同源的。比如机器人叠衣服“翻”这个动作，其实会拓扑同源到“转”这个步骤，所以我们第一步是要解决通用的抓取问题。但是它最大的困难就是数据困境。我们有这么多的点云，怎么变成抓取的密集数据，之前是没办法去制备这种大规模数据的。因此我们提出了一套半自动的数据的采集方式，整个的数据效率、标注效率提高了1万倍，使得我们能够快速地大规模的制备大量的数据。

基本原理是通过真实点云，加上我们的一套数字孪生系统，用仿真来抓取点云，然后就可以在真实的点云上打上很多标签。整套系统里面嵌了很多算法和半自动的系统，为此我们能够比目前21个有效数据集，有效的扩张到10万倍这样的数据，而且标注的效率会大大提高，我们也配套提出了新的抓取大模型的算法，得到一个通用的抓取的模型，甚至没见过的物体都能够去抓。

比如刚才这个瓷器罐子被敲碎瞬间，其实每一个块都是完全没有见过的，但我们仍然能够把它抓起来。包括我们也扩张到了动态的物体，这是世界上第一个能够抓没有见过的动态的物体，从准确率和速度上面超过人类水平，被斯坦福的机器人抓取排行榜评为近十年影响力第二名……

本文所发布的所有内容，包括但不限于文字、图片、视频、图表、程序等，除特别标明外，均来源于CCF数字图书馆，版权归原作者或原出处所有。若涉及版权问题，请及时联系我们进行处理。