CIRAC 2024分论坛预告——具身智能与三维交互

会议详细日程

主席介绍：

史雪松

银河通用机器人算法工程负责人

史雪松，银河通用机器人算法工程负责人，CCF智能机器人专委会常务委员，复旦大学博士。曾任高仙机器人算法总监，历经高仙商用清洁机器人全球大规模部署过程，带队攻克诸多算法问题。曾任英特尔研究院主任研究员，为英特尔自主移动机器人软件包的主要算法贡献者，OpenLORIS系列数据集作者，IROS 2019 Lifelong Robotic Vision Challenge竞赛主席。史雪松博士曾于信号处理、机器人学和计算机视觉的顶级学术会议与期刊发表十多篇论文，拥有十多项机器人和人工智能方向的国际专利。

王新年

大连海事大学信息科学技术学院教授

王新年，大连海事大学信息科学技术学院教授、中国计算机学会（CCF）理事、杰出会员、CCF大连主席。研究方向是数字图像处理、模式识别和生物特征识别，主要集中于基于足迹的生物特征识别、指静脉识别以及机器视觉系统。目前发表学术论文30篇，公开出版教材一本，授权发明专利50余项，主持863项目以及企业合作项目20余项；曾获辽宁省科技进步二等奖和大连市科技进步一等奖；2019年获批大连市高端人才。

演讲嘉宾

孔涛

字节跳动

孔涛，研究员，字节跳动研究部门机器人研究总监。带领团队进行大规模通用机器人的技术攻坚和孵化工作。发表高水平学术论文50余篇，Google Scholar 引用超过1.2万次，开源算法被权威框架引入标准算子，广泛影响了后续工作。获得2024WAIC·云帆奖、2023中国自动化学会自然科学一等奖、斯坦福大学全球前2%顶尖科学家，多次带领团队在机器人国际比赛中获得冠军，长期担任NeurIPS、ICLR等会议的领域主席。

报告题目：机器人操作基础模型探索

报告摘要：近年来，生成式基础模型在自然语言处理、计算机视觉与多模态领域取得了巨大进步。在本次报告中，将重点介绍GR系列生成式机器人操作基础模型的探索工作。GR系列工作分别从数据、预训练、模型架构以及与真实机器人部署几个关键方面进行探索，证明生成式机器人操作模型的潜力。超过百种大规模的机器人真机实验表明，GR系列模型在成功率、泛化性以及任务效率上均取得业界领先的结果，希望对未来研究有所启发。

方斌

北京邮电大学

方斌，北京邮电大学“拔尖人才”教授，主要研究方向具身智能、机器人大模型。兼任中国人工智能学会认知系统与信息处理专委会秘书长、中国人工智能学会杰出会员、中国计算机学会智能机器人专委会常务委员、IEEE 高级会员。发表Nature Communications、IEEE TRO、Soft Robotics等高水平期刊及ICRA等会议论文上百篇，出版中英文专著各1部，获得国际会议/国际期刊最佳论文奖8项。作为首席客座主编在多个SCI国际期刊组织了机器人灵巧操作的专刊。多次指导学生在国际比赛中获得冠军，曾被清华大学评为挑战杯“优秀指导教师”。研制的触感灵巧手入选了国家“十三五”科技创新成就展，同时获得了IEEE仿生机电及机器人技术委员会“早期职业生涯奖”、中国指挥控制学会“青年科学家奖”、北京市“创新大工匠”、ICRA 2024“新一代学术之星”等。

报告题目：具身触觉的感知与交互操作

报告摘要：随着大语言模型ChatGPT的出现，具身智能成为了OpenAI、Google、英伟达等世界前沿科技公司的重点发展方向。如何提升具身触觉感知能力也成为了其中亟待研究的热点问题。报告介绍了具身触觉的基本发展过程，重点阐述了基于触觉感知的交互操作研究，进一步介绍了面向机器人操作的RobotGPT框架，探讨了具身智能的未来发展趋势和思考。

金一

北京交通大学

金一，北京交通大学计算机学院教授，博导，CCF杰出会员。CCF YOCSEF副主席（24-25）、智慧交通分会常委。任科技部重点研发计划“智能机器人”重点专项专家组委员，研究方向为视频语义理解、多模态融合与交互、行为决策分析等。获IEEE Computer Society年度最佳论文奖提名奖等国际论文奖励3项，授权发明专利32项，参编国家/行业标准3项，获2023年中国产学研合作创新与促进奖创新成果二等奖（排1）等奖励，2020年中国计算机学会科学技术奖科技进步优秀奖等奖励，入选2023年度北京市轨道交通学会杰出青年人才。

报告题目：具身智能与三维交互赋能智能交通：技术与挑战

报告摘要：本报告围绕具身智能在智慧交通领域的应用展开，重点探讨多模态融合与3D视觉技术赋能具身智能，构建更具智能化、灵活性和安全性的交通系统。通过融合视觉、激光雷达等多源多模态数据，提升智能体对复杂交通环境的感知和理解能力，并通过基于3D视觉的虚实融合感知与交互等关键技术，为空间理解和实时决策提供支撑技术。近年来，团队结合平台积累和优势，在领域权威期刊和人工智能领域顶级会议等发表论文20余篇，报告分析了具身智能在应对复杂动态交通场景时的优势，同时探讨了当前技术的挑战和未来发展方向。

赵昊

清华大学

赵昊，清华大学智能产业研究院助理教授，于清华大学电子工程系获得学士和博士学位，曾于英特尔中国研究院担任研究员，曾在北京大学从事博士后研究。他在CVPR等顶级学术会议以及IJCV等顶级学术期刊上发表了40余篇研究论文，赢得过多项三维场景理解算法挑战赛的冠军，并主导研发了全球首个开源的模块化真实感自动驾驶仿真器MARS，在CICAI 2023获得Best Paper Runner-up奖项。其主导研发的渲染阶段可调整精度速度的神经渲染方法SlimmeRF于3DV 2024获得Best Paper奖项。

报告题目：生成式仿真为具身智能释放无限灵感

报告摘要：生成式仿真技术正迅速成为具身智能发展的关键驱动力。具身智能，作为能够感知、理解并与物理世界交互的智能体，其发展受制于训练环境的复杂性和多样性。生成式仿真通过动态创建丰富多变的虚拟场景，为智能体提供了前所未有的训练机会，突破了传统仿真环境的限制。在本次talk中，我将结合具身智能在各个领域的实际应用，深入探讨生成式仿真如何推动智能体从预设任务走向真正的自主学习与创新。生成式仿真不仅提升了智能体的适应性和鲁棒性，还为它们提供了应对现实世界中复杂问题的创新灵感。这种技术通过不断生成多样化的仿真场景，使得智能体能够在更加逼真的虚拟环境中进行有效学习，从而提高其面对真实世界时的表现。通过具体案例，我们将看到生成式仿真在自动驾驶、机器人、虚拟现实等领域的潜力，展示其在推动具身智能发展中的核心作用。生成式仿真的应用无疑为未来的智能体设计与开发带来了无限的可能性和灵感。

张直政

银河通用机器人

张直政，银河通用机器人合伙人、大模型负责人。曾任微软亚洲研究院高级研究员，主导过多个基础模型和多模态大模型项目的研发，有丰富的AI模型及系统的科研、产品化和管理经验。中国科学技术大学和哥伦比亚大学CSC联合培养博士生。曾获中国电子教育学会优博、安徽省优博、中国科学技术大学优博、安徽省优秀毕业生等多个奖项。近三年在全球计算机视觉、人工智能顶级会议和期刊上发表论文30余篇。

报告题目：具身智能从“专”到“通”之路

报告摘要：机器人从“专用”到“通用”的发展是具身智能的使命，而大模型技术是推动这一发展的关键。本报告将首先从数据、模型、系统的角度介绍对于具身智能的Scaling Law探索，并介绍这一探索的重大意义。其次，报告将深入剖析机器人从“专用抓取”到“通用抓取”，从“通用抓取”到“通用操作”，再到面向终局的端到端具身大模型的科研思路和阶段性成果。最后，报告将讨论这一系列前沿探索对于具身智能在相关产业中形成新质生产力的诸多机会和可能性。