RT-2模型问世视觉与语言交融驱动行动

在机器人控制领域，Google DeepMind的最新研究成果RT-2（Robotic Transformer 2）正在引发广泛关注。这项研究突破了现有模型的局限，为机器人赋予了更强的理解和执行能力，同时彰显出通用人工智能在真实世界中的应用前景。

RT-2是一种视觉-语言-行动模型，能够从互联网规模的数据和机器人示例数据中学习，将知识转化为通用指令帮助机器人实现复杂任务。这项研究在原有的RT-1基础上进行了显著升级，RT-1通过多任务演示学习任务与对象的组合，而RT-2不仅在机器人数据中表现出色，还能通过网络数据进行广泛的语义推理和知识迁移。

RT-2的核心优势在于其强大的通用化能力。通过视觉语义理解，它可以执行以前从未见过的任务，例如根据高级描述操作物体或推断某类对象的适用性。例如，模型可以完成诸如“选择一个可以充当临时锤子的物体”或“为疲劳的人选择最适宜的饮品”等任务，这些能力表明RT-2展示了初步的链式思考（Chain-of-Thought Reasoning）能力。

为了增强复杂推理能力，研究团队为模型设计了新方法，使模型能够同时结合语言规划与低层次的行动技能。通过细化模型训练数据，RT-2可以根据图像和文本输入进行视觉和语义上的规划，显著超越以往仅依赖文本进行决策的机器人系统。

RT-2不仅保持了传统视觉-语言模型的强大能力，同时也针对机器人控制任务进行了适配和优化。其行动输出被表示为一种类似语言的字符串序列，这种方法使训练过程能够无缝地结合机器人数据。在模型架构上，RT-2利用了基于PaLM-E和PaLI-X的路径式语言和图像模型作为其骨干，从多任务数据中提取高级推理能力。通过精细调优，这些预训练模型被转化为高效的机器人行动决策系统。

实验证明，RT-2 在多个方面实现了突破性成果。在超过 6000 次机器人试验中，RT-2 在识别符号、推导推理、识别人与语义概念等方面均展现了显著提升。相比于现有基线模型（如 Visual Cortex 和 RT-1），RT-2 在未知环境与对象中的任务成功率从 32% 提升至 62%，而在仿真测试中达到了 90% 的任务成功率。此外，RT-2 还在真实环境测试中表现优异，展现了强大的迁移能力和数据之外的任务适应性。

凭借其强大的视觉、语言和行动综合能力，RT-2 为开发能够适应广泛场景的通用机器人铺平了道路。这些机器人不仅可以完成复杂任务，还能进行合理推理与动态规划，适用于工业操作、灾害救援、家庭服务等各种真实场景。