李飞飞「数字表兄弟」破解机器人训练难题！零样本sim2real成功率高达90%

亮眼的是，「数字表亲」能同时实现——

机器人策略在原始场景中的零样本部署

场景生成：对选择的数字表亲进行后处理并编译在一起，生成一个物理上合理且完全交互式的模拟场景。

Q4：在数字表亲上训练的策略能否实现零样本的sim2real策略迁移？

评估指标包括：

「Bbox IoU」：资产3D边界框的交并比（IoU）。

ACDC真实到模拟场景重建结果的定性评估，展示了为给定场景生成的多个数字表亲

基于这些结果，研究者可以肯定地回答Q1了——

ACDC确实能够保留输入场景的语义和空间细节，从单张RGB图像生成真实世界对象的数字表亲，并能准确定位和缩放以匹配原始场景。

这部分的实验主要是为了回答上述研究中的Q2和Q3，在3个任务上分析ACDC训练策略的能力，包括「开门」、「打开抽屉」和「收起碗」，每项任务都与数字孪生设置进行了对比。

不同设置中的总体成功率如下图所示。

可以发现，在数字表亲上训练的策略通常可以匹配，甚至优于数字孪生的设置。

作者假设，由于数字表亲的策略是在不同环境设置的数据上进行训练的，因此可以覆盖广泛的状态空间，从而很好地推广到原始数字孪生设置。

然而，在另一个极端，针对所有可行资产（All Assets）进行训练场的策略要比数字孪生差得多，这表明朴素的领域随机化并不总是有用的。

此外，随着DINO嵌入距离的增加，即评估设置与原始设置的差异逐渐增大，数字孪生的策略性能通常会出现成比例的显著下降，但数字孪生策略整体表现更加稳定，证明了在分布外设置上的鲁棒性。

随后，研究者对数字孪生和数字表亲策略进行了零样本现实世界评估。

任务是给宜家柜子上开门。

评估指标就是成功率。

结果显示，模拟结果平均超过50次试验，真实结果平均超过20次试验。

无论是数字孪生还是数字表亲，最终的落脚点还是要在真实环境中对比性能。

因此实验的最后，团队在完全真实（in-the-wild）的厨房场景中端到端地测试了完整的ACDC管道和自动化策略学习框架。

在经过数字表亲的专门模拟训练后，机器人可以成功打开厨房橱柜，证明了ACDC方法迁移到真实环境中的有效性。

以下Demo展示了完全自动化的数字表亲生成过程。

零样本的sim2real策略迁移实验表明，仅从上述生成的四个数字表亲训练的模拟策略，可以直接迁移到相应的真实厨房场景。

基于这些结果，研究者可以肯定地回答Q2、Q3和Q4了——

使用数字表亲训练的策略，表现出了与在数字孪生上训练策略相当的分布内性能，以及更强的分布外鲁棒性，并且可以实现零样本从模拟到现实的策略迁移。

即使ACDC方法表现出了整体上的优越性能，研究团队也在实验中观察到了几个失败案例，例如：在打开柜子的任务中，机器人未能完全移动到把手所在位置——

或者移动时错过把手——

即使正确找到了把手所在位置，也有可能手滑——

可以观察到，ACDC经常在以下几种情况下陷入困境：

e. 除「位于顶部」之外的对象关系

前三个限制，与ACDC的参数化方式直接相关。

比如对于(a)，由于ACDC依赖于相对准确的深度估计，来计算预测的对象3D边界框，因此不准确的深度图可能会导致ACDC对物体模型的估计相应较差。

原生深度传感器在物体边界附近可能难以产生准确的读数，这是因为深度图在这些区域可能出现不连续性。当物体具有许多精细边界时（例如植物和栅栏），这个问题会变得更加复杂。

此外，由于研究者依赖现成的基础模型（DepthAnything-v2）来预测合成深度图，因此也承袭了模型自身的一系列限制，例如对特殊物体或在不利的视觉条件下的预测较差。

最终，研究者得出了以下结论。

ACDC是一个全自动化管线，能够快速生成与单张真实世界RGB图像相对应的完全交互式数字表亲场景。

研究发现：

在这些数字表亲设置上训练的策略，比在数字孪生上训练的策略表现出更强的鲁棒性。

为了进一步检查数字表亲对朴素域随机化的相对影响，研究者根据其他基线在 DoorOpening任务上重新运行了sim2sim实验

2. 性能对比

领域内性能：数字表亲训练的策略与数字孪生训练的策略相当。

3. 零样本学习

Tianyuan Dai本科毕业于香港科技大学，获得了计算机科学和数学学士学位，目前在斯坦福攻读硕士学位，隶属于斯坦福SVL实验室（Vision and Learning Lab）和PAIR研究小组（People, AI & Robots Group），由李飞飞指导。

他的长期愿景是将人类对现实世界环境的理解融入到机器人算法中，使用数据驱动的方法帮助人们完成日常任务；最近研究的重点是开发real2sim2real范式，以实现稳健的操控策略学习（manipulation policy learning）。

Josiah Wong目前在斯坦福大学攻读机械工程博士学位，导师是李飞飞，同样在SVL和PAIR组工作。

此前，他在斯坦福大学获得硕士学位，在加利福尼亚大学圣迭戈分校获得学士学位。

他致力于利用仿真技术来拓展机器人操作能力，目标是推动日常通用机器人的发展，从而改善我们的日常生活。