行业

刚刚,首个空间原生的具身视觉基模开源!机器人更会看我们的世界了

量子位 2026-07-12 20:24:14
科技
由华为云驱动

2026年7月,蚂蚁灵波发布首个空间原生视觉基模LingBot-Vision及升级版深度模型LingBot-Depth 2.0,在机器人视觉感知上实现突破,提升对透明物体、小目标和复杂场景的识别精准度。该技术助力机器人更稳定抓取和自主导航,推动具身智能工程落地。

这一次,机器人更能看懂我们的真实世界了。

能看懂到什么程度?

我们直接来看一个效果:

视频中最左侧的是我们真实世界的画面效果;中间的视频是未经算法美化的原始深度图,很明显,杯子的轮廓是破碎,部分杯壁和背景是混在一起的,香槟塔也像是被挖掉了不少空洞,几乎看不出形状轮廓……

但现在机器人看世界就不一样了,从最右侧的视频中我们能看到,杯子的边界、层级和整体结构更完整,顶部杯子、酒瓶、杯塔之间的空间关系变得更加清楚,甚至连很细的透明水柱都清晰可见。

或许有小伙伴要问了,看得差不多不就行了?

非也,非也。

这类差异放到机器人身上,如果它要去抓一个杯子,边界看不准,就可能抓偏;如果它要在家庭、商场、工厂里持续移动,深度结果一直破碎,后面的规划和控制都会跟着抖。

而这,便是蚂蚁灵波刚刚发布LingBot-VisionLingBot-Depth2.0的核心原因:

LingBot-Vision:是面向机器人真实任务的空间原生视觉基模,负责给机器人打一个更懂物理世界的视觉底座;

LingBot-Depth 2.0 则是基于LingBot-Vision做出的空间感知模型,把这个视觉底座进一步转化为更稳定的深度结果。

研究一出,也是引发了不少网友的关注,他们纷纷直呼:

玻璃、透明物体才是机器人视觉的噩梦;这是重要的里程碑。

一言蔽之,对于具身视觉来说,看得见还只是第一步;看得准,才有机会真正行动起来。

 

机器人看世界,最怕“差一点”

虽然具身智能这几年确实很火,但真把它们丢进真实场景的时候,我们往往会发现很多问题会迅速回到最基础的一层:

视觉感知稳不稳。

第一类老大难的问题,就是透明和反光材质。

刚才的香槟塔就是典型例子,透明杯壁在RGB画面里能看到,但深度传感器和深度模型常常会在这里不稳定:有的地方补不上、有的边缘粘在一起、有的区域直接空掉。

LingBot-Depth 2.0的输出更像是在帮机器人补上一层稳定的空间骨架,是尽量在把杯口、杯壁、杯身之间的几何关系保持住。

这对于机器人的抓取任务来说,可以说是非常关键的。

因为机械臂要抓杯子,并不只需要知道“这是杯子”。它还要知道杯子的边界、开口方向、可接近位置,以及手爪靠近时会不会碰到旁边那一层杯子。

就像昨天蚂蚁灵波提前放出的预告片里,机器人首先看到带有透明水柱的清晰深度图,知道水在哪里,才能准确将水壶推到水柱下,继而接满一壶水。

第二类难点,是小目标和远距离目标

在下面这个例子里,原始视频是一只狗狗在户外追逐一个网球,远处的狗狗已经算是不大的目标了,网球在整个画面里更是显小:

从效果上来看,中间的raw depth基本是糊得一塌糊涂,完全分不清任何主体,跟别提小如网球的目标了。

反观LingBot-Depth 2.0这边的结果,地面、远处墙体、网球、树木和狗的位置关系更清楚。

这个能力放到移动机器人、巡检机器人、人形机器人身上,价值会更直接。

移动机器人往前走时,不能等到障碍物贴脸了才反应。它需要提前看到远处的人、宠物、路障、货架边缘,然后把这些信息交给导航和规划系统。

如果远距离深度一直不稳定,机器人就很容易一会儿误以为前方没东西,一会儿又突然发现障碍物,动作自然也会变得迟疑甚至危险。

第三类难点,是室内复杂场景

比如家里的玻璃门、窗帘、电视柜、阳台杂物,光照还会随着镜头移动不断变化。以往视觉模型的结果经常会在玻璃、强光、阴影、边缘交界处出现大片破碎和空洞:

而LingBot-Depth 2.0的结果则是更连续,墙面、玻璃门、窗帘、地面和近处物体之间的空间层次保留得更完整。

这类任务对于家庭服务机器人来说是比较重要的,毕竟家庭环境中的东西往往摆放很随意,机器人如果要在这种环境里送水、拿东西、避让人和家具,就需要一个足够稳定的空间输入。

第四类难点,是弱光、遮挡和杂乱

在下面这个室内走廊和房间视频里,门框、墙角、窗帘、桌面、电视等结构交错出现。传统视觉模型的效果,边缘位置容易冒出噪点和缺口;而LingBot-Depth 2.0结果则更稳定,墙面、门框、桌面边缘更连续。

这些案例合在一起,其实指向的是同一个问题,即机器人看世界,不能只靠语义理解。

它需要的视觉能力更接近一种空间常识,比如哪里是边界、哪里是空的、哪里能走,哪个物体还离我很远等等。

这也是LingBot-Depth 2.0要体现的几个重点:

边缘更清晰、物体轮廓更完整、细小目标更稳定、远距离目标更可靠,在复杂材质和复杂光照下,深度图破碎和缺失更少。

但更关键的问题来了,为什么这些提升会发生?

答案要回到LingBot-Vision。

 

空间原生视觉,为什么要从“边界”学起?

传统视觉基础模型的发展,过去很长时间都在围绕让模型更好地理解图像内容这个目标。

但也正如我们刚才提到的,机器人眼里的世界是不太一样的。

一只猫不只是“猫”这个类别,机器人还要知道猫离自己多远,身体边界在哪里,会不会突然移动,桌子边缘和猫之间有没有安全距离。

所以,具身智能需要的视觉底座,必须更重视几何结构。

而几何结构里,一个很重要的入口,就是边界。

边界不只是物体轮廓,它往往同时意味着深度突变、遮挡关系、空间分割和可交互区域。比如杯口的边缘、门框的边线、桌面的轮廓、行人和背景之间的分界,都会影响机器人后续的移动、避障和抓取。

LingBot-Vision的核心思路,就是把边界和空间结构放到预训练目标里。

为此,团队专门提出了masked boundary modeling,可以理解成一种让模型专门学习难点的自监督训练方式。

普通的Mask modeling更像是随机遮住图像中的一块,让模型猜回来。问题在于,随机遮住的地方可能只是墙面、天空、地板这类信息密度不高的区域。模型猜对了,也未必真正学到了空间结构。

LingBot-Vision的做法更有针对性。

它会让教师模型在线发现图像里的边界token,再把这些边界token强制加入学生模型的mask里。换句话说,模型不能只在容易的平坦区域刷题,而要去学习那些更难、更有空间信息量的边界区域。

这就是boundary-forcing。

更细一点看,边界token还会被分配几何目标。模型不只学习语义,也学习边界场,也就是那些能描述边界位置、方向和几何关系的信号。

为了让这种训练更稳定,团队还引入了分类化的边界场表示,以及a-contrario检验,减少把噪声误当成真实结构的情况。

说白了,LingBot-Vision是在预训练阶段就告诉模型别只盯着“这是什么”,也要学会“它的边界在哪、形状如何、和周围空间是什么关系”。

这也是它和DINOv3这类通用视觉基础模型的关键差异之一。

虽然LingBot-Vision也建立在DINO自蒸馏范式的基础上,但LingBot-Vision额外引入了Boundary forcing机制,让模型在掩码建模过程中更关注形状和物体边界相关结构。

从结果来看,LingBot-Vision是一个约10亿参数级的ViT,通过纯自监督训练,在密集空间任务上可以匹敌或超过参数量最多大约7倍的视觉基础模型;在NYU-Depth v2上,取得所有对比模型中的最佳精度,包括7B DINOv3在内。

更有意思的是,它的蒸馏学生模型也很能打。

论文显示,0.3B学生模型在NYU-Depth v2上能达到与7B DINOv3相当的精度,参数量大约少23倍。对机器人来说,这一点很现实——不是所有机器人都能背着一个巨大的模型到处跑,端侧部署、算力成本、延迟,都得算账。

LingBot-Depth 2.0则是这条技术路线的一个直接验证。

它基于LingBot-Vision升级,在12个深度补全benchmark上取得领先结果。更重要的是,论文里提到,随着下游训练数据增加,LingBot-Vision编码器带来的优势会进一步扩大。

换言之,底座如果更懂空间,后面的深度模型吃更多数据时,优势不会被冲淡,反而可能越训练越明显。

所以LingBot-Vision和LingBot-Depth 2.0的关系,不能简单理解成“一个视觉模型加一个深度模型”。

前者是空间原生视觉底座,后者是空间感知能力的落地验证。Depth2.0之所以能在透明、反光、远距离、小目标、复杂室内场景里表现更稳,背后支撑它的,是LingBot-Vision在预训练阶段就更重视边界和几何结构。

 

具身要真正上岗,视觉感知很重要

或许提到具身智能,最容易被我们get到的技术是大模型接入机器人,让它们能听懂指令、规划任务,并且和人对话。

但有一说一,当他们真进到工厂、仓库、商场、家庭这些环境里,视觉亦然是非常重要的一个环节。

因为视觉一旦不稳,后面的链条都会受影响。

移动机器人可能绕不开障碍物,机械臂可能抓偏,服务机器人可能误判门、墙、玻璃和人之间的位置,人形机器人也很难在复杂环境中稳定行动。

所以,具身智能真正落地,也需要视觉底座、空间感知、运动控制、硬件传感器一起往前走。

这也是此次蚂蚁灵波开源LingBot-Vision和发布LingBot-Depth 2.0的意义所在。

他们把机器人需要的视觉和空间感知能力,做成一个更容易复用的底座。对机器人企业、开发者和研究机构来说,这有助于降低使用门槛,也能让下游团队更快验证移动、避障、抓取等真实任务。

从场景看,这类能力可以服务移动机器人、机械臂、仓储物流、工业巡检、服务机器人、人形机器人、3D视觉设备和空间计算等方向。

此外,LingBot-Depth 2.0已通过奥比中光深度视觉实验室认证。双方也围绕EGO-RGBD数采设备、SDK和后续一体化相机产品展开合作,说明这套能力正在从论文,继续走向硬件与产品集成。

当然,视觉底座升级不会让机器人一夜之间无所不能。传感器差异、算力限制、场景泛化、控制精度和成本,都还需要继续打磨。

但趋势已经很清楚:具身智能的竞争,正在往更底层走。毕竟,机器人要进入真实世界,第一步就是看准。

当机器人开始更好地理解空间,具身智能离真正上岗,也就更近了一步。

本文来源:量子位

点击展开全文
打开APP,阅读体验更佳

网友评论

太评甄选

更多优惠

相关推荐

华为“爆改”5nm芯片 科技要闻 商业
华为“爆改”5nm芯片
ChatGPT 语音大升级,活人感拉满! 科技要闻 商业
ChatGPT 语音大升级,活人感拉满!
DeepSeek、智谱被曝造芯,国产大模型绕开英伟达! 科技要闻 商业
DeepSeek、智谱被曝造芯,国产大模型绕开英伟达!
2026 最值得期待的 AI 硬件,是卡片 科技要闻 商业
2026 最值得期待的 AI 硬件,是卡片
人类手搓出第一个活细胞?还是个土豆? 科技要闻 商业
人类手搓出第一个活细胞?还是个土豆?
啊?这是机器人的手?! 科技要闻 商业
啊?这是机器人的手?!
广电终于干掉了机顶盒,但现在没多少人看电视了。。。 科技要闻 商业
广电终于干掉了机顶盒,但现在没多少人看电视了。。。
别担心被AI抢饭碗了,老板算完账可能发现你更划算。 科技要闻 商业
别担心被AI抢饭碗了,老板算完账可能发现你更划算。
三星「阔折叠」要来了,能挑战苹果华为吗? 科技要闻 商业
三星「阔折叠」要来了,能挑战苹果华为吗?
实测腾讯 Hy3 正式版,这次终于赶上了「AI 下半场」 科技要闻 商业
实测腾讯 Hy3 正式版,这次终于赶上了「AI 下半场」
相关产品
取消