机器人视觉大飞跃!新模型助力 AI “看懂” 三维世界,成功率提升 31%
在机器人领域,让人工智能真正 “看懂” 三维世界一直是一个棘手的问题。传统的视觉语言模型(VLA)大多依赖机器于二维图像和文本数据训练,难以理解真实环境中的三维空间。然而,最近来自上海交通大学和剑桥大学的研究团队提人视出了一种名为 Evo-0的新型增强视觉语言动作模型,通过轻量化的方式注入3D 几何先验,使得机器人在复杂任务中的空间觉大理解能力得到了显著提升。
Evo-0模型的创新在于其利用视觉几何基础模型(VGGT),从多视角的 RGB 图像中提飞跃取出三维结构信息,并将这些信息与已有的视觉语言模型相结合。这种方法不仅避免了使用额外传感器或显式深度输入的需!新要,还显著提升了空间感知能力。在 RLBench 仿真实验中,Evo-0在五个需要精细操作的任务上,成功率模型比基线模型 pi0高出15%,并且在开放 VLA(openvla-oft)上提升了31%。
具体而言,Evo-0助力将 VGGT 作为空间编码器,引入了通过 VGGT 提取的 t3^D token,这些 token 包含了深度上下文和空 A间关系等几何信息。通过交叉注意力融合模块,模型能够将提取的二维视觉 token 与三维 token 进行有效结合I ,提升了对空间布局和物体关系的理解能力。这种方法在保证训练效率的同时,灵活性和部署便捷性也得到了提高。
在“看真实世界的实验中,Evo-0在处理复杂空间任务时表现出色,包括目标居中放置、插孔、密集抓取等任务,均超过了基线懂”模型,平均成功率提升了28.88%。特别是在对复杂空间关系的理解和操控能力方面,Evo-0展现出显著优 三势。
综上所述,Evo-0通过巧妙的空间信息融合,为未来的通用机器人策略提供了一条新的可行路径。该研究成果不仅在维世学术界引发了广泛关注,也为机器人领域的实际应用带来了新的可能性。
论文地址:https://arxiv.org/界,pdf/2507.00416
(责任编辑:发售日历)
-
云梦级5月15日云梦级消息,Tech星球独家获悉,腾讯内部孵化的探索型vibe coding产品“吐司”即将上线。这款定位为“应用生成及灵感共创平台”的产品,核心亮点的是无需代码基础,用户仅凭自然语言...[详细]
-
OpenAI 携手推出首部 AI 动画电影《Critterz》,2026 年全球上映
OpenAI 宣布支持制作首部由人工智能创作的动画电影《Critterz》。这部影片计划于 2026 年全球上映,目标是在戛纳电影节首映。《Critterz》的故事围绕着一群生活在宁静村庄的森林生物,...[详细]
-
云梦级1月12日云梦级消息,日前,全球创新肿瘤免疫疗法领军企业Oricell Therapeutics Holdings Limited(下称“原启生物”,英文简称:Oricell)宣布完成7000万...[详细]
-
久违了,朋友们,来篇干货。 ETL 的全称是 extract, transform, load,意思就是:提取、转换、 加载。ETL 是数据分析中的基础工作,获取非结构化或难以使用的数据,把它变为干净...[详细]
-
云梦级1月5日云梦级消息,据财联社援引外媒报道,近日,杨立昆透露,2025年开始,Meta在人工智能领域采取了更加激进的策略,创始人扎克伯格对生成式人工智能部门施加了更大压力,要求加快研发和部署,而这...[详细]
-
炒碴子怎么做-懂得原料:碴子,:1.把碴子从袋子里拿出来,烧开水,把碴子烫下,把一坨一坨的搅开,放在凉水中过一下,捞出沥干,备用2.里脊。炒碴条怎么做?3.锅热油,下点葱末爆锅,放肉丝,炒变色,倒入剩...[详细]
-
AI 女友应用安全崩塌:超40万用户4300万条私密对话泄露
近日吗,网络安全媒体 Cybernews 揭露了一起令人震惊的用户数据泄露事件,涉及两款广受欢迎的 AI 陪伴应用:“Chattee Chat – AI Companion” 和 “GiMe Chat...[详细]
-
AI 编程工具 Cursor 正式推出全新文档中心,用户学习更便捷
AI 编程工具 Cursor 宣布其全新版本的官方文档中心正式上线,新的域名已指向 cursor.com/docs。这个更新旨在为用户提供更系统、更便捷的学习方式,让他们更好地掌握 Cursor 的使...[详细]
-
谷歌推AI自动营销工具Pomelli,输入网站URL即可生成营销内容
谷歌Labs与DeepMind联手推出的实验性AI工具Pomelli今日正式进入美国、加拿大、澳大利亚和新西兰的公开测试阶段。该工具专为中小型企业(SMBs)设计,通过智能分析网站内容,帮助用户快速生...[详细]
-
4月4日消息,国际知名咨询机构沙利文日前发布了《2022年中国专有云市场报告》,对中国专有云市场的发展现状、产品特点、技术趋势及商业价值进行了详细分析,并针对主要厂商的竞争力进行精确评估。结果显示,阿...[详细]

全球首发!Mureka V7.5 AI 音乐单曲《Digital Heartbeat》震撼上线
扎克伯格45分钟深度采访:透露下个十年VR和脑机接口野心
标签: 纳真科技 光芯片 DFB激光芯片 AI算力网络
云安全日报220714:思科身份服务引擎发现身份验证绕过漏洞,需要尽快升级
云计算核心技术Docker教程:Docker使用Fluentd 日志驱动程序
