11月13日上午,Vbot维他动力正式发布跨视角数据生成模型Exo2EgoPolicy、端到端通用数据管线Vbot Echo,以及配套数据采集应用Echo App。通过跨视角视频生成、端到端数据处理与以及低门槛的真实场景采集,Vbot打通从数据获取、生成处理到机器人训练数据产出的完整链路,把大量第三视角视频和人类操作经验转化为机器人可用的训练数据。

据介绍,Exo2EgoPolicy面向真实操作场景,可将第三视角视频中的人物动作、物体交互和场景信息转换为对应操作者的第一视角画面。其用途是让原本并非为机器人训练采集的通用视频,转成更接近机器人观测条件的学习素材。
技术上,该模型以视频生成主干为核心,结合视觉编码和语义理解,建立第三视角与第一视角之间的动作联系,识别操作者、双手运动、接触物体及操作随时间的变化,并联合生成连续画面中的空间结构和外观细节。
该模型可处理多人同框、拍摄角度变化和镜头切换等复杂互联网视频,支持指定目标角色,使第一视角生成围绕同一操作者展开;训练中引入相机几何、手部结构和真实操作数据,以提升物体空间布局、手物接触关系和跨视角外观对应的还原质量。使用时只需输入第三视角视频,无需额外深度数据或相机标定信息。

与此同时,Vbot维他动力推出端到端通用数据管线Vbot Echo,以及配套数据采集应用Echo App,结合Exo2EgoPolicy跨视角生成能力,贯通真实场景采集、云端数据处理与机器人训练数据生成的完整流程。
Vbot Echo负责后续处理。数据进入云端后,Exo2EgoPolicy先把第三视角记录转成更贴近机器人观测条件的第一视角视频,使同一次真实操作示范衍生出不同观测视角的数据。
Vbot Echo通过动态场景重建、语义理解、人体与物体姿态估计及时间序列对齐,建立统一时空的人—物交互表示;在运动学层面,结合目标机器人身体结构和关节约束,通过跨本体运动重定向,将人类全身与手部动作适配为机器人关节和末端运动轨迹;在物理层面,结合场景、物体及物性建模,在仿真环境中重演接触交互,生成接触力、关节力矩等辅助标注。
管线还通过物理一致性与质量校验,检查运动稳定性、物体穿透和轨迹跟踪误差,并将校验结果回流优化,形成“生成—适配—仿真—校验—优化”的闭环。系统保留数据来源与质量标签,区分仿真辅助标注与真实测量数据。

采集端,Echo App将流程简化为拍摄与上传,兼容第一视角和第三视角数据;用户无需穿戴专业采集设备,只需把手机放在操作区域一旁,即可记录操作过程并上传云端处理。

Vbot 的目标,是从根本上突破具身智能的数据获取瓶颈,让人类经验成为机器人持续进化的源泉。Vbot表示,通过三者的协同,构建规模化采集具身数据的基础设施:通过跨视角生成释放通用视频的学习价值,通过结构化处理、动作适配与物理验证,将符合条件的人类操作转化为机器人训练数据,再通过低门槛采集,让更多真实场景与长尾技能持续进入这一体系。
丁丁打折网©版权所有,未经许可严禁复制或镜像 ICP证: 湘ICP备2023003002号-11
Powered by 丁丁打折网本站为非营利性网站,本站内容均来自网络转载或网友提供,如有侵权或夸大不实请及时联系我们删除!本站不承担任何争议和法律责任!
技术支持:丁丁网 dddazhe@hotmail.com & 2010-2020 All
rights reserved