【CNMO科技消息】第一视角（Ego）视频让数据采集从专业场地走进真实生活与工作场景，正成为具身智能预训练的重要数据来源。但拍下操作并不等于拿到了预训练所需的4D数据，系统还得准确辨认佩戴者的双手、还原手指弯曲姿态，并测量手在空间中的移动距离。近日，觅蜂科技联合西北工业大学、西安交通大学发表论文，提出第一视角运动重建框架MEgoVista，用于把Ego视频更精准地转化为4D数据。
难点并不单一。固定场地的多摄像头系统能较准确还原手部动作，却需要提前布设设备、采集范围有限；覆盖真实生活的大规模视频数据集又往往缺少具有真实尺度的三维手部标注。而且"姿势像"不等于"位置准"，仅靠单个摄像头，距离估计主要依赖模型从训练数据中学到的经验，重建结果即便与画面轮廓吻合，空间位置也可能存在偏差。真实操作中的多人互动、工具或前臂遮挡、双手暂时移出画面，都会导致跟踪中断；摄像头随佩戴者转头移动，也让系统必须区分手部运动与镜头运动。
针对这些问题，MEgoVista采用离线重建流程，分三步完成。第一步识别并持续跟踪佩戴者的双手，在检测位置、区分左右手的同时辨别哪些手属于佩戴者，避免多人互动时跟错对象，例如在美甲场景中分清美甲师和顾客的手。第二步通过多摄像头测量距离：MEgoView头戴设备配备三颗鱼眼摄像头，以每秒60帧拍摄画面，中央摄像头分别与左右摄像头配对形成两组立体视觉，系统结合事先标定的相机间距与相对位置，估计手与摄像头之间的实际距离；为应对鱼眼畸变与安装角度的影响，先校正画面，再用Foundation Stereo估计深度，并综合两组结果、优先采纳可信度更高的信息。第三步优化整段动作，先筛选可靠观测，再结合前后帧信息进行调整，减少位置突变与手指过度弯折。
与此同时，MEgoVista利用多摄像头画面还原头部运动轨迹，并结合惯性信息判断上下方向，从而把手部动作与头部轨迹纳入同一个具有真实尺度的坐标系，呈现它们在空间中的位置与移动距离。
研究团队用一套由26台摄像头组成的独立光学动作捕捉系统提供参考数据，并在评测中把漏检算作惩罚，以免算法靠跳过困难画面取巧。结果显示，经位置、朝向和尺度对齐后，MEgoVista的手指姿态误差为4.29毫米，HaWoR和Dyn-HaMR分别为16.30毫米和49.18毫米；该指标反映手指姿态精度，不代表整只手在空间中的绝对位置误差。其动作抖动为1.11毫米/帧²，同样低于两种对比方法，且未出现漏检或误检，两组头部轨迹测试的平均位置误差分别为2.87毫米和0.75毫米。在制作奶茶、美甲和给宠物洗澡三个真实场景的对比中，MEgoVista跟踪更稳定，也是三者中唯一在美甲场景正确区分佩戴者与顾客双手的系统。
论文指出，MEgoVista将第一视角视频中的操作还原为具有真实尺度的4D动作数据，并通过独立测量检验重建精度，为机器人学习提供更可靠的数据来源。觅蜂科技正持续推进MEgo系列设备量产，以及数据采集、治理和评测能力建设，此次研究成果为这一布局提供了新的技术支撑。
盈亚配资提示：文章来自网络，不代表本站观点。
