13 UMI 范式与相关研究
为什么学这个（项目关联）
本项目是 UMI 论文的工程化落地 + 改进（追踪方案从 SLAM 换成 Quest、夹爪读数从 ArUco 换成编码器）。不读原论文，就无法判断原文每个设计决策”改了什么、为什么改、代价是什么”。
核心论文
Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots
- arXiv:2402.10329（Chi Cheng 等，Stanford，RSS 2024）
- 项目页：https://umi-gripper.github.io （含代码、硬件文件）
知识点清单
1. UMI 要解决的问题
- 数据是机器人学习的瓶颈：遥操作一人一臂、效率低、成本高
- 精细任务（柔性物体、扎带、袋装）遥操作体验差 → 数据质量差
- 目标：让没有机器人的人也能大规模采集真实演示数据
2. UMI 的核心设计（原论文）
- 手持式夹爪复刻装置，人直接用它执行任务
- 相机安装在夹爪上 → 视角天然接近机器人腕部相机视角
- 夹爪开合状态记录（原版：手指扳机 + 视觉方案）
- 用 Diffusion Policy 训练（见 14 模仿学习 - ACT 与 Diffusion Policy）
- 关键机制（读论文时逐一弄懂）：
- 数据去噪与相对位姿参数化（以夹爪为参考系的动作表示）
- 延迟补偿（人手 vs 机器人控制回路延迟差异）
- 保守策略生成（OOD 检测、action chunking 边界）
3. 硬件设计的三个核心问题（原文框架）
| 问题 | 可选方案 | 本项目选择 |
|---|---|---|
| 位姿如何追踪 | SLAM / VR 头显 / 外部动捕 | Meta Quest（inside-out，无需外部基站，可移动） |
| 夹爪开合如何追踪 | ArUco 标记 / 旋转编码器 | AS5600 编码器（对照实验后选定） |
| 移动 or 固定 | mobile / stationary | 可移动整套系统 |
4. 相关工作谱系
- 原版 UMI (Stanford)：SLAM 追踪、视觉夹爪读数、GoPro 级广角相机
- YUBI：本项目直接借鉴——Quest 追踪 + 磁编码器 + 手握式（本项目改为绑带）
- Generalist AI：绑带式握持方案的来源
- 遥操作路线：ALOHA 类主从臂（数据质量高但一人一臂）
- 检索关键词：
UMI gripper、handheld manipulation data collection、in-the-wild robot learning
5. 关键概念辨析
- Embodiment gap（本体差异）：人手数据 vs 机器人本体的动力学/运动学差异
- 缓解手段：相机视角对齐、俯视角姿态引导、夹爪几何复刻
- 预训练 + 微调范式：UMI 大规模数据预训练 → 遥操作（本体匹配）数据微调
- UMI 不能替代遥操作的场景：需要精确力控、需要本体动力学信息的任务
学习资源
| 资源 | 说明 |
|---|---|
| UMI 论文 PDF | arXiv:2402.10329，精读 |
| umi-gripper.github.io | 项目页：视频、代码仓库、硬件 BOM |
| YUBI 相关项目页/仓库 | 检索获取，对比设计 |
实践任务
- ✍️ 精读 UMI 论文，输出一页笔记：解决什么问题 / 核心机制 3 个 / 局限 3 个
- ✍️ 对比表：原版 UMI vs 本项目（Dream-UMI）vs YUBI，在追踪、夹爪读数、握持方式、成本上的差异
- 💭 思考题：为什么”相机视角与机器人一致”能缩小 embodiment gap？（提示：模仿学的是观测→动作映射，视角一致 = 观测分布一致）
- 💭 思考题：Quest 追踪相比 SLAM 追踪，牺牲了什么换来了什么？（提示：依赖头显在场 vs 纯板载自包含；精度 vs 便利）
掌握标准（自测）
- 能复述三个核心设计问题及各自方案空间
- 能画出 UMI 数据流：人手运动 → 传感器记录 → 后处理 → 训练数据 → 策略部署
- 能解释”UMI 预训练 + 遥操作微调”为什么是当前合理范式
- 完成论文一页总结
关联笔记
- 下一步：14 模仿学习 - ACT 与 Diffusion Policy
- 硬件落地：15 机械设计 - CAD 3D打印与结构迭代、17 位姿追踪 - Unity 与 Meta Quest 开发
- 原文对应章节：全文背景 + 01 - 原文存档 - Dream-UMI 开发手记
实践记录
（学习时在这里追加：日期 / 做了什么 / 踩坑 / 疑问）