00 - 项目总览与学习路线

Dream-UMI 复刻项目 · 总览与学习路线

目标：系统掌握 ETH Zurich 毕设《Dream-UMI：为 TRLC-DK122 机械臂开发 UMI 数据采集设备》所涉及的全部知识与技能，并完成复刻，将本项目纳入个人开发体系。

本站地址

本知识库已发布为公开网站：https://dream-umi.pages.dev 用于向指导老师与同门同步项目进度，可随时查阅与分享。

一、项目是什么

• 一句话：做一个手持的”机器人夹爪复刻装置”（UMI），人拿着它直接干活，设备上的相机 + 传感器同步记录数据，事后用于训练机器人模仿学习策略。
• 痛点：遥操作采集数据一人一臂不可扩展；开自封袋、剪扎带、分拣螺丝等精细任务遥操作体验极差。
• 技术路线（借鉴 YUBI）：Meta Quest 位姿追踪 + AS5600 磁编码器读夹爪开合 + XIAO ESP32C6 + 3D 打印结构件 → 可移动整套系统。
• 训练范式：UMI 数据预训练 + 遥操作数据微调。
• 原文存档：01 - 原文存档 - Dream-UMI 开发手记

二、技术栈全景

数学基础      坐标变换 / 旋转表示 / 概率统计
    │
    ├── 视觉 ────── 相机模型(针孔/鱼眼/omnidir) / ChArUco / ArUco / OpenCV
    │       └── 标定：内参标定 → 手眼标定 / 支点 / 重力姿态 / Quest-标记
    │
    ├── 硬件 ────── CAD建模 / 3D打印 / 齿轮齿条+轴承 / 人体工学
    │       └── 嵌入式：AS5600 磁编码器 / XIAO ESP32C6 / I2C / 串口
    │
    ├── 追踪 ────── Unity / Meta XR SDK / Quest 控制器位姿
    │       └── 网络：UDP / TCP / ADB / 时间同步与对齐
    │
    └── 学习 ────── 模仿学习 / ACT / Diffusion Policy / lerobot
            └── 数据：采集控制逻辑 / 后处理 pipeline

三、六阶段学习路线

每条知识笔记包含：为什么学 → 知识点清单 → 学习资源 → 实践任务 → 掌握标准。学完一节就在下面打勾。

阶段 0 · 项目理解（2~3 天）

• 精读原文存档 01 - 原文存档 - Dream-UMI 开发手记
• 读 13 UMI 范式与相关研究，精读 UMI 论文（arXiv:2402.10329）并写一页总结
• 产出：能向别人讲清楚 UMI 解决什么问题、三个核心设计问题是什么

阶段 1 · 数学与视觉地基（2~3 周）

• 11 机器人学基础 - 坐标系与位姿变换 ← 全项目的数学核心
• 19 视觉基础 - 相机模型与内参标定
• 20 视觉基础 - ArUco 与 ChAruco
• 产出：numpy 实现坐标变换；独立完成一次相机内参标定

阶段 2 · 硬件与嵌入式（2~3 周）

• 15 机械设计 - CAD 3D打印与结构迭代
• 16 嵌入式 - AS5600 编码器与 XIAO ESP32C6
• 产出：编码器数据流跑通（读数→钳口宽度→串口输出）

阶段 3 · 位姿追踪与数据链路（2~3 周）

• 17 位姿追踪 - Unity 与 Meta Quest 开发
• 18 网络传输 - TCP UDP ADB 与时间同步
• 12 机器人学基础 - 运动学与遥操作控制
• 产出：Quest 手柄位姿实时 UDP 推到电脑并可视化

阶段 4 · 标定系统（3~4 周，项目精髓）

• 21 标定系统 - 手眼标定
• 22 标定系统 - 支点标定、重力姿态与Quest-标记标定
• 23 实验方法论 - 误差分析与对照实验
• 产出：完成自己设备的手眼标定并量化误差

阶段 5 · 模仿学习与整合（4~8 周）

• 14 模仿学习 - ACT 与 Diffusion Policy
• 执行 31 复刻路线图与里程碑
• 产出：跑通 ACT/DP 基线 → 用自己采集的数据训练

四、知识依赖关系

11 坐标变换 ──→ 21 手眼标定 ──→ 22 自研标定 ──→ 31 复刻
19 相机模型 ──↗       ↗
20 ArUco ────────↗
13 UMI范式 ──→ 14 模仿学习 ──→ 31 复刻
15/16 硬件 ──→ 17 Quest追踪 ──→ 18 网络 ──→ 31 复刻

最小可行路径（时间紧时）：11 → 19 → 16 → 17 → 21 → 31，跳过进阶内容。

五、知识库使用约定

1. 学习时：按阶段顺序推进；每篇笔记先看”为什么学”建立动机。
2. 记录时：新笔记放在 10 - 知识领域/ 或 30 - 复刻执行/，frontmatter 加 tags: [dream-umi, ...] 和 status（未开始/进行中/已完成）。
3. 实践记录：实验数据、踩坑、代码片段直接追加到对应知识笔记的”实践记录”小节，或另建 99 - 实验日志/ 文件夹。
4. 回填：原文中丢失的数值（标定误差表、角度、分辨率等）在实践复现时补上自己的实测值，逐步把这篇文章变成自己的数据。

六、与个人开发体系的融合点

• 嵌入式部分（16）与已有 STM32 知识互通：I2C、定时器、串口流。
• 实验方法论（23）可迁移到任何硬件调试项目。
• 模仿学习（14）+ 数据 pipeline 是机器人 AI 开发的通用能力，后续可接智能机器人创意大赛类项目。
• 复刻完成后，本知识库升级为”UMI 数据采集设备”的产品文档库。

七、学习报告（每周三提交群内）

老师要求每周三提交学习报告。报告存放于 40 - 学习报告/，命名 4X - 学习报告XX 主题.md，内容自包含（老师无需翻知识库即可读懂）：课程概览 → 核心知识点 → 与本项目关联 → 心得疑问 → 下一步计划。

期数	日期	主题	状态
01	2026-10-14	41 - 学习报告01 机器人学基础（机械臂运动学）	✅

报告模板要素（新建报告时照抄结构）：报告头（日期/资源/链接）、概览、知识点整理、项目关联表、心得与疑问、下一步计划、知识库导航。

关键链接

• 原文：https://mp.weixin.qq.com/s/a7tDHln_5fR9xdG3Tkol8Q
• 作者博客：https://www.ginokreis.com/blog/dream-umi
• UMI 论文：arXiv:2402.10329（Universal Manipulation Interface）
• ACT 论文：arXiv:2304.13705（ALOHA）
• Diffusion Policy 论文：arXiv:2303.04137