10-06 加 / 不加 focus:5 个任务的典型回放
embodied first exam 标准模式(只给相机图像和关节状态,不能重置)里挑的 5 个 Astra 没做成的任务;模型 Solar(Codex,推理强度 max);每个任务不加 focus、加 focus 各跑 6 次。加 focus 指每步动作前,让 agent 用三维形式记下要碰的物体、要避开的东西、动作后要核对的状态。
结果
| 任务 | 不加 focus | 加 focus | 主要失败原因(仿真重放核实) |
|---|---|---|---|
| 把勺子放进杯子 | 5/6 | 4/6 | 勺子抬起后滑落、碰倒杯子 |
| 把红杯子摆正 | 2/6 | 3/6 | 翻转途中杯子从夹爪里滑出 |
| 两个杯子放上架子 | 0/6 | 0/6 | 杯子抓住后滑落,或夹住了提不起来 |
| 关水龙头 | 0/6 | 0/6 | 这个水龙头往下压是开得更大、往上抬才是关;agent 一直往下压 |
| 打开左前炉头 | 1/6 | 0/6 | 认错旋钮:最左边两个旋钮管的是后排炉头 |
| 合计 | 8/30 | 7/30 | 两组找位置一样准:RoboLab 三个任务里,夹爪合拢时离物体表面中位都是 0.9 cm |
RoboLab 的三个任务视频是三路相机并排(正面 / 左肩 / 手腕),每秒 15 帧对应 15 个控制步;RoboCasa 的两个任务只有一路相机。
RoboLab:抓得准,但拿不稳
1 · 把勺子放进杯子成功不加 focus 第 6 次
- 0:05 夹起木碗里的勺子;0:12 放进杯子,任务完成。
2 · 把勺子放进杯子失败不加 focus 第 4 次
- 0:11 夹起勺子,0:13 勺子滑落;1:08、1:30 又两次夹起,都在几秒内滑落。
- 1:43 把杯子碰倒,之后没能完成。
3 · 两个杯子放上架子失败不加 focus 第 6 次
- 0:11 抓起白瓷杯,0:14 滑落;0:18 抓起另一个杯子,0:26 滑落。
- 这两次夹爪都对准了杯子(合拢时离杯子表面 0.2 cm),问题出在抓住以后拿不稳。
4 · 把红杯子摆正成功不加 focus 第 3 次
- 全程约 8 秒:0:02 抓住红杯子,翻转后杯口朝上放下。
5 · 把红杯子摆正失败不加 focus 第 6 次
- 前几次抓起、翻转都没摆正;1:22、1:50 两次在翻转途中杯子从夹爪里滑出,最后一次滑出后杯子够不着了。
RoboCasa 的相机画面有问题
RoboCasa 两个任务里红白闪烁、机械臂发绿,是 benchmark 生成相机画面时把物体的碰撞外壳(物理计算用的简化几何,家具为红色、机器人为绿色)和真实外观一起画了出来,两者叠在同一表面上互相遮挡。agent 拿到的图像就是左图;启能那边 Astra 跑同一任务的画面也一样。右图是同一时刻隐藏碰撞外壳后的画面。


因此下面两个 RoboCasa 任务的失败分析,是在相机画面被遮挡的条件下得到的,要在修好画面后重新跑过才能定论。
RoboCasa:动作做到了,但对"动这个会发生什么"判断错了
6 · 关水龙头失败加 focus 第 4 次
- 0:09–0:10、0:16–0:18、0:30 是夹爪按在把手上往下压的时段。重放读出的把手角度在这三段分别从约 0.52 升到 0.74、1.06、0.77。
- 这个水龙头角度越大水开得越大,关闭要把角度降到 0.40 以下,也就是把手往上抬。agent 按常识一直往下压;12 次重放里,把手角度一次也没降到起始的 0.47 以下。
- focus 记录里标的把手位置离真实把手 3–4 cm,位置基本对。
7 · 打开左前炉头失败不加 focus 第 1 次
- agent 拧了面板最左边的两个旋钮,认为其中一个管左前炉头。
- 重放读数:左后炉头的旋钮转了 2.61 弧度、中后的转了 0.48,左前炉头的旋钮一直是 0。
下面两张是这次运行中 agent 自己看过的图(从它的会话记录里原样取出):左图是开局时四路相机的画面,台面的红白条纹在 agent 拿到的图像里本来就有,远处三路相机分辨率只有 320×240,旋钮看不清;右图是 agent 把手移到灶台上方后、用手腕相机拍下再放大的画面,最下面一排带 D 形刻度的就是旋钮。旋钮看得见,但看不出哪个旋钮管哪个炉头。


8 · 打开左前炉头成功不加 focus 第 3 次
- 先拧了最左边两个旋钮;换一个更大的画面后,看到点着的是后排两个炉圈,于是改拧左数第 4 个,左前炉头点着。
- 这次成功的关键,是拧完后去看了"哪个炉头点着了"。
9 · 打开左前炉头失败加 focus 第 1 次
- focus 记录把最左边的旋钮标成了"左前炉头的旋钮"(target),记录里写它转了约 0.55 弧度,没有记录左前炉头是否点着。
- 重放读数:转的是左后炉头的旋钮(0.56 弧度),左前炉头的旋钮是 0。