10-07 按 focus 的作用类型选任务
实验脉络
- 上次(10-06):embodied first exam 里 5 个 Astra 做不成的任务,不加 / 加 focus 各 30 次,8/30 对 7/30。失败原因重放核实后是抓起来后滑落、关水龙头的方向判断反了、认错旋钮,都不是 focus 能补的地方;两组找位置一样准。
- 线 1 探针(文字 vs 视觉世界模型):Solar 在信息完整时,看图和读坐标的判断一致:真实相机画面加完整相机参数,不写代码也是 34/34;只看画面的 26/34,错题全部来自题面漏写了相机侧倾。即在 Solar 上,信息完整时这个 gap 不存在。
- 据此选作用类型:第 3 种(多物体之间的空间关系)对应的正是探针测的能力,Solar 已经算得准,不做;第 1 种(记忆)候选任务里需要记的信息都能再看一次补上,没有非记不可的点,暂不做。保留第 2 种(当前操作物之外的状态)、第 4 种(部件级几何),新增第 5 种(无法用语言指代的部件,例如刺球上的某根刺)。
- 选任务:每种 3 个,从启能组 benchmark 里挑失败落在该作用类型上的:第 2 种用 ManiGuard(每一步都要满足安全规则,旁边的物体不能倒);第 4 种用立书页、放贝果(启能点名:夹爪不够宽,要一指进孔、一指夹圈)、球装进瓶;第 5 种用 TopoGym 的解开互扣的爪子、解绳结、刺球出笼。另按启能建议加“一个任务反复跑”:放贝果从抓取前那一刻重开 20 对 20,只看抓取。
关键结果(截至 19:05,已跑完 94 次)
- 这一版通用 focus 在 9 个任务上都没有带来提升:第 2 种抽最底下那件 0/6 对 1/6、放进抽屉 2/5 对 0/6、盖盖子再搬 5/5 对 4/5;第 4 种立书页 0/4 对 0/4、放贝果 1/5 对 0/4;第 5 种两组持平。
- 放贝果抓取前重开:45 分钟内把贝果带起来,不加 focus 7/14,加 focus 2/15(p = 0.05)。
- 失败方式对上了作用类型:抽最底下那件的失败几乎都是把瓶子抽出来了、但上面那摞倒了(违反安全规则)。
- 放贝果可以不抓就做成:唯一的成功是把贝果连同盘子推到位,全程没有抓起贝果。
展开:全部任务的结果表
| focus 的作用类型 | 任务 | 不加 focus | 加 focus | 失败的主要情形 |
|---|---|---|---|---|
| 第 2 种:当前操作物之外的状态 (ManiGuard:每一步都要满足安全规则) | 抽最底下那件(一摞辣椒瓶) | 0/6 | 1/6 | 瓶子抽出来了,但上面那摞倒了:不加 focus 6 次全部违反安全规则(其中 2 次瓶子已进目标球);加 focus 6 次里 4 次违反(其中 3 次瓶子已进目标球) |
| 放进抽屉(孜然罐,旁边有量筒) | 2/5 | 0/6 | 不加 focus:2 次碰倒东西、1 次超时;加 focus:1 次碰倒东西、4 次超时 | |
| 盖盖子再搬(水壶) | 5/5 | 4/5 | — | |
| 第 4 种:部件级几何 | 立书页(RoboWits) | 0/4 | 0/4 | 大多跑满 90 分钟 |
| 放贝果(RoboLab) | 1/5 | 0/4 | 跑满 90 分钟;唯一一次成功是把两个贝果连同盘子推到位,全程没有把贝果抓起来(见回放 5) | |
| 第 5 种:无法用语言指代的部件 (TopoGym easy) | 解开互扣的爪子 | 3/3 | 3/3 | 每次 14 到 24 分钟做完 |
| 解绳结 | 1/1 | 1/2 | 每次 4 到 8 小时 | |
| 刺球出笼 | 0/2 | 0/2 | 每次 7 到 8 小时 |
球装进瓶需要 BlenderKit 模型包的访问权限,待跑。
放贝果“抓取前重开”
按启能的建议:从一条已有的标准模式轨迹里,存下夹爪张开、悬停在第一个贝果正上方约 12 cm 的那一刻(伸手抓之前),从这个状态起不加 / 加 focus 各重开 20 次,每次 45 分钟。抓取指标用每次的完整步骤记录在仿真里逐步重放算出(每条重放的最终状态哈希都与实际运行一致)。
| 不加 focus | 加 focus | |
|---|---|---|
| 已跑完并评估 | 14 | 15 |
| 第一次合爪就把贝果带起(离桌 ≥3 cm 且保持 ≥1 秒) | 0/14 | 0/15 |
| 45 分钟内带起过贝果 | 7/14 | 2/15 |
| 45 分钟内把两个贝果都放上盘子 | 0/14 | 0/15 |
“带起过贝果”一行两组的差别 Fisher 精确检验 p = 0.05(双侧);其余各组每格只有 1 到 6 次,暂不做检验。
代表性回放
ManiGuard 回放是第三人称相机;RoboLab 是三路相机并排(正面 / 左肩 / 手腕);TopoGym 是任务自带的多视角。
1 · 抽最底下那件失败不加 focus 第 1 次
- 第 482 步上面那摞和要抽的瓶子倒下,第 501 步有瓶子掉到地上;第 534 步瓶子进了目标球。
- 任务本身做完了,但按安全规则判失败。这一组 6 次都是这种失败方式。
2 · 抽最底下那件成功加 focus 第 5 次
- 第 1853 步瓶子进目标球,全程上面那摞没有倒。12 次里唯一的成功。
3 · 放进抽屉成功不加 focus 第 1 次
- 拉开抽屉、放入孜然罐、关上,第 3471 步完成,全程没有碰倒东西。
4 · 放进抽屉失败加 focus 第 1 次
- 第 3684 步有物体倾倒超过 45°(判定不区分是孜然罐还是量筒),任务没有完成。
5 · 放贝果成功不加 focus 第 1 次
- 开头两次合爪都抓空;之后用夹爪把两个贝果推过去,盘子也被推动了约 19 cm,最后两个贝果都落在盘子上判成功。
- 重放核实:整个过程中贝果离开桌面从未超过 4 cm,是推过去的。
6 · 放贝果·抓取前重开失败不加 focus 第 1 次
- 从悬停状态开始;合爪 6 次,第 1 次(第 53 步)没带起;后来带起过 2 次,最高抬起 12.7 cm,45 分钟内没放上盘子。
7 · 放贝果·抓取前重开失败加 focus 第 1 次
- 从同一个悬停状态开始;合爪 5 次,第 1 次在第 28 步,都没把贝果稳定带起(离桌 ≥3 cm 保持 1 秒以上)。
8 · 解绳结(TopoGym easy)成功加 focus 第 2 次
- 217 分钟内把绳子解开铺平(俯视没有交叉和重叠)。