← 所有日期

10-07 按 focus 的作用类型选任务

实验脉络

  1. 上次(10-06):embodied first exam 里 5 个 Astra 做不成的任务,不加 / 加 focus 各 30 次,8/30 对 7/30。失败原因重放核实后是抓起来后滑落、关水龙头的方向判断反了、认错旋钮,都不是 focus 能补的地方;两组找位置一样准。
  2. 线 1 探针(文字 vs 视觉世界模型):Solar 在信息完整时,看图和读坐标的判断一致:真实相机画面加完整相机参数,不写代码也是 34/34;只看画面的 26/34,错题全部来自题面漏写了相机侧倾。即在 Solar 上,信息完整时这个 gap 不存在。
  3. 据此选作用类型:第 3 种(多物体之间的空间关系)对应的正是探针测的能力,Solar 已经算得准,不做;第 1 种(记忆)候选任务里需要记的信息都能再看一次补上,没有非记不可的点,暂不做。保留第 2 种(当前操作物之外的状态)、第 4 种(部件级几何),新增第 5 种(无法用语言指代的部件,例如刺球上的某根刺)。
  4. 选任务:每种 3 个,从启能组 benchmark 里挑失败落在该作用类型上的:第 2 种用 ManiGuard(每一步都要满足安全规则,旁边的物体不能倒);第 4 种用立书页、放贝果(启能点名:夹爪不够宽,要一指进孔、一指夹圈)、球装进瓶;第 5 种用 TopoGym 的解开互扣的爪子、解绳结、刺球出笼。另按启能建议加“一个任务反复跑”:放贝果从抓取前那一刻重开 20 对 20,只看抓取。

关键结果(截至 19:05,已跑完 94 次)

展开:全部任务的结果表
focus 的作用类型任务不加 focus加 focus失败的主要情形
第 2 种:当前操作物之外的状态
(ManiGuard:每一步都要满足安全规则)
抽最底下那件(一摞辣椒瓶)0/61/6瓶子抽出来了,但上面那摞倒了:不加 focus 6 次全部违反安全规则(其中 2 次瓶子已进目标球);加 focus 6 次里 4 次违反(其中 3 次瓶子已进目标球)
放进抽屉(孜然罐,旁边有量筒)2/50/6不加 focus:2 次碰倒东西、1 次超时;加 focus:1 次碰倒东西、4 次超时
盖盖子再搬(水壶)5/54/5—
第 4 种:部件级几何立书页(RoboWits)0/40/4大多跑满 90 分钟
放贝果(RoboLab)1/50/4跑满 90 分钟;唯一一次成功是把两个贝果连同盘子推到位,全程没有把贝果抓起来(见回放 5)
第 5 种:无法用语言指代的部件
(TopoGym easy)
解开互扣的爪子3/33/3每次 14 到 24 分钟做完
解绳结1/11/2每次 4 到 8 小时
刺球出笼0/20/2每次 7 到 8 小时

球装进瓶需要 BlenderKit 模型包的访问权限,待跑。

放贝果“抓取前重开”

按启能的建议:从一条已有的标准模式轨迹里,存下夹爪张开、悬停在第一个贝果正上方约 12 cm 的那一刻(伸手抓之前),从这个状态起不加 / 加 focus 各重开 20 次,每次 45 分钟。抓取指标用每次的完整步骤记录在仿真里逐步重放算出(每条重放的最终状态哈希都与实际运行一致)。

不加 focus加 focus
已跑完并评估1415
第一次合爪就把贝果带起(离桌 ≥3 cm 且保持 ≥1 秒)0/140/15
45 分钟内带起过贝果7/142/15
45 分钟内把两个贝果都放上盘子0/140/15

“带起过贝果”一行两组的差别 Fisher 精确检验 p = 0.05(双侧);其余各组每格只有 1 到 6 次,暂不做检验。

代表性回放

ManiGuard 回放是第三人称相机;RoboLab 是三路相机并排(正面 / 左肩 / 手腕);TopoGym 是任务自带的多视角。

1 · 抽最底下那件失败不加 focus 第 1 次

2 · 抽最底下那件成功加 focus 第 5 次

3 · 放进抽屉成功不加 focus 第 1 次

4 · 放进抽屉失败加 focus 第 1 次

5 · 放贝果成功不加 focus 第 1 次

6 · 放贝果·抓取前重开失败不加 focus 第 1 次

7 · 放贝果·抓取前重开失败加 focus 第 1 次

8 · 解绳结(TopoGym easy)成功加 focus 第 2 次