← 所有日期 · 2026-10-11 · 前一天:10-10 抓贝果加 / 不加 focus
③ 具体分析:agent 怎么用 focus、写下的数对不对、穿孔失败碰在哪
一、agent 怎么用 focus(服务端的调用记录 + agent 自己写的代码)
| 组 | 运行 | 调用了 focus | 每次运行调用(中位) | 代码里用 mesh 的数算坐标 / 高度 | 读取夹爪 mesh | 动作说明引用 mesh | 把 mesh 画成图再看 | 看相机原图(每次运行中位) | 用深度图 | 用逆运动学 |
|---|---|---|---|---|---|---|---|---|---|---|
| 实验 A 抓贝果 · 加 focus | 20 | 20 | 6 | 18 | — | 72% | 2 | 26 | 13 | 13 |
| 实验 A 抓贝果 · 不加 focus | 20 | — | — | — | — | — | — | 31 | 18 | 11 |
| 实验 B 抓贝果 · focus 加夹爪 mesh | 20 | 20 | 6 | 17 | 19 | 86% | 1 | 20 | 17 | 15 |
| 实验 C 穿孔 · 加 focus(含夹爪 mesh) | 9 | 9 | 5 | 6 | 9 | 95% | 0 | 7 | 7 | 9 |
| 实验 C 穿孔 · 不加 focus | 9 | — | — | — | — | — | — | 18 | 8 | 5 |
- 有 focus 的运行全都调用了,而且是当数据用:从 mesh 算出孔的位置、贝果高度、手指离贝果多远,再据此写动作。夹爪 mesh 几乎每次都读了。
- 几乎从不把 mesh 画出来、叠到相机画面上核对;主要还是一遍遍看相机原图。
- 调用多少与成败无关:成功和失败的运行,focus 调用次数相近。
二、agent 写下的数对不对(实验 A、B:每次合爪前它写的数 vs 仿真真值)
| 组 | 合爪 | 写了自己指尖高度 | 其中差约 13 mm | 其中差 ≤1 mm | 说"手指已进孔" | 其中实际没进 | 贝果顶面误差中位 (mm) | 桌面误差中位 (mm) |
|---|---|---|---|---|---|---|---|---|
| 实验 A · 加 focus | 49 | 5 | 4 | 0 | 16 | 5 | 0.6 | 1.0 |
| 实验 A · 不加 focus | 60 | 4 | 3 | 0 | 15 | 5 | 1.4 | 0.0 |
| 实验 B · focus 加夹爪 mesh | 39 | 17 | 0 | 17 | 11 | 0 | 0.4 | 2.5 |
- 13 mm 正好是"手指张开时指尖比下发的点高约 1.3 cm":没有夹爪 mesh 时,agent 多半把下发的点当成指尖。有了夹爪 mesh,写下的指尖高度与真值相差不到 1 mm,"已进孔"的判断也都对。
- 对贝果、桌面的判断三组都准。
- 也就是说,夹爪 mesh 纠正了"自己手指在哪",但实验 B 的成功率仍只有 5/20:知道手指在哪以后,后面还有别的环节在失败。
只统计 agent 在说明里写了具体数字的那些合爪;数字从说明文字里逐条提取,并逐条核对过提取是否抓对。
三、实验 C(手指穿孔)失败的那几次碰在哪
| 运行 | 组 | 碰到时的控制步 | 贝果移动 (mm) | 贝果转动 (°) | 碰的位置 | 指垫离孔中心轴 (mm) | 指垫离桌 (mm) |
|---|---|---|---|---|---|---|---|
| 实验 C · 加 focus 第 3 次 | 加 focus(含夹爪) | 22 | 19.6 | 27.8 | 贝果外侧 | 40.3 | 25.0 |
| 实验 C · 不加 focus 第 4 次 | 不加 focus | 120 | 1.4 | 1.3 | 孔壁(手指已在孔里) | 4.3 | 17.9 |
| 实验 C · 不加 focus 第 6 次 | 不加 focus | 346 | 0.2 | 0.5 | 孔壁(手指已在孔里) | 14.8 | 22.8 |
| 实验 C · 加 focus 第 7 次 | 加 focus(含夹爪) | 11 | 0.9 | 2.2 | 环身上方(手指没对准孔) | 22.5 | 27.5 |
| 实验 C · 不加 focus 第 7 次 | 不加 focus | 112 | 1.7 | 6.5 | 孔壁(手指已在孔里) | 8.9 | 31.6 |
| 实验 C · 不加 focus 第 8 次 | 不加 focus | 185 | 3.7 | 8.5 | 孔壁(手指已在孔里) | 9.6 | 10.9 |
| 实验 C · 加 focus 第 9 次 | 加 focus(含夹爪) | 92 | 0.2 | 0.5 | 孔壁(手指已在孔里) | 7.2 | 12.7 |
碰的位置由那一刻离贝果最近的指垫判定:孔壁(指垫在孔的范围内、低于贝果顶面)、顶面、外侧。