← 所有日期 · 2026-10-10
① 工具精度focus 工具与夹爪 mesh 准不准② 正式实验抓贝果加 / 不加 focus 各 20 次:结果与每次回放③ 具体分析每次合爪失败在哪一步、为什么

Agent 飞行记录仪 · 抓贝果 · 加 focus · main_g2a_01_focus(未成功)

左:三路相机的重放录像(腕部 / 肩上 / 对面)· 中:agent 每一轮的推理摘要、代码,以及下发的动作和它写的说明,逐字原样 · 右:focus(这一轮 agent 收到的 mesh)与这一轮合爪的仿真真值 · 下:产物架与成对时间轴,再下面是每次合爪的三维视图。点 ▶ 播放,或点时间轴上任意一点跳转;键盘 ← → 逐轮、空格 播放/暂停。
加 focus:g0a_01g0a_03g0b_04g0c_01g0c_02g0d_01 ✓g0d_02g1a_01g1a_03g1b_02g1e_02g2a_01g2a_03g2b_02g2c_01g2e_01g2e_02 ✓v1g0_01v1g0_03 ✓v1g0b_01→ 切到不加 focus组
▸ 本组条件:两组提示词的唯一差别
加 focus 组的任务说明里多出这一段(原文):

## Focus tool (required)
`r.focus(center, radius, note)` returns the triangle mesh of the surfaces your cameras see in the **current** frame within `radius` m (at most 0.15) of `center` ([x, y, z] m, env-local world frame), with the robot's own body removed: `{"vertices": (N,3) m, "faces": (M,3), "path": PLY file, "meta": per-camera counts}`. It is built only from the current depth and camera calibration (the same data as `r.get_obs(depth=True)`); surfaces no camera sees are absent. `note` is required: what this focus is on and what you want to learn from it.
**Before every gripper close you must call `r.focus(...)` on the region the fingers will touch**, and base the approach and the close on that mesh.
▸ 起始 prompt(发给 agent 的原文,逐字)
加载中…
▸ 任务与输入(这只 agent 到底拿到什么)
起点:夹爪张开,指尖中心在原味贝果中心正上方 12 cm。成功:原味贝果离起始高度 3 cm 以上并保持 1 秒(在线判定,两次独立重放复现)。时间:服务就绪后 20 分钟。
agent:GPT-6 Solar(推理强度 max),Codex CLI 0.157.0,经 Harbor 在独立容器里运行;仿真在另一个容器,agent 只能通过客户端访问。
agent 能拿到的输入:三路 RGB(腕部、肩上、对面)、深度、相机内外参、本体感知(关节、TCP 位姿、夹爪开口)、运动学(正逆解)。加 focus 组另有 focus 工具(见上)。
明确不提供:任何物体的位置、姿态或几何;不能重置。
▸ 本跑小结:建了什么、怎么用、过程中的关键时刻
未成功。本轮 1277 s(timeout),下发动作 17 次,focus 7 次,合爪 3 次。第 1 次合爪:没写目标高度,需人看(TCP 离桌 1.35 cm,贝果最高抬起 2.87 cm)。 第 2 次合爪:没写目标高度,需人看(TCP 离桌 1.26 cm,贝果最高抬起 2.03 cm)。 第 3 次合爪:没写目标高度,需人看(TCP 离桌 0.27 cm,贝果最高抬起 2.15 cm)。
录像只在"世界执行动作"时推进;agent 思考时世界静止(底色变暖)。录像是所记录动作在新进程里的重放,每个控制步一帧(每秒 15 步)。

AGENT

FOCUS

这一轮的合爪(仿真真值)

产物架 — 每次 focus 调用,标注轮次,点击展开 agent 写的说明

✕

时间轴:每轮一对 —agent 观测、思考、调 focus 世界执行它下发的动作 · 绿色轮号 = 这一轮合爪 · 点任意点跳转

每次合爪的三维视图(仿真真值;播放到有合爪的那一轮会自动切到这次合爪)

 
深灰 = 夹爪(按当时各零件的真实位置);棕 = 原味贝果;浅色 = 芝麻贝果;网格 = 桌面。左键拖动旋转 · 滚轮按下拖动或右键拖动平移 · 滚轮以光标处为中心缩放 · 双击设为旋转中心。