← 所有日期 · 2026-10-10
① 工具精度focus 工具与夹爪 mesh 准不准② 正式实验抓贝果加 / 不加 focus 各 20 次:结果与每次回放③ 具体分析每次合爪失败在哪一步、为什么

Agent 飞行记录仪 · 抓贝果 · 不加 focus · main_g1e_01_nofocus(未成功)

左:三路相机的重放录像(腕部 / 肩上 / 对面)· 中:agent 每一轮的推理摘要、代码,以及下发的动作和它写的说明,逐字原样 · 右:focus(这一轮 agent 收到的 mesh)与这一轮合爪的仿真真值 · 下:产物架与成对时间轴,再下面是每次合爪的三维视图。点 ▶ 播放,或点时间轴上任意一点跳转;键盘 ← → 逐轮、空格 播放/暂停。
不加 focus:g0a_04g0b_01 ✓g0b_05g0e_01g0e_02g1a_02 ✓g1b_01g1b_03 ✓g1c_01g1c_02g1d_01g1e_01g2a_02 ✓g2a_04g2b_01g2b_03g2d_01v1g0_02v1g0_04v1g0c_01→ 切到加 focus组
▸ 本组条件:两组提示词的唯一差别
不加 focus 组:没有 focus 工具,任务说明里没有上面那一段;其余与加 focus 组完全相同。
▸ 起始 prompt(发给 agent 的原文,逐字)
加载中…
▸ 任务与输入(这只 agent 到底拿到什么)
起点:夹爪张开,指尖中心在原味贝果中心正上方 12 cm。成功:原味贝果离起始高度 3 cm 以上并保持 1 秒(在线判定,两次独立重放复现)。时间:服务就绪后 20 分钟。
agent:GPT-6 Solar(推理强度 max),Codex CLI 0.157.0,经 Harbor 在独立容器里运行;仿真在另一个容器,agent 只能通过客户端访问。
agent 能拿到的输入:三路 RGB(腕部、肩上、对面)、深度、相机内外参、本体感知(关节、TCP 位姿、夹爪开口)、运动学(正逆解)。
明确不提供:任何物体的位置、姿态或几何;不能重置。
▸ 本跑小结:建了什么、怎么用、过程中的关键时刻
未成功。本轮 1608 s(timeout),下发动作 7 次,focus 0 次,合爪 2 次。第 1 次合爪:失败在计划:按 agent 写的高度也抓不起(TCP 离桌 1.66 cm,贝果最高抬起 2.17 cm)。 第 2 次合爪:失败在计划:按 agent 写的高度也抓不起(TCP 离桌 1.73 cm,贝果最高抬起 0.0 cm)。
录像只在"世界执行动作"时推进;agent 思考时世界静止(底色变暖)。录像是所记录动作在新进程里的重放,每个控制步一帧(每秒 15 步)。

AGENT

FOCUS

这一轮的合爪(仿真真值)

产物架 — 每次 focus 调用,标注轮次,点击展开 agent 写的说明

✕

时间轴:每轮一对 —agent 观测、思考、调 focus 世界执行它下发的动作 · 绿色轮号 = 这一轮合爪 · 点任意点跳转

每次合爪的三维视图(仿真真值;播放到有合爪的那一轮会自动切到这次合爪)

 
深灰 = 夹爪(按当时各零件的真实位置);棕 = 原味贝果;浅色 = 芝麻贝果;网格 = 桌面。左键拖动旋转 · 滚轮按下拖动或右键拖动平移 · 滚轮以光标处为中心缩放 · 双击设为旋转中心。