← 所有日期 · 2026-10-11 · 前一天:10-10 抓贝果加 / 不加 focus
① 实验设置夹爪 focus 抓贝果、手指穿孔两个实验怎么设的② 结果与回放各组成功率与每次运行的回放③ 具体分析agent 怎么用 focus、写下的数对不对、穿孔失败碰在哪

Agent 飞行记录仪 · 实验 B:抓贝果 · focus 加夹爪 mesh · focus 加夹爪 mesh · 第 13 次(未成功) exp2_g1c_03_grip

左:三路相机的重放录像(腕部 / 肩上 / 对面)· 中:agent 每一轮的推理摘要、代码,以及下发的动作和它写的说明,逐字原样 · 右:focus(这一轮 agent 收到的 mesh)与这一轮合爪的仿真真值 · 下:产物架与成对时间轴,再下面是每次合爪的三维视图。点 ▶ 播放,或点时间轴上任意一点跳转;键盘 ← → 逐轮、空格 播放/暂停。
focus 加夹爪 mesh:第 1 次第 2 次第 3 次第 4 次第 5 次第 6 次第 7 次第 8 次第 9 次第 10 次 ✓第 11 次 ✓第 12 次 ✓第 13 次第 14 次第 15 次第 16 次第 17 次第 18 次 ✓第 19 次 ✓第 20 次
▸ 本组条件:两组提示词的唯一差别
实验 B:focus 工具(每次合爪前必须调用),结果里另附夹爪自己的表面 mesh。实验 A(10-10,加 / 不加 focus,不含夹爪)见前一天的页面。
▸ 起始 prompt(发给 agent 的原文,逐字)
加载中…
▸ 任务与输入(这只 agent 到底拿到什么)
起点:夹爪张开,指尖中心在原味贝果中心正上方 12 cm。成功:原味贝果离起始高度 3 cm 以上并保持 1 秒(在线判定,两次独立重放复现)。时间:服务就绪后 20 分钟。
agent:GPT-6 Solar(推理强度 max),Codex CLI 0.157.0,经 Harbor 在独立容器里运行;仿真在另一个容器,agent 只能通过客户端访问。
agent 能拿到的输入:三路 RGB、深度、相机内外参、本体感知、运动学(正逆解);focus 工具返回当前帧相机看得见的表面 mesh,另附夹爪按当前关节角的表面 mesh。
明确不提供:任何物体的位置、姿态或几何;不能重置。
▸ 本跑小结:建了什么、怎么用、过程中的关键时刻
未成功。本轮 1202 s(timeout),下发动作 13 次,focus 7 次,合爪 3 次。
录像只在"世界执行动作"时推进;agent 思考时世界静止(底色变暖)。录像是所记录动作在新进程里的重放,每个控制步一帧(每秒 15 步)。

AGENT

FOCUS

这一轮的合爪(仿真真值)

产物架 — 每次 focus 调用,标注轮次,点击展开 agent 写的说明

✕

时间轴:每轮一对 —agent 观测、思考、调 focus 世界执行它下发的动作 · 绿色轮号 = 这一轮合爪 · 点任意点跳转

每次合爪的三维视图(仿真真值;播放到有合爪的那一轮会自动切到这次合爪)

 
深灰 = 夹爪(按当时各零件的真实位置);棕 = 原味贝果;浅色 = 芝麻贝果;网格 = 桌面。左键拖动旋转 · 滚轮按下拖动或右键拖动平移 · 滚轮以光标处为中心缩放 · 双击设为旋转中心。