← 返回 09-27 总览(第一部分)
Agent 飞行记录仪
· 基线组 · 第1跑 · picking up trash
左:上帝视角(头部相机连续录像+我们叠加的注释, 非 agent 所见) · 右:agent 实际消费的信息, 逐字节原样、永不加工 · 下:产物架(点开看内容)与成对时间轴 ·
看本组第2跑 →
与成对时间轴
▸ 起始 prompt(发给 agent 的原文,逐字)
加载中…
▸ 任务与输入(这只 agent 到底拿到什么)
任务 goal — env.task_goal() 返回的原文只有一句: "picking up trash"。更细的要求全在起始 prompt 里(见上一个下拉框)。 Agent 每轮可获得的全部输入(没有别的): · RGB 图像 ×3: 头部 + 左腕 + 右腕 (480×480) · 头部相机原始深度图 (.npy) · 相机内参 K + 各相机在底盘上的安装位姿(手眼标定) · 本体感知: 关节角 / 底盘系夹爪位姿 / 相对 episode 起点的里程计 / 持物标志 · 任务文本(上面那句) 明确不提供: 任何物体的位置或身份、世界坐标外参、场景资产。 运动规划器只知道机器人自身(关节限位/自碰撞), 不知道环境——避障完全靠 agent。
左腕相机(每轮观测时刷新)
右腕相机(每轮观测时刷新)
AGENT
产物架 — 每件产物标注其诞生轮次,点击展开内容
✕
时间轴: 每轮一对 —
agent 拿观测并思考
世界 rollout(执行动作) · 点任意点跳转
▶ 播放
正常
跳过思考轮
打字速度