Agent 飞行记录仪 · 选择性 3D 组 · 第2跑 · picking up trash

加载中…

任务 goal — env.task_goal() 返回的原文只有一句: "picking up trash"。更细的要求全在起始 prompt 里(见上一个下拉框)。 Agent 每轮可获得的全部输入(没有别的): · RGB 图像 ×3: 头部 + 左腕 + 右腕 (480×480) · 头部相机原始深度图 (.npy) · 相机内参 K + 各相机在底盘上的安装位姿(手眼标定) · 本体感知: 关节角 / 底盘系夹爪位姿 / 相对 episode 起点的里程计 / 持物标志 · 任务文本(上面那句) 明确不提供: 任何物体的位置或身份、世界坐标外参、场景资产。 运动规划器只知道机器人自身(关节限位/自碰撞), 不知道环境——避障完全靠 agent。

本跑（选择性 3D 组 · 第2跑）focus 机制实况，逐字核对 controller.py 与会话记录： 1. 空间计算全走 agent 自写的 controller.py：模型每轮提交 JSON 请求（要测的像素、新实体、本轮 purpose 与 focus 名单、可选动作）。controller 把像素用深度+内参反投影到相机系 → 乘手眼标定到底盘系 → 乘当时里程计位姿转到 episode 起点固定系（全局），存入 focus/scene.json，并把算出的坐标打印返回给模型。 2. scene.json 的读与写：controller 每次调用都读入文件，但作用是"读-改-写"保留旧实体；存量实体坐标不会被代码取出参与动作计算，动作参数是模型在上下文里携带的显式数字。模型显式回读文件仅 1 次。 3. "使用"体现在哪：测量时刻返回的全局坐标进入模型上下文，坐标系固定所以底盘移动后数字不过期（move_base 恰好使用同一坐标系）；实体名构成它逐轮 focus 声明的词汇表。 4. 实体可被原地改写且不留历史——如 held_orange_can 在投放成功后被更新为桶内坐标（这也是它在早期轮次的地图上显示在桶位置的原因：地图画的是最终坐标；历史坐标待从逐轮 request 文件重建）。 5. 本跑没有 mesh/点云/体素：表示 = 70 个点实体 + 2 个 box 空间区域实体（通行走廊、抓取工作区）。