Agent 飞行记录仪 · mesh focus 组 · 第1跑 · picking up trash

加载中…

任务 goal — env.task_goal() 返回的原文只有一句: "picking up trash"。更细的要求全在起始 prompt 里(见上一个下拉框)。 Agent 每轮可获得的全部输入(没有别的): · RGB 图像 ×3: 头部 + 左腕 + 右腕 (480×480) · 头部相机原始深度图 (.npy) · 相机内参 K + 各相机在底盘上的安装位姿(手眼标定) · 本体感知: 关节角 / 底盘系夹爪位姿 / 相对 episode 起点的里程计 / 持物标志 · 任务文本(上面那句) 明确不提供: 任何物体的位置或身份、世界坐标外参、场景资产。 运动规划器只知道机器人自身(关节限位/自碰撞), 不知道环境——避障完全靠 agent。

本跑（mesh focus 组）机制实况，逐字核对自写脚本与会话记录： 1. 每轮 focus 流程：把当前头部深度图三角化成表面补丁，变换到 episode 起点固定系，追加进累积网格 scene.ply/scene.npz（第 1 跑最终 76 万顶点/140 万面片）；由模型给的 2D ROI（∪持久 3D 活动区）给面片打 focus 分。 2. mesh→决策的通道：focus 流程把"点亮面片数 + 3D 包围盒"打印返回模型上下文，模型据此定动作参数；mesh 文件本身与逐轮 journal 均几乎不被回读。 3. 自查产物：每轮生成"focus 面片投影回 RGB"的自查图（本页右栏原样展示），两跑合计 110 张，回看次数 0–1——agent 用数值摘要替代了视觉核对。 4. 全程 pip 安装 0 次；网格构建/投影/打分全部为自写 numpy 脚本。mesh 仅作空间参照，未接入任何物理推演。