← 返回

二、最终标注算法与效果

第一段 · 静态决策帧标注(每 subgoal 一次)

  • 决策帧选取:窗口内均匀采 17 帧, 取处于接触状态的(爪×槽位物体)对数最多的帧;并列取槽位物体可见像素最多者。接触判据 = 爪-物点云 3D 最近距离 < 3cm。
  • L1 接触区:纯几何, 每只爪 × 每个槽位物体的接触点生成接触 blob。
  • L2 功能区:GPT 按 verb 路由给部件点(gate → regions → 边界点逐点消歧);点作种子, 3D 距离 × DINO 相似度联合生长(sem 路由 = DINO 聚类取簇);Q1 link/格口盒裁支撑, Q2 面积收敛。
  • L3 兜底:L1、L2 双空时按 verb 配置生成(drop / under / neighbor / particles 等)。
  • nav 段:目标可见帧定世界锚点;可见时物体高斯 + soft mask, 不可见时屏幕边缘方位带。

    • 第二段 · 扩展到 10Hz(纯查表)

  • 时间四段:准备段 → approach → contact → retreat(边界 = 首次/末次接触帧)。
  • 每 region 三字段三表:亮度(role × 四段:grasp/acting/target/source/receiver)、位置(跟爪 / 跟物体(link 点云 ICP) / 钉住 / 爪本身)、半径(contact 类随接近收缩到 part 级)。
  • 形状继承:每帧用决策帧同一套算法重算, GPT 种子点随刚体变换搬运。
  • 无标注帧 = 显式全零负样本;GT 逐帧覆盖全轨迹(mani + nav)。

    • 产出规模

  • 1194 条轨迹全量:mani GT + nav GT + 每 subgoal decision_frame / 接触边界 meta, 全部通过完整性校验。

    • 标注效果视频(20 条, 渲染中补至 50)

    全局倍速:
    task-0000_episode_00000780
    task-0001_episode_00010120
    task-0001_episode_00012180
    task-0002_episode_00022380
    task-0003_episode_00030460
    task-0005_episode_00050250
    task-0006_episode_00060610
    task-0008_episode_00082960
    task-0011_episode_00111000
    task-0012_episode_00120020
    task-0015_episode_00150210
    task-0020_episode_00201170
    task-0022_episode_00221580
    task-0025_episode_00250840
    task-0030_episode_00302310
    task-0034_episode_00341680
    task-0035_episode_00350460
    task-0042_episode_00421360
    task-0045_episode_00452240
    task-0047_episode_00472220