针对部分 GT 面积过大的解决 · 2026-08-09

下列 6 个放置类子目标的目标物体为大型容器或大面积家具(冰箱、上柜、下柜、书架、地面)。每张图从上到下为官方 GT 标注流程的 STEP 1 至 STEP 5(输入 → gate → 区域点 → 区域构建 → cos-sim 渲染)。标注记录取自各案例已保存的 gpt_out.json,未重新调用 GPT。

产生大面积掩码的步骤

STEP 3 将焦点定义为容器的一个功能部件(例如 refrigerator shelf、bottom cabinet shelf)。当该部件覆盖大面积时,STEP 4 由该部件的标注点经 DINO seed 连通块扩展并与物体分割掩码取交,得到的区域面积为数万像素级(冰箱案例:1 个点扩展为 91533 像素,覆盖冰箱内腔与邻接面)。STEP 5 的 cos-sim 在该区域内取值分布均匀,不缩小范围。

流程中不存在将放置位置收敛为单一落点的步骤。设计稿记录的落点高斯分支未包含在当前脚本中,未被采用的原因未查明。

逐案例逐步过程

放置物体进冰箱 · place the tupperware in the fridge

放置物体进下柜 · place the pumpkin in the bottom cabinet

放置物体进上柜 · place the hinged jar in the top cabinet

放置物体进下柜 · place the box of oatmeal in the bottom cabinet

放置物体进书架 · place the folder in the bookcase

放置物体到地面 · place the can of soda on the floors