← 返回目录

第四节 · 重建预训练版（task-0003，开环）

第三节的重建监督只在 6000 步微调里出现，而 ReconVLA 原配方还有一个前置阶段：先在大语料上做纯重建预训练，让骨干先学会"把注意力对准该操作的物体"，再去学动作。本节补上这一阶段——用我们全部 3450 集标注语料做纯重建预训练，再到 task-0003 微调、同口径评测。

3450 集
预训练语料 = 全部标注语料（多任务）
+6~23%
相对基线的误差变化：全部为正（更差）
12/16
格过 95% 显著线，方向全部一致
首次分离
三轮 task-0003 对照中第一次出现明确组间分离——方向为变差

① 模型架构与训练流程（架构同第三节，多一个预训练阶段 → 画流程图）

网络结构与第三节完全相同（π0.5 全模型 🔥 ＋ 重建头 🔥，SD-VAE ❄ 只编码监督目标）。不同点是训练分两阶段：

冠军 50 任务 预训练 π0.5 （各节共用底座） 阶段 1 · 纯重建预训练 🔥 全部 3450 集标注语料（多任务） 动作损失置零，只训重建；全量微调 5000 步 × batch 32 ≈ 16 万样本 阶段 2 · task-0003 微调 🔥 与第三节加重建组同配方： 动作损失 ＋ 重建损失 0.25 6000 步足额，损失正常收敛 开环评测 与第三节同口径 15216 配对样本 量级说明：ReconVLA 原配方预训练约 200 万样本，本档约为其 1/12（先验证方向再决定是否加码）。 对照：第三节的基线与加重建版都没有阶段 1，直接从冠军底座进入微调。

② 训练数据与步数

阶段数据步数损失
预训练全部 3450 集标注语料（BEHAVIOR-1K 多任务，含 radio 与 task-0003）5000 步 × batch 32 ≈ 16 万样本只有重建（动作损失置零）
微调task-0003 train 182 集（与第三节完全相同）6000 步 × batch 32动作 ＋ 重建 0.25

③ 可训与冻结参数

两个阶段都与第三节相同：可训 🔥 = π0.5 全模型 3.3B ＋ 重建头；冻结 ❄ = SD-VAE 目标编码器。单种子（42）。

④ 评测方式

开环，与第三节完全同口径：15 留出集、同帧同噪声配对（n=15216）、按身体部位分组、subgoal 交接帧为主要终点。对照 = 第三节的基线两种子均值、加重建两种子均值。

⑤ 结果与结论

开环配对差 Δ%（预训练版 − 参照，正 = 预训练版误差更大）task-0003 · 15216 配对样本 · 横线 = 95% 置信区间 · 全部为正 = 全面变差vs 基线（两种子均值）vs 无预训练加重建版0%+10%+20%+30%+40%subgoal 交接帧主要终点 · n=1763底盘subgoal 交接帧 底盘: +12.22% ± 2.47+12.2＊subgoal 交接帧 底盘: +15.23% ± 2.71+15.2＊躯干subgoal 交接帧 躯干: +23.40% ± 6.64+23.4＊subgoal 交接帧 躯干: +19.30% ± 6.64+19.3＊双臂subgoal 交接帧 双臂: +1.53% ± 1.83+1.5subgoal 交接帧 双臂: +1.20% ± 1.83+1.2夹爪subgoal 交接帧 夹爪: +13.10% ± 20.00+13.1subgoal 交接帧 夹爪: +10.43% ± 20.66+10.4其余帧sanity · n=13453底盘其余帧 底盘: +16.83% ± 0.93+16.8＊其余帧 底盘: +18.29% ± 1.01+18.3＊躯干其余帧 躯干: +15.66% ± 2.43+15.7＊其余帧 躯干: +18.33% ± 2.77+18.3＊双臂其余帧 双臂: +5.96% ± 0.90+6.0＊其余帧 双臂: +4.99% ± 0.86+5.0＊夹爪其余帧 夹爪: +6.58% ± 3.80+6.6＊其余帧 夹爪: +1.68% ± 4.04+1.7

悬停可看精确数值。* = 95% 区间不含零。与前三轮"方向混合、区间跨零"完全不同：这里 16 格全部为正，12 格过显著线——一致地变差。

对照层底盘躯干双臂夹爪
预训练版 − 基线均值subgoal 交接帧+12.22±2.47*+23.40±6.64*+1.53±1.83+13.10±20.00
其余帧+16.83±0.93*+15.66±2.43*+5.96±0.90*+6.58±3.80*
预训练版 − 无预训练加重建版subgoal 交接帧+15.23±2.71*+19.30±6.64*+1.20±1.83+10.43±20.66
其余帧+18.29±1.01*+18.33±2.77*+4.99±0.86*+1.68±4.04

结论：加上纯重建预训练后显著全面变差（相对基线 +6%～+23%，也差于不带预训练的加重建版）。解读：预训练阶段动作损失置零，骨干在 16 万样本里只被"重建热区图块"牵引，表征偏离了动作任务，6000 步微调没能拉回来。边界：本档预训练量级只有原配方的 1/12，且预训练阶段完全没有动作锚定——加大量级或改"动作＋重建"混合预训练能否翻转，未测。