VPP2 · TRAINING DATA AUDIT · 2026-11-03

层级指令与实际行为
20,000 窗口审计

核实数据对应、动作与指令的一致性,以及场景—指令覆盖。审计只读,原始标注与训练权重未修改。

正在加载核验统计…

01 / FINDINGS

目前可以得出的结论

确定性检查

这批样本中未发现数据链路错配

20,000 条源 EE16 状态重建与训练窗口逐一一致;20,000 条原始 L2 重建一致。L1/L3、episode 身份、相机时间引用、六种缓存文本渲染哈希及窗口边界检查未产生异常标记。

7 种层级 mask 模式均通过长度检查;76,370 份相关缓存的索引、字节数与 BF16 有限值检查通过。最大编码长度 128、解码监督长度 100 token。缓存未重新运行 T5 逐向量比对。

语义筛查

模型指出了可疑项,但尚不能估计真实标注错误率

Qwen3-VL-8B 在试跑中会把“短窗口尚未完成高层目标”误判为矛盾。因此,仅涉及高层目标的可疑项单列为“需要更长证据”;其他可疑项也保留为待复核,不自动删除或改写标注。

1000 条复核是同一 VLM 查看更密采样帧的复核,不是人工真值评审。两次判断一致也不代表标注错误已被确认。

覆盖分析

发现可用于进一步检查的相关性,尚未证明模型依赖场景捷径

样本含 16,446 种完全匹配的 L1 文本;出现至少 5 次的 203 种中,176 种只出现在一个数据来源。此处统计是精确文字匹配,同义改写未合并;来源集中也可能是任务和机器人的自然差异。

用当前观察的 DINOv3 特征检索出 200 组候选,限制同数据来源、不同 episode、相同动词阶段代理、不同 L1。候选的场景相似度不代表物理状态相同,措辞不同也不保证意图不同。

自动筛查分类

原始样本数量与分层加权占比分开展示。加权占比仍是模型筛查分类的估计,不能解释为真实错误率。

分类窗口数样本占比分层加权占比
按数据来源展开
数据来源未见问题原子级可疑高层证据不足其他证据不足

下一步训练应由哪些证据决定

  1. 当前没有数据对齐错误的证据,暂不据此重建整套数据或修改采样分布。
  2. 对语义可疑项做独立复核,重点排查左右臂、阶段与物体判断。不能按 VLM 的可疑标签直接过滤数据。
  3. 先检查相似场景候选是否具有真实的不同意图、不同正确动作,再判断需要平衡已有分支还是补采缺失分支。
  4. 数据审计不能独立证明模型是否使用语言。后续需要固定观察、改变有效指令的行为测试;没有替代指令的匹配 GT 时,不能用原轨迹误差判断替代行为是否正确。
既有模型缺层级实验提供的辅助证据

已有 12 个固定验证 case 的层级缺失实验,使用同一初始观察和种子。它不属于本次 20,000 个训练窗口的模型推理测试。

输入GT 反馈单窗口 XYZ RMSE / mm8 段自回归 XYZ RMSE / mm

误差变化不单调;自回归历史也会随条件分叉。这只说明输入变化影响了预测,不能证明正确遵循指令或成功补全信息。

查看原推理对比页面 ↗

02 / CASE EXPLORER

逐例查看输入与证据

请选择样本。

03 / RETRIEVAL

相似场景、不同 L1 的候选

这是检索候选,不是已确认的反事实对照。候选来自同一数据来源的不同 episode,并按标注动词作为阶段代理匹配;相似图像仍可能有关键状态差异。

04 / METHODS & LIMITS

审计方法与适用范围

抽样总体17,295,218 个实际训练 ready 窗口,annotation v2;每条预测 32 ticks / 1.28 秒。
抽样设计34 个来源分层,每层至少 100 条,其余按窗口数量分配;层内不放回随机抽样,种子 20261103,统计权重 Nh/nh。
独立性20,000 条来自 17,884 个 episode,同一 episode 最多 10 条;这些窗口并非完全独立场景。
语义证据初筛使用 3 张过去/当前帧与 8 张真实未来帧;复查为 3+16 张。审查采样帧不等同于模型训练使用的完整 9 帧历史。
复核选择1000 条在看到结果前固定随机选取;另对初筛可疑项使用更密帧复查,第二次不提供第一次结论。
动作定义监督为未来观测 EE16 状态。物理坐标系、单位及夹爪开合符号未逐机器人独立标定,不能仅凭曲线符号判定左右或开关语义。
异常恢复共享存储导致监控进程退出,但 16 个 GPU 工作进程完成。2 条 VLM 回复格式/帧编号错误单独重试,原回复保留。没有替换抽样窗口。
未进行人工真值审查、完整 episode 的高层目标成功判断、T5 缓存逐向量重算、基于本次样本的新模型训练或反事实推理。

统计与复现信息

页面仅发布本次审计的统计、样本标识、指令和选定可视证据,不含服务器配置、账户信息或模型权重。样本可用 ?case=w00059 分享。