01 / FINDINGS
目前可以得出的结论
这批样本中未发现数据链路错配
20,000 条源 EE16 状态重建与训练窗口逐一一致;20,000 条原始 L2 重建一致。L1/L3、episode 身份、相机时间引用、六种缓存文本渲染哈希及窗口边界检查未产生异常标记。
7 种层级 mask 模式均通过长度检查;76,370 份相关缓存的索引、字节数与 BF16 有限值检查通过。最大编码长度 128、解码监督长度 100 token。缓存未重新运行 T5 逐向量比对。
模型指出了可疑项,但尚不能估计真实标注错误率
Qwen3-VL-8B 在试跑中会把“短窗口尚未完成高层目标”误判为矛盾。因此,仅涉及高层目标的可疑项单列为“需要更长证据”;其他可疑项也保留为待复核,不自动删除或改写标注。
1000 条复核是同一 VLM 查看更密采样帧的复核,不是人工真值评审。两次判断一致也不代表标注错误已被确认。
发现可用于进一步检查的相关性,尚未证明模型依赖场景捷径
样本含 16,446 种完全匹配的 L1 文本;出现至少 5 次的 203 种中,176 种只出现在一个数据来源。此处统计是精确文字匹配,同义改写未合并;来源集中也可能是任务和机器人的自然差异。
用当前观察的 DINOv3 特征检索出 200 组候选,限制同数据来源、不同 episode、相同动词阶段代理、不同 L1。候选的场景相似度不代表物理状态相同,措辞不同也不保证意图不同。
自动筛查分类
原始样本数量与分层加权占比分开展示。加权占比仍是模型筛查分类的估计,不能解释为真实错误率。
| 分类 | 窗口数 | 样本占比 | 分层加权占比 |
|---|
按数据来源展开
| 数据来源 | 未见问题 | 原子级可疑 | 高层证据不足 | 其他证据不足 |
|---|
下一步训练应由哪些证据决定
- 当前没有数据对齐错误的证据,暂不据此重建整套数据或修改采样分布。
- 对语义可疑项做独立复核,重点排查左右臂、阶段与物体判断。不能按 VLM 的可疑标签直接过滤数据。
- 先检查相似场景候选是否具有真实的不同意图、不同正确动作,再判断需要平衡已有分支还是补采缺失分支。
- 数据审计不能独立证明模型是否使用语言。后续需要固定观察、改变有效指令的行为测试;没有替代指令的匹配 GT 时,不能用原轨迹误差判断替代行为是否正确。
既有模型缺层级实验提供的辅助证据
已有 12 个固定验证 case 的层级缺失实验,使用同一初始观察和种子。它不属于本次 20,000 个训练窗口的模型推理测试。
| 输入 | GT 反馈单窗口 XYZ RMSE / mm | 8 段自回归 XYZ RMSE / mm |
|---|
误差变化不单调;自回归历史也会随条件分叉。这只说明输入变化影响了预测,不能证明正确遵循指令或成功补全信息。
查看原推理对比页面 ↗02 / CASE EXPLORER
逐例查看输入与证据
03 / RETRIEVAL
相似场景、不同 L1 的候选
这是检索候选,不是已确认的反事实对照。候选来自同一数据来源的不同 episode,并按标注动词作为阶段代理匹配;相似图像仍可能有关键状态差异。
04 / METHODS & LIMITS
审计方法与适用范围
| 抽样总体 | 17,295,218 个实际训练 ready 窗口,annotation v2;每条预测 32 ticks / 1.28 秒。 |
|---|---|
| 抽样设计 | 34 个来源分层,每层至少 100 条,其余按窗口数量分配;层内不放回随机抽样,种子 20261103,统计权重 Nh/nh。 |
| 独立性 | 20,000 条来自 17,884 个 episode,同一 episode 最多 10 条;这些窗口并非完全独立场景。 |
| 语义证据 | 初筛使用 3 张过去/当前帧与 8 张真实未来帧;复查为 3+16 张。审查采样帧不等同于模型训练使用的完整 9 帧历史。 |
| 复核选择 | 1000 条在看到结果前固定随机选取;另对初筛可疑项使用更密帧复查,第二次不提供第一次结论。 |
| 动作定义 | 监督为未来观测 EE16 状态。物理坐标系、单位及夹爪开合符号未逐机器人独立标定,不能仅凭曲线符号判定左右或开关语义。 |
| 异常恢复 | 共享存储导致监控进程退出,但 16 个 GPU 工作进程完成。2 条 VLM 回复格式/帧编号错误单独重试,原回复保留。没有替换抽样窗口。 |
| 未进行 | 人工真值审查、完整 episode 的高层目标成功判断、T5 缓存逐向量重算、基于本次样本的新模型训练或反事实推理。 |
统计与复现信息
页面仅发布本次审计的统计、样本标识、指令和选定可视证据,不含服务器配置、账户信息或模型权重。样本可用 ?case=w00059 分享。