数据标注

让机器人多模态数据与人类理解对齐

私密预览 · 自动建议 · 专家复核

数据标注是真知矩阵中的时间轴工作台。视频、机器人状态、人类指令和任务语义始终在同一个物理上下文中被查看和审核。


一个时间点,完整的机器人上下文

在任意 Episode 时间点,审核人员可以同时查看产生动作的全部信息。

t = 12.480 s

  • 前视 RGB 与腕部相机帧
  • 关节位置、速度与力矩
  • 末端位置与四元数姿态
  • 夹爪开度与离散模式
  • 力 / 力矩与接触信号
  • IMU 与遥操作指令
  • 对齐置信度与最近帧时间误差

标注层级

任务与技能

任务定义 · 技能原语 · 子任务阶段 · 操作员意图 · 自然语言指令

场景与物体

物体身份 · 位姿 · 状态变化 · 空间关系 · 遮挡 · 相机可见性

交互与事件

抓取 · 释放 · 插入 · 接触 · 碰撞 · 模式切换 · 恢复 · 人工介入

结果与质量

成功 · 失败 · 部分完成 · 异常 · 不安全动作 · 低置信度片段 · 拒收原因


自动化,但不失去人工控制

01 · 自动生成建议

模型和智能体 API 可以提出任务边界、对象关系、事件、描述、异常和质量风险。每一条建议都记录模型、Prompt、时间戳和置信度。

02 · 多模态复核

审核人员不是只看单张图像,而是对照已经同步的相机、动作、状态和力信号判断标签是否正确。

03 · 审批工作流

筛选低置信度片段、分配审核人、添加评论、审批修订,并保留完整的审计记录。

04 · 数据集发布

将标注版本与对齐后的数据、标定、质量报告和导出 Schema 一起冻结。


工作台展示的能力

  • Episode 级与帧级标注
  • 任务本体和可复用技能分类
  • 在同步时间轴上直接修正任务边界
  • 成功与失败轨迹处理
  • 自动异常检测与人工修正
  • 审核状态、置信度与审核分歧
  • 数据集版本、血缘与审批状态

**质量指标:**标签覆盖率 · 边界误差 · 审核一致率 · 自动标注采纳率 · 未解决异常 · 模态缺失率

**导出格式:**REF · LeRobot · RLDS · HDF5 · Zarr · 项目定制训练 Schema


从原始 Episode 到可信训练数据

接入 · 同步 · 自动建议 · 人工复核 · 审批 · 导出

查看完整的真知矩阵治理流程 →# 数据标注

让机器人多模态数据与人类理解对齐

Private Preview / 私密预览

数据标注是真知矩阵中的核心工作台。它将视频、动作、状态、事件和任务语义放在同一条统一时间轴上,连接智能体自动标注与专家人工复核。


多模态上下文

RGB、深度、力与力矩、IMU、关节状态、末端位姿、夹爪状态和遥操作指令在复核过程中始终保持同步。

任务与事件结构

标注任务边界、子任务片段、成功与失败、接触事件、物体状态、异常片段和自然语言任务描述。

自动标注

调用模型或智能体 API,自动提出任务切分、事件标签、对象关系和数据质量风险,再由人工确认。

人工复核

集中复核低置信度片段,修正时间边界,对比不同模态,并保留可追溯的审核记录。


面向可治理数据集

  • Episode 级与帧级标注
  • 异步 Topic 的统一时间轴
  • 置信度、审核人与审核状态
  • 数据集血缘和版本历史
  • 缺失、漂移和时间戳误差检查
  • REF、LeRobot、RLDS、HDF5、Zarr 导出

接入 · 同步 · 自动标注 · 人工复核 · 审批 · 导出

官网用于展示工作流;真实标注工作台通过客户私密预览和项目部署开放。