示范视频/图像
视频录制要求
- 使用高清摄像机（建议 1080p 及以上分辨率）
- 确保稳定的拍摄环境（可使用三脚架固定）
- 保持一致的拍摄角度和光照条件
- 建议帧率不低于 30fps
专家演示规范
- 应包含完整任务流程
- 每个动作需清晰可见
- 建议从多角度拍摄关键动作
- 可增加特写镜头展示细节操作
数据预处理
- 视频需分割为关键帧序列
- 建议标注时间戳和动作标签
- 可进行图像增强处理（去噪、对比度调整）
- 可能需要背景去除或目标检测处理
存储格式
- 视频：MP4 或 AVI
- 图像序列：PNG 或 JPEG
- 配套存储元数据
动作轨迹
臂式机械臂
- 关节空间轨迹：记录每个时刻所有关节的角度值 (θ1, θ2, …, θn)
- 笛卡尔空间轨迹：记录末端执行器的位姿（位置 x, y, z 和姿态 Rx, Ry, Rz）
- 速度/加速度轨迹
移动机器人
- 位置轨迹：x, y 坐标变化
- 姿态轨迹：航向角变化
- 速度轨迹：线速度和角速度
轨迹数据获取方式
人类遥操作采集：
- 力反馈手柄
- VR 设备控制
- 示教器示教
仿真生成：
- 运动规划算法（RRT、PRM）
- 物理引擎仿真（Gazebo、Unity）
- 机器学习生成
状态-动作对
状态表示
- 传感器数据：IMU 读数、力/力矩传感器值
- 环境感知：RGB/RGBD 图像、激光雷达点云
- 本体状态：关节角度、末端执行器位姿
- 其他模态：语音指令、触觉反馈
动作表示
- 底层控制：关节力矩指令、速度指令
- 高层指令：笛卡尔空间末端位姿、抓取力度
- 离散动作：开关指令、模式切换命令
数据采集规范
- 时间同步：所有传感器需严格时间对齐（误差 <1ms）
- 数据增强：对图像添加随机光照变化，对关节角度添加高斯噪声
语言指令
采集方式
- 人工编写指令
- 语音实时记录（语音转文字）
- 多语言标注
高质量指令要素
- 对象特征（颜色、形状等视觉属性）
- 空间关系（“左侧”、“上方”等方位词）
- 动作细节（“缓慢拿起”、“旋转 90 度”等）
- 环境上下文（“在厨房区域”、“避开障碍物”等）
其他
奖励函数反馈
- 数值型分数
- 二元反馈（成功/失败）
- 多级评分
人类偏好比较
- 比较两段策略执行效果
- 常见维度：执行效率、安全程度、人性化表现
常用数据集
- Open X-Embodiment：22 种机器人，100 万+ 轨迹
- RoboNet
- RLBench
- D4RL