深圳 · 机器人与具身智能方向
中国科学院大学 / 深圳先进技术研究院,电子信息在读硕士(2025–2028)。
这里记录机器人数据、VLA 训练、仿真评测和接口调试中的一些实践,也放一些论文笔记和小工具。
在双臂多任务 VLA 项目里,数据处理花了不少时间:从原始轨迹到 LeRobot v2.1,再到 DexData 和训练视图,需要反复检查字段、时间索引和动作语义是否一致。
这部分覆盖 30 个任务、3 万多条 episode,约 4583 万帧;识别并隔离了 15 条异常 episode,并用 SHA-256 清单复核指定文件的完整性。文件字节没变是一层检查,标签和动作语义是否正确还要另外验证。
训练使用 DOS-W1 的 10 个任务,在 8 张 A100 80GB 上完成了 DM0-base 的 120K 步训练,配置为 BF16、ZeRO-3 和 gradient checkpointing。数据处理覆盖的 30 个任务与这次训练的 10 个任务是两个范围。
部署侧主要在对齐相机顺序、14D/32D 接口、关节增量和夹爪绝对值。已经通过 35 项 CPU 测试、A100 BF16 前向验证和官方 SDK 的本地 mock 联调;真实 W1 的闭环成功率还没有可报告的结果。
用 InternVL3-1B + TinyVLA 配置做了 10 个任务的本地仿真评测,也整理了任务调度、结果汇总和视频归档。
原计划是每任务 100 次,保存的有效 clean rollout 共 937 次:两个 blocks 任务分别为 69 和 68 次,其余任务各 100 次。
| 任务 | 成功 / 有效 rollout |
|---|---|
open_microwave |
87 / 100 |
move_can_pot |
3 / 100 |
blocks_ranking_rgb |
0 / 69 |
blocks_ranking_size |
0 / 68 |
| 其余 6 个任务 | 各 0 / 100 |
合计 90 次成功,按有效 rollout 汇总约 9.61%,按任务平均为 9.0%。这些是本地仿真记录,不是官方榜单成绩。结果在任务之间差别很大,后续还需要结合输入、动作接口和失败视频继续排查。
- robotwin-evaluation-tools:从 rollout manifest 汇总指标、检查证据文件和输出 JSON/CSV。
- robot-data-pipeline:数据 schema、质量检查、转换计划和 SHA-256 校验的轻量框架。
- vla-paper-reading-notes:RT-1、RT-2、OpenVLA、ACT、Diffusion Policy、π0 和 RTC 的阅读记录。
公开仓库主要是从项目经验中整理的工具框架与小例子,具体实现范围写在各自 README 中。私有数据、凭证、模型权重和内部日志没有放进来。
经常用到:Python · PyTorch · Linux · Git · Docker · LeRobot · distributed training。
主要关注:Vision-Language-Action · imitation learning · action chunking · diffusion / flow matching · data quality · simulation evaluation。
- 先把数据约定写清楚:时间戳、相机顺序、动作维度与单位、归一化、padding 和 mask。
- 让失败能追溯:保留异常清单,按任务统计,区分尝试次数、有效样本和成功数。
- 调试时拆开各个环节:预处理、模型、动作恢复、传输和控制器,逐段验证;完整闭环的 P50/P95 延迟测量也是后续要补的内容。
- 分清读过什么、实现过什么、在哪个环境验证过什么。
- 做小规模 ACT 和 Diffusion Policy baseline,并保存可复查的配置与结果。
- 补充 ROS 2、C++、FK/IK、Jacobian、PID/MPC 与 sim-to-real 调试经验。
- 整理包含失败分类、版本和延迟测量的公开实验记录。
GitHub:Airgo0911。技术问题欢迎在相关仓库开 issue;合作或实习沟通可使用简历中的联系方式。