机器人仿真工作台
NovaMeow 做的是家用陪伴具身人型——所以平台里有一块别处没有的东西:在你浏览器里跑真实物理的机器人仿真。不是视频、不是预渲染,是自托管的 MuJoCo 物理引擎(编译成 WASM)在浏览器里实时运算,机器人由强化学习策略驱动。
进控制台 → 切到具身模式 → 打开仿真工作台(#/robot-sim)即可。
能跑什么
| 机型 | 自由度 | 策略 | 来源 / 许可 |
|---|---|---|---|
| 高擎 Mini Pi | 12-DoF 双足 | 官方行走基线 | livelybot_pi_rl_baseline,MIT |
| 高擎 Mini Pi+ | 22-DoF 人形 | 我们自训的行走策略 | IsaacLab 自训;机型 MIT |
| 宇树 G1 | 29-DoF 人形 | NVIDIA SONIC 全身控制 | 网格 BSD-3 + 策略 NVIDIA OML |
怎么用
- 选机型 —— 顶部机型下拉。
- ▶ 加载仿真 —— 懒加载物理引擎 + 机型网格(首次几十 MB,之后走缓存)。
- 🚶 行走策略 / 🧠 SONIC 策略 —— 加载强化学习策略,机器人在物理里站起来。
- 驱动 ——
W/A/S/D或方向键,或视口右下角的方向盘 ▲◀■▶▼,驱动它行走。 - 拖拽抗扰 —— 鼠标拖机器人施加外力,策略会实时抗扰、自己稳回来。
跑策略推理需要支持 WebGPU 的浏览器(Chrome / Edge)。纯渲染与物理不需要。
底层是什么
全部同源加载、零外部 CDN——引擎、机型、策略都从本平台取件:
- 物理:DeepMind 官方 MuJoCo 编译成 WASM 单线程版(免 SharedArrayBuffer / COOP-COEP),浏览器内高频物理步进。
- 渲染:three.js(MIT),读 MuJoCo 几何实时绘制;鼠标拖拽转视角、滚轮缩放。
- 策略:行走策略导出为 ONNX,ONNX Runtime Web 浏览器内 50Hz 推理;与训练同款 MuJoCo 引擎,sim2sim 对齐(位置执行器 +
implicitfast隐式 PD,复现训练时的 PhysX 行为)。
Mini Pi+ 人形那支策略是我们在 IsaacLab 里自己训的:速度指令运动(velocity locomotion),4096 并行环境、带左右镜像对称数据增强训 3000 代——对称约束逼出自然步态(静止双脚稳站、行走左右交替不打转,根治了早期那种「单脚站立 / 偏一条腿」的滑稽招)。导出后用浏览器同款 MuJoCo-WASM 复现验证(步态对称度 0.89、双脚 100% 站住、前进数米),obs 构造对 Python ground truth 逐元素零差才上线。
许可与边界
- Mini Pi / Mini Pi+ 机型与行走策略:MIT,可商用。
- 宇树 G1 网格:BSD-3(须保留版权、不得背书);SONIC 策略权重:NVIDIA Open Model License(允许商用,须署名
Licensed by NVIDIA Corporation under the NVIDIA Open Model License.)。 - 动作片段:G1 与 Mini Pi+ 两套动作库均由 Kimodo 文生动作模型生成(NVIDIA Open Model License,允许商用,须署名),商用干净。SONIC 原附带的 BONES-SEED(非商用)片段已于 2026-07-29 下架替换。
逐件署名见仓库 scripts/sim-assets/NOTICE.md;人形自训管线(训练配置 + sim2sim 验证)见 scripts/sim-assets/piplus-train/。