新模型 2026-11-08

英伟达开源 Cosmos 3 世界模型,给自动驾驶和机器人做仿真

一句话说清:英伟达把 4 个 Cosmos 3「世界模型」开源了,它们能生成逼真的行车和机器人画面,用来训练自动驾驶和机械臂,而且允许商用。

发生了什么

2026 年 11 月 5 日,英伟达在 Hugging Face 上放出 4 个 Cosmos 3 Nano 的开放权重检查点(每个 160 亿可训练参数,采用宽松的 OpenMDW 1.1 许可,可商用也可非商用):

  • Transfer-Auto:离线生成自动驾驶训练数据,最多 11 路摄像头(含鱼眼)加激光雷达,还能调天气、光照、时段;
  • Sim-Auto:上面模型的流式版,一小段一小段生成同步的摄像头和激光雷达画面,支持长时间交互;
  • Sim-Transfer:把物理模拟器的控制信号加文字提示,变成逼真 RGB 视频;
  • Sim-Bimanual:根据双臂机器人或相机的动作,预测下一帧画面,支持灵巧操作仿真。

「世界模型」就是:你给它一个动作(比如打方向盘、机械臂移动),它预测摄像头、激光雷达接下来会看到什么画面,让机器人在仿真里练,而不用真去马路上跑。

对我有什么用

  • 开发者:拿这些开源模型做自动驾驶、机器人的仿真训练,省下大量实车、实机测试成本;
  • 普通用户:这是「物理 AI」的基础件,未来你坐的智能车、工厂里的机械臂,背后的训练可能就用到了这类世界模型;
  • 想折腾的玩家:模型已在 Hugging Face 开放下载,配合官方训练配方就能微调到自己的场景。

我可以怎么做

① 打开 Hugging Face 搜索「nvidia/cosmos3」找到 4 个检查点; ② 按官方博客的 Notebook 示例跑推理(需要 Linux + 英伟达显卡 + Docker); ③ 想做自己的驾驶、机器人仿真,先用 Transfer-Auto 在你的数据上做后训练,再蒸馏成 Sim-Auto 做流式仿真。

温馨提醒

  • 运行需要英伟达显卡和 Docker 环境,不是开箱即用的小工具,更适合开发者;
  • 英伟达也提示:这些模型到底能不能可靠支撑训练,还需要实际测评,别盲目当「万能仿真」用。
📤 一键转发小助手 帮你写好小红书文案、微信推荐语,还配一张中文海报,复制就能发