大晓机器人-南洋理工大学发布统一多模态世界模型Puffin (大晓机器人公司官网)

新京报贝壳财经讯（记者罗亦丹）记者9月10日获悉，大晓机器人联合南洋理工大学S-Lab等机构发布并开源统一多模态世界模型框架Puffin-World。作为面向空间智能与具身智能的成果，Puffin-World首次在一个统一多模态框架中，将物理、几何和外观定义为三种原生的三维世界状态，并贯通重力场感知、自由视点空间仿真、三维世界生成与重建以及闭环探索，预测机器人行动后世界将处于什么状态。

针对机器人训练来说，需要的并不是一段视觉上逼真的视频，而是能够支撑感知、定位、规划和行动的环境信息：当前相机处于什么姿态，重力方向是否稳定，场景结构如何延续，机器人移动后将看到什么。图像只是世界状态的一部分，物理方向、空间几何和视觉外观共同构成机器人真正需要的训练环境。

Puffin-World可以在一个模型中统一四类过去往往需要不同系统分别完成的任务，包括：

单图理解相机物理信息。输入一张图片，模型能够结合地平线、垂直结构和场景构图进行空间推理，预测相机相对于真实物理世界的横滚角、俯仰角和垂直视场角，同时生成场景语义描述。模型不仅识别“图中有什么”，还理解“当前视角以怎样的姿态看到了它”。

自由视点空间仿真。除文字描述外，用户还可以明确指定相机方向和视场角。模型据此生成符合目标机位的画面，使文生图从内容控制进一步走向精确的空间控制。

三维世界生成与重建。模型可以从文字、单张图像或少量参考图像出发，按照指定相机轨迹生成多个新视角，并同步预测每个视角的外观和深度。不同视角随后可以汇聚为具有一致空间结构的三维世界。

闭环自校准探索。当相机姿态偏离重力方向时，模型可以先感知当前物理状态，再推理需要执行的修正动作，并生成动作执行后的目标观察，由此形成“状态感知—动作预测—结果生成—再次校准”的闭环。

Puffin-World同步开源代码、模型和Puffin-16M数据集，包括1500万组视觉—语言—相机三元组和100万条具有挑战性的旋转轨迹，并开放覆盖28个公开数据集、约4450万张图像的绝对相机位姿标注，为机器人仿真、合成数据生产与具身智能训练提供可复现、可扩展的技术底座。

编辑 岳彩周

校对 翟永军

---

具身智能：当AI“长出”手脚，人类离科幻未来还有多远？

具身智能的爆发标志着AI从“离身”到“实体”的跨越，人类离科幻未来已显著更近，但技术、伦理与生态的挑战仍需突破，未来十年将是关键窗口期。

一、具身智能：AI的“身体觉醒” 二、大模型+机器人：下一代生产力？ 三、中美竞速：技术战与生态战 四、未来十年：机器人角色的演变 五、科幻未来：人机共生的新叙事

结论：具身智能已从概念走向现实，未来十年将是其从工业场景向家庭服务渗透的关键期。 尽管技术、伦理与生态挑战仍存，但人机共生的科幻未来正逐步成为可触摸的现实。 人类需在拥抱创新的同时，构建包容、安全的协作框架，以迎接这一文明跃迁。

WorldMem— 南洋理工联合北大和上海 AI Lab 推出的世界生成模型

WorldGen是由新加坡南洋理工大学、北京大学及上海AI实验室联合研发的开创性人工智能世界生成模型，通过引入记忆机制解决传统模型在长时间序列中的一致性难题，为构建真实、持续且可交互的虚拟世界提供全新技术方案。

核心功能 技术原理 实际应用领域 相关资源

WorldGen通过创新的技术架构与记忆机制，为虚拟世界生成领域树立了新标杆，其跨领域应用潜力正持续拓展。

商汤科技是大晓无限的吗知乎

不是，商汤科技与“大晓无限”并无关联，但大晓机器人是商汤科技“1+X”战略下拆分的独立生态企业。

大晓机器人聚焦具身智能领域，由商汤联合创始人王晓刚担任董事长，澳大利亚科学院院士陶大程任首席科学家。 作为“X”生态成员，大晓机器人有着自身的特点和运营模式。 一方面，它独立运营并拥有市场化机制，这意味着它在商业运作、市场拓展等方面有较大的自主性，能够根据市场需求和自身发展规划做出决策。

另一方面，其技术底层依托商汤“日日新”大模型及“悟能”具身智能平台，与商汤在技术和生态上保持协同。 也就是说，大晓机器人能够借助商汤科技的技术优势来发展自身业务，同时也能为商汤科技的生态建设贡献力量。

此外，该公司计划于12月18日发布“开悟”世界模型3.0及具身超级大脑模组A1，主打视觉基础的ACE技术范式，对标国际头部玩家，展现了其在具身智能领域的发展野心和技术实力。

---

---

相关标签： 南洋理工大学、 机器人、 世界模型、 多模态模型、

上一篇：王牌最新海淀这所科技高中再添王牌最新一期

下一篇：J罗即将加盟国民竞技哥伦比亚名记已达成口