李飞飞团队发布新一代世界模型 Atlas:从零训练,一次性打通视频生成、 3D 重建与机器人仿真
上周三
李飞飞创办的 World Labs 发布新一代世界模型 Atlas,称其为「全球首个多模态世界模型」,该模型从零开始预训练,将文本、图像、视频和 3D 数据统一理解为三维空间,可实现从照片生成新视角、按镜头轨迹生成最长 1 分钟 1440p 视频、将照片视频重建为点云和 3D 高斯泼溅场景等功能,还能借助普通手机拍摄实现动态事件多视角观看及机器人 Real-to-Sim 应用。其底层为多模态自回归扩散 Transformer 架构,将相机位姿作为原生输入,运镜控制精度优于部分同类模型。Atlas 目前向少数合作伙伴开放早期测试,未来将成为 3D 世界生成产品 Marble 的底层模型。不过该模型尚未公布参数规模等信息,缺少独立测试,距离真正模拟现实世界仍有差距。此前已有 Genie 3、Marble、Cosmos 3 等世界模型推出,Atlas 的意义在于将生成、重建和模拟任务纳入以 3D 空间为核心的统一基础模型,朝着渲染器、模拟器、规划器合一的统一世界模型目标迈进。
李飞飞团队再突破 全球首个多模态世界模型 Atlas 登场,开启空间智能新纪元
ITBear 科技资讯
李飞飞团队发布新一代世界模型 Atlas:从零训练,一次性打通视频生成、 3D 重建与机器人仿真
DeepTech 深科技 / 麻省理工科技评论
李飞飞团队 Atlas 模型登场:多模态融合,开启视频 3D 与机器人仿真新纪元
ITBear 科技资讯
体验专业版特色功能,拓展更丰富、更全面的相关内容。