一张图生成3D世界?李飞飞团队发布全新世界模型
当地时间10月16日,李飞飞团队World Labs重磅发布全新实时生成式世界模型——RTFM(Real-Time Frame Model,实时帧模型),该模型仅需单张H100 GPU,就能从输入的2D图像实时生成持久且3D一致的虚拟世界,让用户仅凭一张图片就能创造完整的3D场景。
RTFM模型采用创新的"学习型渲染器"设计,不依赖传统3D建模,而是通过端到端学习大规模视频数据,直接从输入图像生成同一场景的新视角图像。模型不仅能模拟三维几何,还学会了反射、阴影、镜头光晕等复杂物理效果。
更独特的是其"空间记忆"机制,通过为每帧图像赋予3D空间中的位姿,使虚拟世界具备真正持久性 - 即使视线移开,场景也不会消失。该技术让RTFM能够在大型场景中保持无限时长的交互体验。
目前该模型已正式开放,任何人都可通过官网rtfm.worldlabs.ai体验这款"世界模拟器"。
评论列表