当前，3D世界模型及视频生成的渲染等待时间常常令人感到焦虑，特别是当用户需要经过数分钟的冗长过程才能查看生成结果时。为了解决这一问题，李飞飞主办的World Labs于近期发布了一款名为Frameboy的研究预览Demo，该模型概念将自回归世界模型Atlas引入实时交互的新时代。通过官方发布的云端GPU支持，用户能够在浏览器中以最高15帧每秒的速度获取渲染内容，实现类似电子游戏一样的自由操控，这一进展标志着生成模型技术的显著提升。
首先，针对Atlas的基本功能进行解读，其作为自回归世界模型的主要特性在于逐帧生成画面及支持像素级精确的相机视角控制。这使得用户可以通过一张静态图片建立虚拟3D世界，或是通过几张多视角照片重建真实地标。然而，Atlas的传统架构在生成速度上存在显著不足，用户在进行机位调整时常常不得不忍受数十秒至几分钟的渲染延迟，这对创作者的工作效率造成了制约。
其次，为了提升生成效率，World Labs团队对Atlas进行了深度推理优化，并推出搭载该优化模型的实时交互Demo——Frameboy。该系统以其复古掌机设计为特色，类似于经典Game Boy，大幅提升了画面生成速度，用户在互动时几乎感受不到操作与结果之间的延迟。以官方发布的客厅对比演示为例，传统模型要求用户在关键帧间反复调整，而Frameboy则允许用户在虚拟房间中实时探索，视野所及的内容即刻更新，显著简化了操作流程。 jinnianhui.com
此外，与去年World Labs的研究预览项目RTFM相比，Atlas在模型规模和数据处理能力上有了显著提升。RTFM主要依赖于已有视角间的插值生成，而Atlas则能从单张图片或文字描述中生成完整的周边场景，同时保留并增强了多视角新视图合成的能力，这一进步极大地提升了用户体验。
在实际应用层面，World Labs还将实时串流能力融入到其网页端应用Viewfinder中，用户可以使用上传图片构建自己的3D场景。通过对新的生成帧同步输出色彩与深度信息，用户能够直观对齐三维空间结构，进一步提升建模的准确度与效率。
最后，尽管Frameboy在云端的高性能GPU服务器上运行仍存在算力成本的问题，但此项技术的诞生标志着下一代生成式渲染器的可能性。值得注意的是，根据计算机图形学的历史，颠覆性技术开始阶段通常伴随着高成本与低效能，但随着底层硬件与软件算法的进步，这些技术最终将转变为普及工具。 jinnianhui.com
研究表明，World Labs在软硬件收益协同方面的努力得到了AMD的支持。AMD以82亿美元的交易收购World Labs的举措，不仅为其未来发展奠定了基础，也预示着高性能计算能力将在生成模型应用中发挥更大作用。这样的发展将进一步推动实时交互技术的广泛应用，展现出计算机视觉领域的巨大潜力。
