一文搞懂世界模型：AI如何“脑补”真实世界？（2/2）

（三）强化学习：在“试错”中不断优化

强化学习是世界模型训练过程中的重要方法。简单来说，强化学习就是让ai在虚拟环境中不断尝试不同的行动，根据行动产生的结果获得奖励或惩罚，从而逐渐学会最优的行动策略。

比如，一个机器人要学会在复杂环境中行走，它可以在世界模型构建的虚拟环境中不断尝试不同的步伐和方向。如果它成功避开了障碍物并到达了目标地点，就会得到奖励；如果它撞到了障碍物，就会受到惩罚。通过不断地试错和学习，机器人就能逐渐掌握在该环境中行走的最佳策略，然后将这些策略应用到真实环境中。

四、行业现状：大厂纷纷布局，竞争激烈

（一）谷歌：genie系列引领世界模型发展

谷歌在世界模型领域一直处于领先地位，其发布的genie系列世界模型备受关注。genie 2能生成各种可控制动作、可玩的3d环境，还可以用于训练和评估具身agent，只要给一张提示图像，它就能按照文本提示生成对应的交互式虚拟世界，无论是人类还是ai agent都可以在其中探索和互动。

而genie 3更是实现了实时互动、高度一致化的生成，直接从“游戏画面”迈入“真实世界”的程度。它能维持数分钟的生成一致性，还能做到实时响应，用户可以以每秒24帧的速度实时浏览生成的动态世界，并在720p的分辨率下保持几分钟的一致性。genie 3支持可提示事件，用户可以在生成的世界中添加新的事件，比如另一个人或交通工具，甚至是完全意想不到的东西，为世界模型的应用拓展了更多可能性。

（二）昆仑万维：开源matrix-game系列，推动行业发展

昆仑万维在世界模型领域也有重要成果，其开源的matrix-game系列模型为行业发展做出了贡献。matrix-game 2.0是业内首个在通用场景上实现实时长序列、交互式生成的世界模型开源方案，参数量仅有1.8b，能跑在单块gpu上，生成的虚拟环境帧率能达到25fps，用户可以用键盘wasd按键进行实时的自由移动和视角控制，实现持续时长达分钟级的互动。

它彻底摆脱了此前依赖语言提示的生成模式，专注于通过视觉理解和物理规律学习来构建虚拟世界。通过少步骤自回归扩散算法实时生成长视频，引入了一个专为实时模拟和交互设计的高效框架，同时应对解决了效率和可控性的挑战，为游戏开发者和玩家提供了全新的可能性，也让更多人能够基于其开源代码进行研究和创新。

（三）腾讯：混元3d世界模型，提升空间理解能力

腾讯混元团队正式开源其hunyuanworld 1.0世界模型的扩展模型“hunyuanworld-voyager”。根据worldscore排行榜，voyager在当前主流世界模型中平均成绩位列第一。混元世界模型-voyager架构是对混元世界模型1.0新视角内容的补全，引入了“世界一致视频扩散”与“长距离世界探索”两大核心机制。

从静态场景到可控漫游，再到具备深度信息与空间拓展，voyager补足了混元世界模型在空间连续性上的一块关键能力。它可以从一段文字、一张图生成一个初始场景，再根据用户设定的相机轨迹拓展新视角内容，这种“边走边生成”的逻辑，正在成为ai理解空间的另一种可能，为用户带来更加沉浸式的虚拟体验，也在空间理解和生成方面展现出独特的优势。

（四）其他企业与研究机构的探索

除了上述大厂，还有许多企业和研究机构也在积极探索世界模型。在自动驾驶领域，不少车企和科技公司都在研究如何将世界模型应用到自动驾驶系统中，提高驾驶的安全性和智能化水平。一些机器人研发团队也在利用世界模型提升机器人的认知和行动能力，使其能够在更复杂的环境中完成任务。学术界也在不断深入研究世界模型的理论和算法，为其发展提供坚实的技术支撑。

五、挑战与展望：世界模型的未来还有哪些难题与机遇？

（一）面临的挑战

1. 数据覆盖瓶颈：尽管世界模型需要大量的数据来学习世界的规律，但极端场景的数据依旧稀缺。比如在自动驾驶中，车辆失控、罕见天气等情况的数据很难获取。如果训练数据中缺少这些极端场景，模型在遇到类似情况时就可能无法准确“想象”和应对。虽然可以通过仿真来补充数据，但“仿真-到-真实”的差距难以完全消除，模型在真实环境中的表现可能会受到影响。

2. 信息表征受限：传感器的物理限制使得模型无法获取真正的全量物理量。例如，摄像头的帧率、视野范围（fov）有限，点云数据稀疏等，这些都会导致模型对世界的感知存在缺失。而且，对于材质、摩擦力、液体形变等隐式属性，模型的建模仍很粗糙，难以准确模拟真实世界的物理现象。

3. 训练与部署门槛高：训练世界模型需要大规模无标注但多样化的视频\/传感序列，以及高算力的gpu集群，这对企业和研究机构的硬件资源和技术实力要求很高。虽然现在出现了一些开源工具链，如昆仑万维的matrix-game 2.0，但普通团队仍面临难以调通和优化的问题，限制了世界模型的广泛应用和发展。

4. 评估指标缺失：目前缺乏公认的“世界模型benchmark”，也就是没有统一的评估标准来衡量世界模型的性能。现有的像素级均方误差（mse）或潜空间kl散度等指标，并不能直接反映模型生成的世界是否符合物理一致性。这使得模型的迭代方向容易走偏，难以判断模型是否真正在向理解和模拟真实世界的方向发展。

5. 实时性挑战：如果要实现高分辨率视频生成式预测，世界模型的帧延迟与内存占用依旧是巨大的问题。在车规级芯片方面，虽然已经有一些进展，但目前刚起步，尚未真正大规模上车，无法满足自动驾驶等对实时性要求极高的应用场景。

6. 安全与可解释：世界模型内部的潜在状态对人类来说是不透明的，一旦模型的“脑内想象”与真实物理偏离，就可能出现“自信但错误”的决策，而且很难追溯错误的原因。这在自动驾驶、机器人等涉及安全的领域是非常危险的，需要解决模型的可解释性问题，让人类能够理解模型的决策过程。

（二）未来的机遇

1. 通用人工智能的关键一步：世界模型被认为是实现通用人工智能（agi）的重要路径之一。随着技术的不断发展和突破，世界模型有望让ai具备真正的常识性理解能力，能够像人类一样思考和行动，实现从感知到认知再到决策的全面智能化，为agi的实现奠定基础。

2. 多领域融合创新：世界模型将推动游戏、自动驾驶、机器人、影视、元宇宙等多个领域的融合创新。例如，在元宇宙中，世界模型可以为用户提供更加真实、动态的虚拟环境，实现更加丰富的交互体验；在影视制作中，结合世界模型和虚拟拍摄技术，可以创造出更加震撼的视觉效果；在自动驾驶和机器人领域，世界模型与物联网、5g等技术的融合，将实现更高效、更智能的交通和生产方式。

3. 新商业模式的诞生：世界模型的发展可能催生出新的商业模式。比如，基于世界模型的虚拟环境生成服务，可以为游戏开发商、影视制作公司、教育机构等提供定制化的虚拟场景；为企业提供基于世界模型的智能决策解决方案，帮助企业优化生产流程、降低成本、提高效率；还可能出现专门针对世界模型的训练数据服务、模型评估服务等，形成一个完整的产业链。

4. 改善人类生活：从日常生活到工业生产，世界模型都有巨大的应用潜力。在智能家居中，世界模型可以让智能设备更好地理解用户的需求和环境变化，提供更加个性化的服务；在医疗领域，世界模型可以用于模拟人体生理过程，辅助疾病诊断和治疗方案的制定；在城市规划中，世界模型可以模拟城市的发展和运行，为规划者提供决策支持，创造更宜居、高效的城市环境。

世界模型作为ai领域的重要发展方向，虽然目前还面临诸多挑战，但已经展现出了巨大的潜力和应用价值。随着技术的不断进步和突破，相信世界模型将在未来深刻改变我们的生活和社会，开启一个全新的智能时代。