一文搞懂世界模型：AI如何“脑补”真实世界？（1/2）

最近，ai领域里“世界模型”这个词越来越火，各大科技巨头纷纷入局，像是谷歌发布genie 3，昆仑万维推出matrix-game 2.0，腾讯开源hunyuanworld-voyager。这世界模型到底是啥？为啥科技大厂们都对它趋之若鹜？它和我们熟悉的chatgpt又有啥区别？别着急，接下来就用最通俗易懂的大白话，结合大家熟知的例子，带你彻底搞懂世界模型。

一、先搞懂：世界模型是啥？和普通ai模型有啥不一样？

（一）世界模型：让ai“看懂”真实世界

简单来说，世界模型是一种能让ai理解和模拟真实世界的模型。以往的ai模型，像图像识别模型只能分辨图片里有什么，语言模型只能处理文字信息。但世界模型不一样，它能把视觉、语言、动作等多种信息融合在一起，形成对世界的整体认知，还能预测未来可能发生的事。

举个例子，你看到一个小孩在玩皮球，皮球滚到桌子下面。我们人类不用看也知道，皮球还在桌子下面，不会凭空消失。这是因为我们大脑里有一个“世界模型”，能理解物体的运动规律和空间关系。而普通ai如果只看到皮球滚到桌子下这一帧画面，它很难理解皮球去了哪，因为它没有对世界的整体认知。但有了世界模型的ai，就能像人一样“脑补”出皮球在桌子下的画面，还能预测如果小孩去桌子下找皮球，会发生什么。

（二）和chatgpt这类语言模型的区别

我们熟悉的chatgpt属于大语言模型，主要处理文本信息。它能根据你输入的文字，生成相关的回答，比如你问它“明天天气怎么样”，它能根据数据和算法给出答案。但chatgpt没有对真实世界的感知和理解，它不知道天气变化会对现实生活有什么影响，也无法和真实世界进行交互。

而世界模型更像是一个“智能模拟器”，它不仅能理解语言，还能理解图像、声音等信息，能在虚拟环境里模拟真实世界的物理规律和变化。比如你给世界模型输入一张房间的图片，再告诉它“把椅子搬到窗户边”，它能模拟出椅子移动后的房间画面，还能考虑到椅子移动时会不会撞到其他东西，这是chatgpt这类语言模型做不到的。

（三）世界模型的起源：从心理学猜想开始

世界模型的概念最早源于心理学对“人脑如何表征外部现实”的猜想。1943年，苏格兰心理学家keh craik提出“脑内小尺度模型”假设，认为生物体若能在大脑里携带外部现实的简化副本，就可先“脑内试错”，再输出行动。这就好比我们在做一件事之前，会先在脑海里想一下可能的结果，再决定怎么做。

后来，经过认知科学、机器人学与强化学习的交叉演化，世界模型逐渐发展起来。2018年，“world models”论文的发表，标志着世界模型概念正式被深度学习社区采纳。从那以后，世界模型在ai领域不断发展，成为实现通用人工智能（agi）的重要路径之一。

二、世界模型能干啥？这些应用场景和我们息息相关

（一）游戏领域：打造“无限可能”的开放世界

在游戏里，世界模型能让游戏场景更加真实、动态，玩家的每一个动作都能实时影响游戏世界。比如，你在玩一款开放世界游戏，当你走进一片森林，以往的游戏可能是提前设定好森林里的场景和物品。但有了世界模型，森林里的树木会根据你的靠近产生光影变化，小动物会因为你的脚步声而逃窜，甚至天气也会随着时间和你的行动实时变化。

昆仑万维的matrix-game 2.0在这方面就表现出色。它是一款交互式世界模型，参数量仅有1.8b，能跑在单块gpu上。你只需上传一张静态图片，它就能基于该图像加载并生成一个虚拟世界。玩家可以通过方向键或wasd键控制人物在虚拟世界中的移动，且每一次人物的移动都会实时影响环境，并生成新的视频内容。像丢给它一张3a大作《荒野大镖客》的游戏画面，它能模拟出非常细腻的自然景观，河流蜿蜒流淌，还能模拟出流水的动态效果，大大增加了游戏的真实感与沉浸感。

（二）自动驾驶：提前“预判”复杂路况

自动驾驶汽车需要应对各种复杂路况，世界模型能帮助它提前“预判”可能出现的危险，做出更安全的决策。比如，当自动驾驶汽车遇到前方突然变道的车辆时，世界模型可以根据车辆的速度、距离以及周围环境信息，预测出可能的碰撞风险，并及时调整车速和行驶方向。

华为云的盘古世界模型在自动驾驶领域就有应用。输入首帧的行车场景，再加上行车控制信息和路网数据，它就可以生成每路摄像头的行车视频和激光雷达的点云，生成的视频与激光点云可以达到像素级的匹配。这就能够为智能驾驶生成大量的训练数据，从而不依赖于高成本的路采。并且它的生成能力可以达到30帧每秒的视频续写，已经应用到自动驾驶的软件仿真和硬件仿真的环境中，根据行车控制信息就可以实时生成左超车、右超车、刹车等不同驾驶行为的续写视频，供智能驾驶系统来训练。

（三）机器人领域：让机器人更“智能”地行动

机器人在执行任务时，需要理解周围环境并做出合理的动作。世界模型可以让机器人在虚拟环境中进行“试错学习”，提高在真实环境中的行动能力。比如，一个机器人要在杂乱的房间里寻找特定物品，有了世界模型，它可以先在虚拟环境里模拟寻找的过程，预测可能遇到的障碍和问题，再在真实环境中更高效地完成任务。

谷歌的genie 3世界模型可以生成各种可控制动作、可玩的3d环境，还可以用于训练和评估具身agent。它能快速为ai agent创建丰富多样的环境，从而生成agent在训练期间未见过的评估任务。比如，google deepmind与游戏开发商合作开发的sima agent，被设计成通过遵循自然语言指令来完成一系列3d游戏世界中的任务，就可以在genie 2合成的、未见过的环境执行指令，通过在虚拟环境中的训练，提升在真实世界中的行动能力。

（四）影视与元宇宙：提升内容创作效率

在影视制作和元宇宙场景搭建中，世界模型可以快速生成大规模动态场景，节省大量的人力和时间成本。比如，制作一部科幻电影，导演可以用世界模型快速生成外星世界的场景，包括地形、气候、生物等，而且这些场景可以根据剧情和角色的行动实时变化。在元宇宙中，用户也可以通过世界模型创建属于自己的个性化虚拟空间，实现更丰富的交互体验。

三、深入剖析：世界模型的技术原理是怎样的？

（一）多模态数据融合：让ai“全方位”感知世界

世界模型的核心之一是多模态数据融合，也就是把视觉、语言、音频、动作等多种数据整合在一起。比如，当我们看到一个人在说话，我们不仅能看到他的动作和表情（视觉信息），还能听到他说的话（音频信息），然后理解他的意图（语言信息）。世界模型也需要具备这样的能力，将不同模态的数据转化为统一的表示形式，让ai能够从多个角度理解世界。

以腾讯的混元3d世界模型为例，它引入了“世界一致视频扩散”与“长距离世界探索”两大核心机制，从一段文字、一张图生成一个初始场景，再根据用户设定的相机轨迹拓展新视角内容。这里就融合了文本和图像两种模态的数据，通过对这些数据的处理和融合，生成更加真实、连贯的虚拟场景。

（二）模拟与预测：在“脑海”中推演未来

世界模型还能够模拟世界的动态变化，并预测未来可能发生的事情。它通过学习大量的历史数据，掌握世界的运行规律，然后在面对新的情况时，能够在虚拟环境中模拟不同的行动方案，并预测每种方案可能产生的结果。

比如，在自动驾驶场景中，世界模型可以根据当前车辆的速度、位置、周围车辆的状态等信息，模拟未来几秒钟内可能出现的情况，如前方车辆突然刹车、行人突然横穿马路等，并提前规划出应对策略。谷歌的genie 3就可以生成长达数分钟的一致世界，能够模拟各种物体的相互作用、角色动画、物理规律等，实现实时互动和高度一致化的生成，让用户在其中的行动能够得到合理的反馈和预测。