「世界模型」也被泼冷水了？邢波等人揭开五大「硬伤」，提出新范式

「世界模型」也被泼冷水了？邢波等人揭开五大「硬伤」，提出新范式

仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接

来源：机器之心报道
编辑：泽南、+0
现在的世界模型，值得批判。
我们知道，大语言模型（LLM）是通过预测对话的下一个单词的形式产生输出的。由此产生的对话、推理甚至创作能力已经接近人类智力水平。
但目前看起来，ChatGPT等大模型与真正的AGI还有肉眼可见的差距。如果我们能够完美地模拟环境中每一个可能的未来，是否就可以创造出强大的AI了？回想一下人类：与ChatGPT不同，人类的能力组成有具体技能、深度复杂能力的区分。
模拟推理的案例：一个人（可能是自私的）通过心理模拟多个可能结果来帮助一个哭泣的人。
人类可以执行广泛的复杂任务，所有这些任务都基于相同的人类大脑认知架构。是否存在一个人工智能系统也能完成所有这些任务呢？
近日，来自卡耐基梅隆大学（CMU）、阿联酋穆罕默德・本・扎耶德人工智能大学（MBZUAI）、加州大学圣迭戈分校（UCSD）的研究者们探讨了当前AI领域最前沿方向——世界模型（WorldModels）的局限性。
论文：CritiquesofWorldModels
论文链接：https ://arxiv. org/abs/2507. 05169
研究人员指出了构建、训练世界模型的五个重点方面：1）识别并准备包含目标世界信息的训练数据；2）采用一种通用表征空间来表示潜在世界状态，其含义可能比直接观察到的数据更为丰富；3）设计能够有效对表征进行推理的架构；4）选择能正确指导模型训练的目标函数；5）确定如何在决策系统中运用世界模型。
基于此，作者提出了一种全新的世界模型架构PAN（Physical,Agentic,andNestedAGISystem），基于分层、多级和混合连续/离散表示，并采用了生成式和自监督学习框架。
研究者表示，PAN世界模型的详细信息及结果会很快在另一篇论文中展示。MBZUAI校长、CMU教授邢波在论文提交后转推了这篇论文，并表示PAN模型即将发布27B的第一版，这将是第一个可运行的通用世界模拟器。
对世界模型的批判
一个以YannLeCun为代表的学派在构建世界模型的五个维度——数据、表征、架构、目标和用途。
该学派还为世界模型提出了如图4所示的替代框架，其核心思想可以概括为「预测下一个表征」，而非「预测下一个数据」：
无文本预训练：该框架完全摒弃了文本数据，转而采用如视频、音频、嗅觉等连续的感官数据。
固定维度的连续状态嵌入：给定感官输入o，一个编码器h将世界状态估计为一个具有固定维度的抽象连续嵌入（例如，）。
编码器-编码器架构：世界模型f基于动作输入a，以一种确定性的方式预测下一个状态嵌入。值得注意的是，该架构不使用解码器g来重构下一个观测，而是再次应用编码器h处理真实的下一观测，从而生成作为监督学习的真实目标。
潜在空间中的重构损失：该框架并非通过比较重构的下一感官输入与真实数据来进行监督，而是将学习建立在预测的下一状态与自举生成的真实目标之间的偏差之上（例如，使用L2损失）。
通过模型预测控制（MPC）选择动作：给定当前观测，该框架倾向于先提出一个初始的动作序列，然后使用世界模型f模拟未来的状态，并最终基于目标进展来优化这一动作序列。
尽管这些思路确实对当前世界模型的一些实践提出了合理的问题，并描绘了吸引人的解决方案，但作者认为，当以实现智能体推理和决策为目的，去构建通用、可扩展且鲁棒的世界模型时，其每一项基本假设都会引入严重的局限性。
作者沿着他们构建世界模型的五个维度，对他们提出的主张和建议逐一进行分析性批判。下面对每个观点进行了概述，感兴趣的读者可以阅读原文。
数据：关键在于信息密度，而非数据量
待批判的主张：感官输入优于文本输入，因为来自物理世界的数据量远超文本（例如，一个四岁的孩子就已经处理了1. 1×10¹⁴字节的视觉数据，而用于训练现代大语言模型的所有文本数据加起来也仅仅约0. 9×10¹⁴字节）。
作者的观点：
尽管视频等感官数据量大，但其信息冗余度高、语义含量低。相比之下，自然语言是人类经验的高度压缩和抽象形式，它不仅能描述物理现实，还能编码如「正义」、「动机」等无法直接观察的抽象概念，并承载了人类的集体知识。
因此，通往通用人工智能的道路不能偏重于任何单一模态。视频、文本、音频等不同模态反映了经验的不同层面：视频捕捉物理动态，而文本编码抽象概念。一个成功的世界模型必须融合所有这些分层的数据，才能全面理解世界并处理多样化的任务，忽略任何一个层面都会导致关键信息的缺失。
表示：连续？离散？还是两者兼有？
待批判的主张：世界状态应由连续嵌入来表征，而非离散的词元，以便于进行基于梯度的优化。
作者的观点：
仅用连续嵌入来表示世界状态是脆弱的，因为它难以应对感官数据中固有的噪声和高变异性。人类认知通过将原始感知归类为离散概念来解决此问题，而语言就是这些离散概念的载体，为抽象和推理提供了稳定、可组合的基础。
理论上，离散符号序列（即「语言」）足以表达连续数据中任意精度的信息，并且如图5所示，通过增加序列长度来扩展其表达能力，远比扩大词汇表更高效。
因此，最佳路径是采用混合表示。这种方法结合了离散符号的稳健性、可解释性和结构化推理能力，同时利用连续嵌入来捕捉细微的感官细节，从而实现优势互补。
架构：自回归生成并非敌人
待批判的主张：自回归生成模型（例如LLM）注定会失败，因为它们最终必然会犯错，并且无法对结果的不确定性进行建模。
作者的观点：
如论文图6（左半部分）所示，这种被批判的「编码器-编码器架构」在潜在空间中进行「确定性的下一嵌入预测」，但它在功能上仍是自回归的，需要递归地预测未来状态，因此并未真正避免其声称要解决的误差累积问题。更关键的是，通过移除解码器来避免重构观察数据，会导致模型学习到的潜在表示与真实世界脱节，难以诊断，甚至可能崩溃到无意义的解。
更好的方案不是抛弃生成模型，而是采用分层的生成式潜在预测（GLP）架构，这在图6（右半部分）中得到了展示。该架构包含一个解码器用于「生成式重构」，其核心是一个由「增强的LLM+扩散模型」构成的分层世界模型。这种设计既能通过生成式解码器确保模型与真实数据挂钩，又能通过分层抽象来隔离底层噪声，实现更鲁棒、更强大的推理。
目标：在数据空间还是潜在空间中学习？
待批判的主张：概率性的数据重构目标（例如编码器-解码器方案）是行不通的，因为这类目标难以处理，并且会迫使模型去预测不相关的细节。
作者的观点：
如图7（左半部分）所示，在潜在空间计算重构损失的方法，理论上存在「平凡解崩溃」的风险，即模型可以轻易将所有输入映射为常数来使损失为零，从而什么也学不到。为了防止崩溃，这类模型不得不依赖复杂且难以调试的正则化项。
相比之下，基于数据空间的生成式重构目标函数，如图7（右半部分）所示，要求模型预测并重构出真实的下一刻观察数据，并通过「生成式损失」进行监督。这从根本上避免了崩溃问题，为模型提供了稳定、可靠且有意义的监督信号。
图8进一步从理论上解释了，潜在空间损失只是生成式损失的一个宽松的「上界代理」。这意味着，即使一个模型的潜在损失很低，也不能保证它在真实世界中的预测是准确的，因为它可能遗漏了对任务至关重要的信息。
用途：模型预测控制（MPC）还是强化学习（RL）？
待批判的主张：世界模型应该用于模型预测控制（MPC），而不是强化学习（RL）框架，因为后者需要过多的试验次数。
作者的观点：
如论文图9（左半部分）所示，MPC在决策时需要反复进行「模拟下一个潜在状态」和「基于目标优化动作」的循环，这导致其计算开销巨大，难以应对快速变化的环境，并且通常视野有限，难以进行长时程战略规划。
强化学习（RL）提供了一个更通用、灵活且可扩展的范式，如图9（右半部分）所示。它将世界模型作为一个「模拟器」，让一个独立的智能体模型在其中探索并学习。这个过程是用于「基于目标用RL优化智能体模型」，将巨大的计算成本从「决策时」转移到了「训练时」。这使智能体不仅能快速行动，还能通过学习积累长期回报，进行更具战略性的长远规划。
PAN世界模型
基于对现有世界模型框架的批评，作者得出了关于通用世界模型设计原则。PAN架构基于以下设计原则：1）涵盖所有体验模式的数据；2）结合连续与离散表示；3）基于增强的大语言模型（LLM）主干的分层生成建模，以及生成式潜在预测架构；4）以观察数据为基础的生成损失；5）利用世界模型通过强化学习（RL）来模拟体验，以训练智能体。
一个真正多功能且通用的世界模型必须基于能够反映现实世界推理需求全部复杂性的任务。总体而言，PAN通过其分层、多级和混合表示架构，以及编码器-解码器管道，将感知、行动、信念、模拟信念和模拟世界等要素串联起来。作为通用生成模型，PAN能够模拟现实世界中可操作的可能性，使智能体能够进行有目的的推理。PAN并不回避原始感知输入的多样性，而是将其模块化和组织化，从而实现对每一层体验的更丰富内部模拟，增强智能体的推理和规划能力。
在训练时，PAN需要首先通过自我监督（例如使用大语言模型处理文本数据，使用扩散模型处理视频数据）独立预训练每个模块。这些特定于模态和级别的模块在后训练阶段通过多模态数据、级联嵌入和梯度传播进行对齐或整合。
PAN架构的一大优势在于其数据处理效率，这得益于其采用的多尺度和分层的世界观。事实上，PAN的预训练-对齐/集成策略能够充分利用感觉信息简历知识基础，利用LLM促进跨模态的泛化能力。
作者概述了一种利用世界模型进行模拟推理的智能体架构。PAN自然地融入这一范式，不仅作为视频生成器，更作为一个丰富的内部沙盒，用于模拟、实验和预见未来。
最后，作者认为，世界模型不是关于视频或虚拟现实的生成，而是关于模拟现实世界中所有可能性，因此，目前的范式和努力仍然是原始的。作者希望，通过批判性、分析性和建设性的剖析一些关于如何构建世界模型的流行思想，以及PAN架构，能够激发理论和实施更强大世界模型的进一步发展。
由PAN世界模型驱动的模拟推理智能体。与依赖反应策略的传统强化学习智能体，或在决策时刻昂贵地模拟未来的模型预测控制（MPC）智能体不同，其利用了PAN生成的预计算模拟缓存。在决策过程中，智能体根据当前的信念和预期结果选择行动，从而实现更高效、灵活和有目的的规划方式。这种方式更接近人类推理的灵活性。
更详细内容，请查阅论文原文。
阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”
https ://wx. zsxq.com/group/454854145828
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https ://wx. zsxq.com/group/454854145828进入。
截止到3月31日”未来知识库”精选的百部前沿科技趋势报告
（加入未来知识库，全部资料免费阅读和下载）
牛津未来研究院《将人工智能安全视为全球公共产品的影响、挑战与研究重点》
麦肯锡：超级智能机构：赋能人们释放人工智能的全部潜力
AAAI2025关于人工智能研究未来研究报告
斯坦福：2025斯坦福新兴技术评论：十项关键技术及其政策影响分析报告（191页）
壳牌：2025能源安全远景报告：能源与人工智能（57页）
盖洛普&牛津幸福研究中心：2025年世界幸福报告（260页）
Schwab：2025未来共生：以集体社会创新破解重大社会挑战研究报告（36页）
IMD：2024年全球数字竞争力排名报告：跨越数字鸿沟人才培养与数字法治是关键（214页）
DS系列专题：DeepSeek技术溯源及前沿探索，50页ppt
联合国人居署：2024全球城市负责任人工智能评估报告：利用AI构建以人为本的智慧城市（86页）
TechUK：2025全球复杂多变背景下的英国科技产业：战略韧性与增长路径研究报告（52页）
NAVEXGlobal：2024年十大风险与合规趋势报告（42页）
《具身物理交互在机器人-机器人及机器人-人协作中的应用》122页
2025-2035年人形机器人发展趋势报告53页
EvaluatePharma：2024年全球生物制药行业展望报告：增长驱动力分析（29页）
【AAAI2025教程】基础模型与具身智能体的交汇，350页ppt
Tracxn：2025全球飞行汽车行业市场研究报告（45页）
谷歌：2024人工智能短跑选手（AISprinters）：捕捉新兴市场AI经济机遇报告（39页）
【斯坦福博士论文】构建类人化具身智能体：从人类行为中学习
《基于传感器的机器学习车辆分类》最新170页
美国安全与新兴技术中心：2025CSET对美国人工智能行动计划的建议（18页）
罗兰贝格：2024人形机器人的崛起：从科幻到现实：如何参与潜在变革研究报告（11页）
兰德公司：2025从研究到现实：NHS的研究和创新是实现十年计划的关键报告（209页）
康桥汇世（CambridgeAssociates）：2025年全球经济展望报告（44页）
国际能源署：2025迈向核能新时代
麦肯锡：人工智能现状，组织如何重塑自身以获取价值
威立（Wiley）：2025全球科研人员人工智能研究报告（38页）
牛津经济研究院：2025TikTok对美国就业的量化影响研究报告：470万岗位（14页）
国际能源署（IEA）：能效2024研究报告（127页）
Workday：2025发挥人类潜能：人工智能（AI）技能革命研究报告（20页）
CertiK：Hack3D：2024年Web3. 0安全报告（28页）
世界经济论坛：工业制造中的前沿技术：人工智能代理的崛起》报告
迈向推理时代：大型语言模型的长链推理研究综述
波士顿咨询：2025亚太地区生成式AI的崛起研究报告：从技术追赶者到全球领导者的跨越（15页）
安联（Allianz）：2025新势力崛起：全球芯片战争与半导体产业格局重构研究报告（33页）
IMT：2025具身智能（EmbodiedAI）概念、核心要素及未来进展：趋势与挑战研究报告（25页）
IEEE：2025具身智能（EmbodiedAI）综述：从模拟器到研究任务的调查分析报告（15页）
CCAV：2025当AI接管方向盘：自动驾驶场景下的人机交互认知重构、变革及对策研究报告（124页）
《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新132页
《面向科学发现的智能体人工智能：进展、挑战与未来方向综述》
全国机器人标准化技术委员会：人形机器人标准化白皮书（2024版）（96页）
美国国家科学委员会（NSB）：2024年研究与发展-美国趋势及国际比较（51页）
艾昆纬（IQVIA）：2025骨科手术机器人技术的崛起白皮书：创新及未来方向（17页）
NPL&Beauhurst：2025英国量子产业洞察报告：私人和公共投资的作用（25页）
IEAPVPS：2024光伏系统经济与技术关键绩效指标（KPI）使用最佳实践指南（65页）
AGI智能时代：2025让DeepSeek更有趣更有深度的思考研究分析报告（24页）
2025军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告（37页）
华为：2025鸿蒙生态应用开发白皮书（133页
《超级智能战略研究报告》
中美技术差距分析报告2025
欧洲量子产业联盟（QuIC）：2024年全球量子技术专利态势分析白皮书（34页）
美国能源部：2021超级高铁技术（Hyperloop）对电网和交通能源的影响研究报告（60页）
罗马大学：2025超级高铁（Hyperloop）：第五种新型交通方式-技术研发进展、优势及局限性研究报告（72页）
兰德公司：2025灾难性网络风险保险研究报告：市场趋势与政策选择（93页）
GTI：2024先进感知技术白皮书（36页）
AAAI：2025人工智能研究的未来报告：17大关键议题（88页）
安联Allianz2025新势力崛起全球芯片战争与半导体产业格局重构研究报告
威达信：2025全球洪水风险研究报告：现状、趋势及应对措施（22页）
兰德公司：迈向人工智能治理研究报告：2024EqualAI峰会洞察及建议（19页）
哈佛商业评论：2025人工智能时代下的现代软件开发实践报告（12页）
德安华：全球航空航天、国防及政府服务研究报告：2024年回顾及2025年展望（27页）
奥雅纳：2024塑造超级高铁（Hyperloop）的未来：监管如何推动发展与创新研究报告（28页）
HSOAC：2025美国新兴技术与风险评估报告：太空领域和关键基础设施（24页）
Dealroom：2025欧洲经济与科技创新发展态势、挑战及策略研究报告（76页）
《无人机辅助的天空地一体化网络：学习算法技术综述》
谷歌云（GoogleCloud）：2025年AI商业趋势白皮书（49页）
《新兴技术与风险分析：太空领域与关键基础设施》最新报告
150页！《DeepSeek大模型生态报告》
军事人工智能行业研究报告：技术奇点驱动应用加速智能化重塑现代战争形态-250309（40页）
真格基金：2024美国独角兽观察报告（56页）
璞跃（PlugandPlay）：2025未来商业研究报告：六大趋势分析（67页）
国际电工委员会（IEC）：2025智能水电技术与市场展望报告（90页）
RWS：2025智驭AI冲击波：人机协作的未来研究报告（39页）
国际电工委员会（IEC）：2025智能水电技术与市场展望报告（90页）
RWS：2025智驭AI冲击波：人机协作的未来研究报告（39页）
未来今日研究所2025年科技趋势报告第18版1000页
模拟真实世界：多模态生成模型的统一综述
中国信息协会低空经济分会：低空经济发展报告（2024-2025）（117页）
浙江大学：2025语言解码双生花：人类经验与AI算法的镜像之旅（42页）
人形机器人行业：由“外”到“内”智能革命-250306（51页）
大成：2025年全球人工智能趋势报告：关键法律问题（28页）
北京大学：2025年DeepSeek原理和落地应用报告（57页）
欧盟委员会人工智能与未来工作研究报告
加州大学伯克利分校：面向科学发现的多模态基础模型：在化学、材料和生物学中的应用
电子行业：从柔性传感到人形机器人触觉革命-250226（35页）
RT轨道交通：2024年中国城市轨道交通市场数据报告（188页）
FastMoss：2024年度TikTok生态发展白皮书（122页）
CheckPoint：2025年网络安全报告-主要威胁、新兴趋势和CISO建议（57页）
【AAAI2025教程】评估大型语言模型：挑战与方法，199页ppt
《21世纪美国的主导地位：核聚变》最新报告
沃尔特基金会（VoltaFoundation）：2024年全球电池行业年度报告（518页）
斯坦福：2025斯坦福新兴技术评论：十项关键技术及其政策影响分析报告（191页）
国际科学理事会：2025为人工智能做好国家研究生态系统的准备-2025年战略与进展报告（英文版）（118页）
光子盒：2025全球量子计算产业发展展望报告（184页）
奥纬论坛：2025塑造未来的城市研究报告：全球1500个城市的商业吸引力指数排名（124页）
FutureMatters：2024新兴技术与经济韧性：日本未来发展路径前瞻报告（17页）
《人类与人工智能协作的科学与艺术》284页博士论文
《论多智能体决策的复杂性：从博弈学习到部分监控》115页
《2025年技术展望》56页slides
大语言模型在多智能体自动驾驶系统中的应用：近期进展综述
【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用
皮尤研究中心：2024美国民众对气候变化及应对政策的态度调研报告：气候政策对美国经济影响的多元观点审视（28页）
空间计算行业深度：发展趋势、关键技术、行业应用及相关公司深度梳理-250224（33页）
Gartner：2025网络安全中的AI：明确战略方向研究报告（16页）
北京大学：2025年DeepSeek系列报告-提示词工程和落地场景（86页）
北京大学：2025年DeepSeek系列报告-DeepSeek与AIGC应用（99页）
CIC工信安全：2024全球人工智能立法的主要模式、各国实践及发展趋势研究报告（42页）
中科闻歌：2025年人工智能技术发展与应用探索报告（61页）
AGI智能时代：2025年Grok-3大模型：技术突破与未来展望报告（28页）
上下滑动查看更多