OpenAI爆出硬伤，强化学习是祸首！o3越强越「疯」，幻觉率狂飙
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
来源：新智元
编辑：KingHZ桃子
【新智元导读】o3编码直逼全球TOP200人类选手，却存在一个致命问题：幻觉率高达33%，是o1的两倍。Ai2科学家直指，RL过度优化成硬伤。
满血o3更强了，却也更爱「胡言乱语」了。
OpenAI技术报告称，o3和o4-mini「幻觉率」远高于此前的推理模型，甚至超过了传统模型GPT-4o。
根据PersonQA基准测试，o3在33%的问题回答中产生了幻觉，几乎是o1（16%）的2倍。
而o4-mini的表现更加糟糕，幻觉率高达48%。
技术报告：https ://cdn.openai.com/pdf/2221c875-02dc-4789-800b-e7758f3722c1/o3-and-o4-mini-system-card.pdf
甚至，有网友一针见血地指出，「o3对编写和开发超1000行代码的项目极其不利，幻觉率极高，且执行指令能力非常差」。
不管是在Cursor，还是Windsurf中，o3编码幻觉问题显著。
要知道，o3和o4-mini在Codeforces中成绩均超2700分，在全球人类选手中位列TOP200，被称为OpenAI有史以来最好的编码模型。
它们验证了，Scaling强化学习依旧有效。
o3训练算力是o1的十倍
但为何随着模型参数规模Scaling，幻觉问题反而加剧？
o3幻觉率至高，是o1两倍
过去，每一代新模型的迭代，通常会在减少幻觉方面有所进步，但o3和o4-mini却打破了这一规律。
更令人担忧的是，OpenAI目前也无法完全解释这一现象的原因。
技术报告中，研究团队坦言，「还有需要进一步研究来弄清，模型生成更多断言的问题」。
提前拿到o3内测资格后，非营利AI研究机构Transluce的测试，进一步印证了这一问题。
他们发现，o3在回答问题时，更倾向于「虚构」其推理过程中的某些行为。
比如，o3声称它在一台2021年款的MacBookPro上运行代码，甚至声称是在ChatGPT之外复制的代码。
而且，这种情况出了71次。然而，事实是o3根本无法执行这样的操作。
前OpenAI研究员NeilChowdhury表示，o系列模型使用的强化学习算法，可能是问题的根源。
RL可能会放大传统后训练流程中通常能缓解，但无法完全消除的问题。
强化学习「背锅」，编造根源找到了
首先，必须承认的是，幻觉问题并非是o系列模型独有，而是语言模型的普遍挑战。
而对于多数语言模型产生幻觉的原因，不外乎有这么几点：
1预训练模型的幻觉倾向
预训练模型通过最大化训练数据中语句的概率进行学习。然而训练数据可能包含误解、罕见事实或不确定性，这导致模型在生成内容时容易「编造」信息。尽管后训练可以缓解这一问题，但无法完全消除。
2讨好用户
RLHF训练可能激励模型会迎合用户，避免反驳用户的假设。
3数据分布偏移
测试场景可能与训练数据分布不一致。
尽管这些问题是语言模型常见的失败模式，相较于GPT-4o，o系列模型的幻觉问题更为突出。
这背后，还有一些独特的因素。
RL推理训练副作用
作为推理模型，o系列采用了基于强化学习（Outcome-basedRL）训练，专为解决复杂数学问题、编写测试代码而设计。
虽然这种方法提升了模型在特定任务上的表现，但也造成模型幻觉率飙升。
如果训练的奖励函数只关注正确答案，模型在面对无法解决问题时，没有「动力」去承认自己的局限。
相反，它可能选择输出「最佳猜测」，以期碰巧正确。而且，这种策略在训练中未受到惩罚，从而加剧了幻觉。
另外，工具使用的泛化问题，也不可忽视。
o系列模型在训练中，可能因成功使用「代码工具」而获得了奖励。即使在禁用工具的场景中，模型可能会「假想」使用工具来组织推理过程。
这种行为可能在某些推理任务中提高准确性，并在训练中被强化，但也导致模型虚构工具使用的场景。
真帮凶：CoT被丢弃
o系模型的另一个独特设计是「思维链」（Chain-of-Thought）机制。
在生成答案前，模型会通过CoT进行思考，但这一过程对用户不可见，且在后续对话中被丢弃。
事实上，它们可能在CoT中生成了看似合理但不准确的回答。比如，因为没有真实链接，o1曾生成一个了虚构的URL。
由于CoT在后续对话中被丢弃，模型无法访问生成前一轮答案的推理过程。
当你追问前一轮回答的细节时，模型只能基于当前上下文「猜测」一个合理的解释。
这种信息缺失，很难避免o3等不去编造信息。
o3很好，但过度优化是硬伤
在Ai2科学家NathanLambert最新一篇分析长文中，同样印证了这一问题：
强化学习给o3带回来了「过度优化」，而且比以往更诡异。
在任何相关查询中，o3能够使用多步骤工具。
这让ChatGPT的产品管理面临更大挑战：即便用户未触发搜索开关，模型也会自主联网搜索。
但这同时标志着语言模型应用开启了新纪元。
比如，NathanLambert直接问o3：「你能帮我找到那个长期以来被RL研究人员使用的，关于摩托艇过度优化游戏的gif吗？可能像是波浪破碎器之类的？」
过去，他至少需要15分钟，才能手动找到这个。
现在o3直接提供了准确的下载链接，而Gemini等AI则逊色很多。
与o3精彩互动：几乎立刻找到需要的GIF
多个基准的测试成绩，证明o3非常出色。OpenAI认为o3在许多方面比o1更强大。
o3是持续扩展RL训练计算资源时的产物，这也提升了推理时的计算能力。
但这些新的推理模型在智能上「孤峰凸起」，在有些方面并没有奏效。
这意味着有些交互令人惊叹，感觉像是与AI互动的全新方式，但对于一些GPT-4或Claude3.5早已熟练掌握的普通任务，o3等新推理模型却彻底失败了。
这涉及到强化学习中的「过度优化」（over-optimization）问题。
RL过度优化，o3更严重
OpenAIo3模型展现了全新的推理行为模式，但过度优化是硬伤。
过度优化（Over-optimization）是强化学习（RL）领域的经典问题。
无论是传统强化学习、催生出ChatGPT的人类反馈强化学习（RLHF），还是当前新型推理模型中出现的情况，都呈现出独特的表现形式和不同影响。
当优化器的能力超过它所依赖的环境或奖励函数时，就会发生过度优化。
在训练过程中，优化器会钻漏洞，产生异常或负面的结果。
Ai2的科学家举了一个例子。
在Mujoco仿真环境中，评估深度强化学习算法时，发生了过度优化：
「半猎豹」（half-cheetah）模型本该学习奔跑，却用连续侧手翻最大化了前进速度。
o3表现出新型过度优化行为。
这与它创新训练方式密切相关。
最初的推理模型主要训练目标是确保数学和代码的正确性，而o3在此基础上新增了工具调用与信息处理能力。
正如OpenAI官方博客所述：
利用强化学习，我们还训练了这两款模型去使用工具——不仅教会它们如何使用工具，还让它们学会判断何时该使用工具。
它们根据预期结果来部署工具的能力，让它们在开放式任务中更加高效——特别是在涉及视觉推理和多步骤工作流的情况中。
这些训练中的绝大多数子任务都是可验证的。
这种新的训练方法确实提升了模型的实用性，但只对过去用户习惯使用的任务。
但目前还无法规模化地「修复」模型在训练过程中产生的怪异语言表达。
这种新的过度优化并不会使模型的结果变差，它只是让模型在语言表达和自我解释方面变得更差。
o3的一些奇怪表现让人感觉模型还没完全成熟，比如在编程环境中使用了无效的非ASCII连字符的这个例子。
越来越多的用户好奇：o3到底发生了什么？
Karpathy当年评价初代推理模型时的名言：
当模型在思维链中开始不说人话时，你就知道强化学习训练到位了。
如今模型输出的这些怪异幻觉，本质上就是行为版的「不说人话」。
o3的行为组件使其比Claude3.7漏洞百出的代码更有研究价值，或许也相对不易造成实际损害。
奖励黑客，AI学会钻空子
METR发现，o3是在自主任务中能独立操作最久的模型，但也注意到它有倾向于「篡改」它们的评分。
听起来是不是很熟悉？
事实上，奖励机制被钻空子（rewardhacking）的例子比比皆是！
来自OpenAI最近论文的奖励黑客攻击例子：
例子：
左右滑动查看
论文链接：https ://openai.com/index/chain-of-thought-monitoring/
从科学角度来看，这确实是非常有趣且引人深思的——
模型到底在学习什么？
与此同时，考虑到安全问题，大家对AI模型的广泛部署保持警惕，就很有道理。
但目前看来，大家还没有看到过于令人担忧的情况，更多的是效率低下和一些混乱的例子。
总结一下强化学习（RL）不同阶段中，看到的三种过度优化类型：
控制时代的RL：过度优化发生是因为环境脆弱，任务不现实。
RLHF时代：过度优化发生是因为奖励函数设计糟糕。
可验证奖励强化学习（RLVR2）时代：过度优化发生，使模型变得超级有效，但也变得更加奇怪。（还有更多尚未发现的副作用）
这种过度优化确实是一个需要解决的问题，因为语言模型的可读性是其一个重要优势。
NathanLambert相信通过更复杂的训练过程，这个问题是可以缓解的。
但OpenAI急于尽快推出模型，解决这个问题需要更多时间。
据报道，OpenAI的部分测试人员，只有不到一周的时间对即将推出的重要产品进行安全检查。
参考资料：
https ://www.interconnects.ai/p/openais-o3-over-optimization-is-back
https ://techcrunch.com/2025/04/18/openais-new-reasoning-ai-models-hallucinate-more/
阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”
https ://wx.zsxq.com/group/454854145828
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https ://wx.zsxq.com/group/454854145828进入。
截止到3月31日”未来知识库”精选的百部前沿科技趋势报告
（加入未来知识库，全部资料免费阅读和下载）
牛津未来研究院《将人工智能安全视为全球公共产品的影响、挑战与研究重点》
麦肯锡：超级智能机构：赋能人们释放人工智能的全部潜力
AAAI2025关于人工智能研究未来研究报告
斯坦福：2025斯坦福新兴技术评论：十项关键技术及其政策影响分析报告（191页）
壳牌：2025能源安全远景报告：能源与人工智能（57页）
盖洛普&牛津幸福研究中心：2025年世界幸福报告（260页）
Schwab：2025未来共生：以集体社会创新破解重大社会挑战研究报告（36页）
IMD：2024年全球数字竞争力排名报告：跨越数字鸿沟人才培养与数字法治是关键（214页）
DS系列专题：DeepSeek技术溯源及前沿探索，50页ppt
联合国人居署：2024全球城市负责任人工智能评估报告：利用AI构建以人为本的智慧城市（86页）
TechUK：2025全球复杂多变背景下的英国科技产业：战略韧性与增长路径研究报告（52页）
NAVEXGlobal：2024年十大风险与合规趋势报告（42页）
《具身物理交互在机器人-机器人及机器人-人协作中的应用》122页
2025-2035年人形机器人发展趋势报告53页
EvaluatePharma：2024年全球生物制药行业展望报告：增长驱动力分析（29页）
【AAAI2025教程】基础模型与具身智能体的交汇，350页ppt
Tracxn：2025全球飞行汽车行业市场研究报告（45页）
谷歌：2024人工智能短跑选手（AISprinters）：捕捉新兴市场AI经济机遇报告（39页）
【斯坦福博士论文】构建类人化具身智能体：从人类行为中学习
《基于传感器的机器学习车辆分类》最新170页
美国安全与新兴技术中心：2025CSET对美国人工智能行动计划的建议（18页）
罗兰贝格：2024人形机器人的崛起：从科幻到现实：如何参与潜在变革研究报告（11页）
兰德公司：2025从研究到现实：NHS的研究和创新是实现十年计划的关键报告（209页）
康桥汇世（CambridgeAssociates）：2025年全球经济展望报告（44页）
国际能源署：2025迈向核能新时代
麦肯锡：人工智能现状，组织如何重塑自身以获取价值
威立（Wiley）：2025全球科研人员人工智能研究报告（38页）
牛津经济研究院：2025TikTok对美国就业的量化影响研究报告：470万岗位（14页）
国际能源署（IEA）：能效2024研究报告（127页）
Workday：2025发挥人类潜能：人工智能（AI）技能革命研究报告（20页）
CertiK：Hack3D：2024年Web3.0安全报告（28页）
世界经济论坛：工业制造中的前沿技术：人工智能代理的崛起》报告
迈向推理时代：大型语言模型的长链推理研究综述
波士顿咨询：2025亚太地区生成式AI的崛起研究报告：从技术追赶者到全球领导者的跨越（15页）
安联（Allianz）：2025新势力崛起：全球芯片战争与半导体产业格局重构研究报告（33页）
IMT：2025具身智能（EmbodiedAI）概念、核心要素及未来进展：趋势与挑战研究报告（25页）
IEEE：2025具身智能（EmbodiedAI）综述：从模拟器到研究任务的调查分析报告（15页）
CCAV：2025当AI接管方向盘：自动驾驶场景下的人机交互认知重构、变革及对策研究报告（124页）
《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新132页
《面向科学发现的智能体人工智能：进展、挑战与未来方向综述》
全国机器人标准化技术委员会：人形机器人标准化白皮书（2024版）（96页）
美国国家科学委员会（NSB）：2024年研究与发展-美国趋势及国际比较（51页）
艾昆纬（IQVIA）：2025骨科手术机器人技术的崛起白皮书：创新及未来方向（17页）
NPL&Beauhurst：2025英国量子产业洞察报告：私人和公共投资的作用（25页）
IEAPVPS：2024光伏系统经济与技术关键绩效指标（KPI）使用最佳实践指南（65页）
AGI智能时代：2025让DeepSeek更有趣更有深度的思考研究分析报告（24页）
2025军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告（37页）
华为：2025鸿蒙生态应用开发白皮书（133页
《超级智能战略研究报告》
中美技术差距分析报告2025
欧洲量子产业联盟（QuIC）：2024年全球量子技术专利态势分析白皮书（34页）
美国能源部：2021超级高铁技术（Hyperloop）对电网和交通能源的影响研究报告（60页）
罗马大学：2025超级高铁（Hyperloop）：第五种新型交通方式-技术研发进展、优势及局限性研究报告（72页）
兰德公司：2025灾难性网络风险保险研究报告：市场趋势与政策选择（93页）
GTI：2024先进感知技术白皮书（36页）
AAAI：2025人工智能研究的未来报告：17大关键议题（88页）
安联Allianz2025新势力崛起全球芯片战争与半导体产业格局重构研究报告
威达信：2025全球洪水风险研究报告：现状、趋势及应对措施（22页）
兰德公司：迈向人工智能治理研究报告：2024EqualAI峰会洞察及建议（19页）
哈佛商业评论：2025人工智能时代下的现代软件开发实践报告（12页）
德安华：全球航空航天、国防及政府服务研究报告：2024年回顾及2025年展望（27页）
奥雅纳：2024塑造超级高铁（Hyperloop）的未来：监管如何推动发展与创新研究报告（28页）
HSOAC：2025美国新兴技术与风险评估报告：太空领域和关键基础设施（24页）
Dealroom：2025欧洲经济与科技创新发展态势、挑战及策略研究报告（76页）
《无人机辅助的天空地一体化网络：学习算法技术综述》
谷歌云（GoogleCloud）：2025年AI商业趋势白皮书（49页）
《新兴技术与风险分析：太空领域与关键基础设施》最新报告
150页！《DeepSeek大模型生态报告》
军事人工智能行业研究报告：技术奇点驱动应用加速智能化重塑现代战争形态-250309（40页）
真格基金：2024美国独角兽观察报告（56页）
璞跃（PlugandPlay）：2025未来商业研究报告：六大趋势分析（67页）
国际电工委员会（IEC）：2025智能水电技术与市场展望报告（90页）
RWS：2025智驭AI冲击波：人机协作的未来研究报告（39页）
国际电工委员会（IEC）：2025智能水电技术与市场展望报告（90页）
RWS：2025智驭AI冲击波：人机协作的未来研究报告（39页）
未来今日研究所2025年科技趋势报告第18版1000页
模拟真实世界：多模态生成模型的统一综述
中国信息协会低空经济分会：低空经济发展报告（2024-2025）（117页）
浙江大学：2025语言解码双生花：人类经验与AI算法的镜像之旅（42页）
人形机器人行业：由“外”到“内”智能革命-250306（51页）
大成：2025年全球人工智能趋势报告：关键法律问题（28页）
北京大学：2025年DeepSeek原理和落地应用报告（57页）
欧盟委员会人工智能与未来工作研究报告
加州大学伯克利分校：面向科学发现的多模态基础模型：在化学、材料和生物学中的应用
电子行业：从柔性传感到人形机器人触觉革命-250226（35页）
RT轨道交通：2024年中国城市轨道交通市场数据报告（188页）
FastMoss：2024年度TikTok生态发展白皮书（122页）
CheckPoint：2025年网络安全报告-主要威胁、新兴趋势和CISO建议（57页）
【AAAI2025教程】评估大型语言模型：挑战与方法，199页ppt
《21世纪美国的主导地位：核聚变》最新报告
沃尔特基金会（VoltaFoundation）：2024年全球电池行业年度报告（518页）
斯坦福：2025斯坦福新兴技术评论：十项关键技术及其政策影响分析报告（191页）
国际科学理事会：2025为人工智能做好国家研究生态系统的准备-2025年战略与进展报告（英文版）（118页）
光子盒：2025全球量子计算产业发展展望报告（184页）
奥纬论坛：2025塑造未来的城市研究报告：全球1500个城市的商业吸引力指数排名（124页）
FutureMatters：2024新兴技术与经济韧性：日本未来发展路径前瞻报告（17页）
《人类与人工智能协作的科学与艺术》284页博士论文
《论多智能体决策的复杂性：从博弈学习到部分监控》115页
《2025年技术展望》56页slides
大语言模型在多智能体自动驾驶系统中的应用：近期进展综述
【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用
皮尤研究中心：2024美国民众对气候变化及应对政策的态度调研报告：气候政策对美国经济影响的多元观点审视（28页）
空间计算行业深度：发展趋势、关键技术、行业应用及相关公司深度梳理-250224（33页）
Gartner：2025网络安全中的AI：明确战略方向研究报告（16页）
北京大学：2025年DeepSeek系列报告-提示词工程和落地场景（86页）
北京大学：2025年DeepSeek系列报告-DeepSeek与AIGC应用（99页）
CIC工信安全：2024全球人工智能立法的主要模式、各国实践及发展趋势研究报告（42页）
中科闻歌：2025年人工智能技术发展与应用探索报告（61页）
AGI智能时代：2025年Grok-3大模型：技术突破与未来展望报告（28页）
上下滑动查看更多
