超越GPT-4o！华人团队新框架让Qwen跨领域推理提升10%，刷新12项基准测试
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
一项新的强化学习方法，直接让Qwen性能大增，GPT-4o被赶超！
来自加拿大滑铁卢大学与TikTok新加坡，M-A-P的华人团队提出了一种全新训练框架：General-Reasoner。
结果直接让Qwen系列大模型的跨领域推理准确率提升近10%，在多个基准测试中甚至超越GPT-4o。
上图显示出General-Reasoner在多项跨领域评测中显著提升基础模型推理能力。
当前，强化学习（RL）被视为提升模型推理能力的关键手段。其中，Zero-RL方法通过直接训练基础模型，已在数学和编程等结构化任务上展现出强大效果。
问题是，这些方法往往局限于数据丰富、答案结构清晰的领域，在面对物理、金融或人文社科等更广泛的领域时，模型难以有效泛化。
接下来看看研究团队是如何解决这些推理难题的？
目前的Zero-RL框架如SimpleRL通常聚焦于单一领域数据，采用简单的规则式答案验证，存在以下不足：
多为数学竞赛或代码任务，泛化能力有限；
仅能识别明确结构化答案，无法灵活处理多样化的答案表述。
针对这些问题，General-Reasoner提出两个核心创新：
通过大规模网络爬取与严格筛选，创建了覆盖物理、化学、金融等多个领域约23万个高质量、可验证的推理问题。
为了支持更广泛的跨领域推理能力，研究团队构建了一个大规模、多样且高质量的可验证推理任务数据集。
数据最初来源于WebInstruct，其中包含约500万个从StackExchange和教育门户网站爬取的自然指令。这些数据虽然适用于一般的指令调优，但大部分缺乏可验证答案或推理结构。
研究人员追溯数据源网页提取问题-答案对，并剔除没有明确人类答案的问题以确保质量。
随后利用Gemini-1. 5-Pro识别具有简洁答案的可验证问题，获得100万个候选问题。再通过Gemini-2. 0-Flash进行元数据标注，并适当减少简单的数学问题以保持数据平衡。
进一步质量筛选时，研究人员使用Gemini-2. 0-Flash生成8个候选答案：
剔除所有8个候选答案均错误的问题（模糊或噪声）；
剔除所有8个候选答案均正确的问题（过于简单）。
最终的高质量示例用于训练此框架的模型验证器。
生成的数据集涵盖约23万道具有不同答案格式和主题的推理问题。
上图为WebInstruct-Verified数据生成过程以及最终答案种类和学科种类的分布
以仅有1. 5B参数的小型生成式模型，取代传统规则式验证，大幅提高了不同领域答案的验证准确率。
传统的规则式验证器通常依赖严格匹配或符号比较进行答案判定，虽然适合数学任务，但在更广泛的推理领域存在明显不足，如匹配规则僵化，缺乏语义理解，难以适应复杂领域。
为克服这些局限，研究人员开发了一个紧凑的生成式模型验证器（General-Verifier）。此模型以仅1. 5B参数，通过团队自建的数据集从Qwen2. 5-Math-1. 5B模型微调而成。
General-Verifier接收问题、标准答案和模型生成的答案后，生成一个推理过程，随后输出一个二元（对/错）判定结果，为强化学习提供准确且可解释的反馈信号。
实测显示，这种新型验证器与Gemini-2. 0-Flash高度一致，并显著超越传统规则式方法，具有更高的鲁棒性与泛化能力。
团队以Qwen2. 5/Qwen3系列模型（4B/7B/14B）为基础，进行了包括MMLU-Pro、GPQA、SuperGPQA、TheoremQA等12个基准测试，结果表明：
在数学推理任务中，表现略优于专业的数学强化学习框架SimpleRL；
上表为General-Reasoner与基准方法在MMLU-Pro，GPQA，SuperGPQA，TheoremQA和BBEH测试集上的详细比较。
研究团队表示，将继续优化模型性能，扩展更多领域的高质量推理数据，并持续提升验证器鲁棒性，推动大语言模型在更复杂现实任务中的广泛应用。
相关论文与项目资源已公开发布，感兴趣的读者可进一步探索。
论文链接：https ://arxiv. org/abs/2505. 14652资源链接：https ://tiger-ai-lab. github.io/General-Reasoner/
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
—完—
🌟点亮星标🌟
科技前沿进展每日见
