Qwen3震撼发布，235B超越 DeepSeek-R1、o3-mini，可开关快慢思考
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
今天，我们宣布推出Qwen3，这是Qwen系列大型语言模型的最新成员。我们的旗舰模型Qwen3-235B-A22B在代码、数学、通用能力等基准测试中，与DeepSeek-R1、o1、o3-mini、Grok-3和Gemini-2.5-Pro等顶级模型相比，表现出极具竞争力的结果。此外，小型MoE模型Qwen3-30B-A3B的激活参数数量是QwQ-32B的10%，表现更胜一筹，甚至像Qwen3-4B这样的小模型也能匹敌Qwen2.5-72B-Instruct的性能。
我们开源了两个MoE模型的权重：Qwen3-235B-A22B，一个拥有2350多亿总参数和220多亿激活参数的大模型，以及Qwen3-30B-A3B，一个拥有约300亿总参数和30亿激活参数的小型MoE模型。此外，六个Dense模型也已开源，包括Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B和Qwen3-0.6B，均在Apache2.0许可下开源。
我们相信，Qwen3的发布和开源将极大地推动大型基础模型的研究与开发。我们的目标是为全球的研究人员、开发者和组织赋能，帮助他们利用这些前沿模型构建创新解决方案。
欢迎在QwenChat网页版(chat.qwen.ai)和手机APP中试用Qwen3！
Qwen3模型支持两种思考模式：
思考模式：在这种模式下，模型会逐步推理，经过深思熟虑后给出最终答案。这种方法非常适合需要深入思考的复杂问题。非思考模式：在此模式中，模型提供快速、近乎即时的响应，适用于那些对速度要求高于深度的简单问题。
这种灵活性使用户能够根据具体任务控制模型进行“思考”的程度。例如，复杂的问题可以通过扩展推理步骤来解决，而简单的问题则可以直接快速作答，无需延迟。至关重要的是，这两种模式的结合大大增强了模型实现稳定且高效的“思考预算”控制能力。如上文所述，Qwen3展现出可扩展且平滑的性能提升，这与分配的计算推理预算直接相关。这样的设计让用户能够更轻松地为不同任务配置特定的预算，在成本效益和推理质量之间实现更优的平衡。
Qwen3模型支持119种语言和方言。这一广泛的多语言能力为国际应用开辟了新的可能性，让全球用户都能受益于这些模型的强大功能。
语系 语种&方言印欧语系 英语、法语、葡萄牙语、德语、罗马尼亚语、瑞典语、丹麦语、保加利亚语、俄语、捷克语、希腊语、乌克兰语、西班牙语、荷兰语、斯洛伐克语、克罗地亚语、波兰语、立陶宛语、挪威语（博克马尔语）、挪威尼诺斯克语、波斯语、斯洛文尼亚语、古吉拉特语、拉脱维亚语、意大利语、奥克语、尼泊尔语、马拉地语、白俄罗斯语、塞尔维亚语、卢森堡语、威尼斯语、阿萨姆语、威尔士语、西里西亚语、阿斯图里亚语、恰蒂斯加尔语、阿瓦德语、迈蒂利语、博杰普尔语、信德语、爱尔兰语、法罗语、印地语、旁遮普语、孟加拉语、奥里雅语、塔吉克语、东意第绪语、伦巴第语、利古里亚语、西西里语、弗留利语、撒丁岛语、加利西亚语、加泰罗尼亚语、冰岛语、托斯克语、阿尔巴尼亚语、林堡语、罗马尼亚语、达里语、南非荷兰语、马其顿语僧伽罗语、乌尔都语、马加希语、波斯尼亚语、亚美尼亚语汉藏语系 中文（简体中文、繁体中文、粤语）、缅甸语亚非语系 阿拉伯语（标准语、内志语、黎凡特语、埃及语、摩洛哥语、美索不达米亚语、塔伊兹-阿德尼语、突尼斯语）、希伯来语、马耳他语南岛语系 印度尼西亚语、马来语、他加禄语、宿务语、爪哇语、巽他语、米南加保语、巴厘岛语、班加语、邦阿西楠语、伊洛科语、瓦雷语（菲律宾）德拉威语 泰米尔语、泰卢固语、卡纳达语、马拉雅拉姆语突厥语系 土耳其语、北阿塞拜疆语、北乌兹别克语、哈萨克语、巴什基尔语、鞑靼语壮侗语系 泰语、老挝语乌拉尔语系 芬兰语、爱沙尼亚语、匈牙利语南亚语系 越南语、高棉语其他 日语、韩语、格鲁吉亚语、巴斯克语、海地语、帕皮阿门托语、卡布维尔迪亚努语、托克皮辛语、斯瓦希里语增强的Agent能力我们优化了Qwen3模型的Agent和代码能力，同时也加强了对MCP的支持。下面我们将提供一些示例，展示Qwen3是如何思考并与环境进行交互的。
在预训练方面，Qwen3的数据集相比Qwen2.5有了显著扩展。Qwen2.5是在18万亿个token上进行预训练的，而Qwen3使用的数据量几乎是其两倍，达到了约36万亿个token，涵盖了119种语言和方言。为了构建这个庞大的数据集，我们不仅从网络上收集数据，还从PDF文档中提取信息。我们使用Qwen2.5-VL从这些文档中提取文本，并用Qwen2.5改进提取内容的质量。为了增加数学和代码数据的数量，我们利用Qwen2.5-Math和Qwen2.5-Coder这两个数学和代码领域的专家模型合成数据，合成了包括教科书、问答对以及代码片段等多种形式的数据。
预训练过程分为三个阶段。在第一阶段（S1），模型在超过30万亿个token上进行了预训练，上下文长度为4Ktoken。这一阶段为模型提供了基本的语言技能和通用知识。在第二阶段（S2），我们通过增加知识密集型数据（如STEM、编程和推理任务）的比例来改进数据集，随后模型又在额外的5万亿个token上进行了预训练。在最后阶段，我们使用高质量的长上下文数据将上下文长度扩展到32Ktoken，确保模型能够有效地处理更长的输入。
由于模型架构的改进、训练数据的增加以及更有效的训练方法，Qwen3Dense基础模型的整体性能与参数更多的Qwen2.5基础模型相当。例如，Qwen3-1.7B/4B/8B/14B/32B-Base分别与Qwen2.5-3B/7B/14B/32B/72B-Base表现相当。特别是在STEM、编码和推理等领域，Qwen3Dense基础模型的表现甚至超过了更大规模的Qwen2.5模型。对于Qwen3MoE基础模型，它们在仅使用10%激活参数的情况下达到了与Qwen2.5Dense基础模型相似的性能。这带来了训练和推理成本的显著节省。
为了开发能够同时具备思考推理和快速响应能力的混合模型，我们实施了一个四阶段的训练流程。该流程包括：（1）长思维链冷启动，（2）长思维链强化学习，（3）思维模式融合，以及（4）通用强化学习。
在第一阶段，我们使用多样的的长思维链数据对模型进行了微调，涵盖了数学、代码、逻辑推理和STEM问题等多种任务和领域。这一过程旨在为模型配备基本的推理能力。第二阶段的重点是大规模强化学习，利用基于规则的奖励来增强模型的探索和钻研能力。
在第三阶段，我们在一份包括长思维链数据和常用的指令微调数据的组合数据上对模型进行微调，将非思考模式整合到思考模型中。确保了推理和快速响应能力的无缝结合。最后，在第四阶段，我们在包括指令遵循、格式遵循和Agent能力等在内的20多个通用领域的任务上应用了强化学习，以进一步增强模型的通用能力并纠正不良行为。
以下是如何在不同框架中使用Qwen3的简单指南。首先，我们提供了一个在HuggingFacetransformers中使用Qwen3-30B-A3B的标准示例：
要禁用思考模式，只需对参数enable_thinking进行如下修改：
对于部署，您可以使用sglang>=0.4.6.post1或vllm>=0.8.4来创建一个与OpenAIAPI兼容的APIendpoint：
SGLang:
vLLM:
要禁用思考模式，您可以移除参数–reasoning-parser（以及–enable-reasoning）。
我们提供了一种软切换机制，允许用户在enable_thinking=True时动态控制模型的行为。具体来说，您可以在用户提示或系统消息中添加/think和/no_think来逐轮切换模型的思考模式。在多轮对话中，模型会遵循最近的指令。
以下是一个多轮对话的示例：
要定义可用的工具，您可以使用MCP配置文件，使用Qwen-Agent内置的工具，或者自行集成其他工具。
感谢众多朋友一直以来对Qwen的鼎力支持！我们欢迎更多新朋友加入我们的社区，帮助我们变得更好！
Qwen3代表了我们在通往通用人工智能（AGI）和超级人工智能（ASI）旅程中的一个重要里程碑。通过扩大预训练和强化学习的规模，我们实现了更高层次的智能。我们无缝集成了思考模式与非思考模式，为用户提供了灵活控制思考预算的能力。此外，我们还扩展了对多种语言的支持，帮助全球更多用户。
展望未来，我们计划从多个维度提升我们的模型。这包括优化模型架构和训练方法，以实现几个关键目标：扩展数据规模、增加模型大小、延长上下文长度、拓宽模态范围，并利用环境反馈推进强化学习以进行长周期推理。我们认为，我们正从专注于训练模型的时代过渡到以训练Agent为中心的时代。我们的下一代迭代将为大家的工作和生活带来有意义的进步。
