阿里Qwen3 全部情报汇总,本地部署指南,性能全面超越 DeepSeek R1


阿里Qwen3 全部情报汇总,本地部署指南,性能全面超越 DeepSeek R1

仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接

大家好,我是Ai学习的老章
DeepSeek-R2倒计时?或将由华为芯片驱动R2还没落地,Qwen3来了
技术细节大家可以看看Qwen技术博客,建议点开看看,干货很多:https ://qwenlm.github.io/blog/qwen3/
8个不同尺寸的模型,照顾到了所有场景:
6款Dense模型:
0.6B、1.7B、4B、8B、14B、32B
2款MoE模型:
Qwen3-235B-A22B(MoE,总大小235B,激活参数22B,上下文128K)
Qwen3-30B-A3B(MoE,总大小30B,激活参数3B,上下文128K)
混合思维模式,搭载了thinking开关,可以直接手动控制要不要开启thinking
最大的这个Qwen3-235B-A22B在强劲性能的基础上,部署成本仅为DeepseekR1的35%。
Qwen3-30B-A3B的激活参数只有3B,性能却可以跟QWQ-32B打平,成本只有10%,可以在消费级显卡上部署。
0.6B的小参数模型适合在移动设备上部署。
在性能上Qwen3的每个尺寸得分都是同尺寸开源最强。
Qwen3-235B-A22B在代码、数学、通用能力等基准测试中,与DeepSeek-R1、o1、o3-mini、Grok-3和Gemini-2.5-Pro相比,表现出极具竞争力的结果。
此外,小型MoE模型Qwen3-30B-A3B的激活参数数量是QwQ-32B的10%,表现更胜一筹
正如博客所说,Qwen朋友圈非常强大,昨晚已发布,一众伙伴就0day级支持
你可以在Qwen官网直接与Qwen3v不同参数模型直接对话:https ://chat.qwen.ai/
模型页:https ://ollama.com/library/qwen3
运行:ollamarunqwen3
其他尺寸,在后面加参数即可,比如:ollamarunqwen3:32b
可以在提示词后输入/no_think来切换Ollama中的无思考模式。
备注⚠️:ollama运行的是量化版,效果有折扣
地址:https ://lmstudio.ai/
需要升级到v0.8.4以上,最好v0.8.5
地址:https ://github.com/vllm-project/vllm/issues/17327
需要升级到SGLang0.4.6.post1
地址:https ://github.com/sgl-project/sglang
可以用llama.cpp运行起Qwen3量化版本、动态量化版本!
地址:https ://huggingface.co/collections/unsloth/qwen3-680edabfb790c8c34a242f95
openrouter提供了免费的API
地址:https ://openrouter.ai/models?order=newest&q=qwen3
Xeon铂金4代+4090运行Qwen3-235B-A22B单个请求可以达到13.8token/s,4个请求并行可以达到总计24.4token/s
地址:http ://github.com/kvcache-ai/ktransformers/blob/main/doc/en/AMX.md
Mac上也可以跑Qwen3了
地址:https ://github.com/ml-explore/mlx-lm/commit/5c2c18d6a3ea5f62c5b6ae7dda5cd9db9e8dab16
支持设备
iPhone:0.6B,4B
Macbook:8B,30B,3B/30BMoE
M2,M3Ultra:22B/235BMoE
Qwen3优点还有很多,我正在下载,随后再发本地部署后的测试情况:
Qwen3是全球最强开源模型,性能全面超越DeepSeekR1,国内第一个敢说全面超越R1的模型,之前都是比肩
Qwen3是国内首个混合推理模型,复杂答案深度思考,简单答案直接秒回,自动切换,提升智力+节省算力双向奔赴
模型部署要求大幅降低,旗舰模型仅需4张H20就能本地部署,部署成本估算下来是能比R1下降超6成
Agent能力大幅提升,原生支持MCP协议,提升了代码能力,国内的Agent工具都在等它
支持119种语言和方言,包括爪哇语、海地语等地方性语言,全世界都可以用上AI
训练数据36万亿token,相比Qwen2.5直接翻倍,不仅从网络抓取内容,还大量提取PDF的内容、大量合成代码片段
模型部署要求大幅降低,旗舰模型仅需4张H20就能本地部署,是R1的三分之一
了解更多:GitHub[1]HuggingFace[2]ModelScope[3]Kaggle[4]DEMO[5]
制作不易,如果这篇文章觉得对你有用,可否点个关注。给我个三连击:点赞、转发和在看。若可以再给我加个🌟,谢谢你看我的文章,我们下篇再见!
搭建完美的写作环境:工具篇(12章)图解机器学习-中文版(72张PNG)ChatGPT、大模型系列研究报告(50个PDF)108页PDF小册子:搭建机器学习开发环境及Python基础116页PDF小册子:机器学习中的概率论、统计学、线性代数史上最全!371张速查表,涵盖AI、ChatGPT、Python、R、深度学习、机器学习等
参考资料
GitHub:https ://github.com/QwenLM/Qwen3
HuggingFace:https ://huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f
ModelScope:https ://modelscope.cn/collections/Qwen3-9743180bdc6b48
Kaggle:https ://www.kaggle.com/models/qwen-lm/qwen-3
DEMO:https ://huggingface.co/spaces/Qwen/Qwen3-Demo


文章作者: ZejunCao
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 ZejunCao !
  目录