仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接
以下文章来源于微信公众号:Datawhale
作者:张龙斐
链接:https ://mp.weixin.qq.com/s/Qj3vlhFrhYzILQCH50707g
本文仅用于学术分享,如有侵权,请联系后台作删文处理
导读
最近,阿里开源QwQ-32B,性能媲美DeepSeek-R1(671B),在代码、数学、逻辑推理上表现卓越,并支持FunctionCall。实测4090GPU占用不足18GB,高效本地运行,推动推理模型向高性能、低成本发展。
近期,阿里开源了全新的推理模型:QwQ-32B。
据官方发布消息,该模型性能比肩满血版DeepSeek-R1(671B)!
可以看到在官方放出的评测图中,QwQ-32B与满血版DeepSeekR1(671B)在五项基准测试的得分不相上下,更是远超同尺寸R1蒸馏模型。
看到了这些消息后,我就开始上手深度测试。
QwQ-32B开源链接:
魔搭开源链接:https ://modelscope.cn/models/Qwen/QwQ-32B
huggingface开源链接:https ://huggingface.co/Qwen/QwQ-32B
在线体验地址:
https ://chat.qwen.ai/?models=Qwen2.5-Plus
本地部署:保姆级实战教程
我在AutoDL上租用一张4090,本地部署了一个QwQ-32B-AWQ量化版本。
写了个保姆级部署教程,因篇幅原因,大家可以按需查看~
教程地址:https ://datawhaler.feishu.cn/docx/Wz2NdqSx1oEZsuxB9zHcEQ20nNe
根据命令行打印的信息可以看到模型在一张4090GPU上完美运行。我给他测试了最近很火的问题:
9.11和9.9哪个更大?
推理一共花了21.39秒,结果如下所示:
实测下来,QwQ-32B-AWQ量化版本显存占用不到18GB,一张4090绰绰有余。而32B的QwQ,也是完美适配消费级硬件。
性能实测
在QwQ-32B的性能方面,我分了代码能力、数学能力和逻辑能力三个维度进行测评。
首先是代码能力,我让它“编写一个python脚本,显示一个球在旋转的六边形内部弹跳。球应该受到重力和摩擦的影响,并且必须真实地弹跳off转动的墙壁。”
可以看到,整个球体的弹跳和撞击特别真实,就连小球带动大框的效果都做出来了,很好的还原了真实的物理场景。
而Grok-3在这个问题上直接就炸了,小球直接自由落体。
然后我试了试它的数学能力。最近正好考研成绩出了,我就拿了两道数一的考研题进行了测试:
题目一:回答完全正确。
题目二:回答完全正确。
数学和代码作为QwQ-32B的主攻方向,确实是效果极佳。
最后的逻辑推理能力实测来自unlock-deepseek项目群。
有一道很有意思的题目:
下面我会给你一道数学单选题,请选出正确答案。题目信息如下:
下面说法正确的是().
A:跳远测距离,根据的是两点之间线段最短.
B:跳高杆不会掉落,是因为两点确定一条直线.
C:多条跑道找捷径,根据的是垂线段最短.
D:同一路口白色斑马线互相平行,是因为过直线外一点有且只有一条直线与已知直线平行.
这道题有多难呢,大家可以试试看,模型的思考过程真的特别精彩,上演了足足7分多钟的左右脑互搏。。
但是QwQ还是回答出了正确答案。
结合数学、代码、逻辑推理三个维度的实测,QwQ的实力还是挺强悍的,一点也不输几个主流的超大杯参数的推理模型。
Agent相关能力:FunctionCall
QwQ-32B中还集成了与Agent(智能体)相关的能力,支持函数调用。于是我也测试使用了一下,搭建了一个股票数据分析Agent:
成果展示:
支持FunctionCall不仅增强了模型的实际应用能力,还能使它能够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。
写在最后
总体来说,这次通义开源的QwQ-32B推理模型还是很不错的:
第一是32B小参数模型性能与超大参数的推理模型性能不相上下,做到了在保证性能的同时降低对计算资源的依赖,从而实现更加环保、可持续的AI技术发展;
第二是响应速度也是相当不错的,不会遇到服务器繁忙的情况;
第三是它支持functioncall功能,这一点对于模型开发来说有多重要就不必多说了。
如今,距离o1模型发布不过五个月,推理模型领域已经迎来了百花齐放的新局面。
犹记得前段时间大家还在全网寻找”满血版”DeepSeek-R1的使用渠道,转眼间就出现了小尺寸且性能强悍的QwQ-32B模型。这个量级在本地部署没太大压力,也可以在阿里云百炼平台调用QwQ的API进行开发。对于创业者、小型团队,或者想要做专业AI应用的公司而言,成本大大降低。
自2023年8月以来,通义千问累计开源了200多款模型。很低调,但在做实事,真正在推动大模型技术的普惠和应用的落地,促进国内大模型生态的繁荣。
向通义千问团队致敬。
欢迎加入《AI未来星球》,一起成长
扫描下方二维码即可加入~
你可以获得什么?
1、大白之前花费10W+购买,AI行业各场景私有数据集下载,星球内倾情分享;2、AI行业研发、产品、商业落地问题咨询(目前AI公司创业中),都可获高质量解答,有效期一年,无限次提问,有问必答。3、定期邀请AI行业各类嘉宾分享,创业/商业等方面的经验!
帮助你解决遇到的实际问题,升职加薪!
大家一起加油!