一个超强的开源代码大模型,开源了,本地部署


一个超强的开源代码大模型,开源了,本地部署

仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接

大家好,我是Ai学习的老章

今天我们一起看看它最近开源的一个面向软件工程任务的代理型大语言模型——Devstral
Devstral擅长使用工具探索代码库、编辑多个文件并为软件工程代理提供支持。
该模型在SWE-bench上表现出色,使其成为此基准测试中排名第一的开源模型。
SWE-Bench是用于评估大语言模型(LLM)在真实软件开发环境中解决代码问题的基准测试工具,尤其在自动修复bug、代码生成等软件工程任务中具有权威性。‌‌
Devstral与在任何框架(包括为模型量身定制的框架)下评估的封闭和开放模型进行了比较,在多项指标上的表现明显优于一些封闭源代码的替代方案。例如,Devstral在某些方面超越了GPT-4. 1-mini20%。
很讨巧,没有跟大佬们比较,毕竟不是一个量级,不过在开源里算不错了
没有官方数据,貌似DeepSeek-R1-0528在SWE-benchVerified上得分是57. 6
SWE-benchVerified是OpenAI推出的SWE-bench的改进版本,包含500个经过验证的样本,是一个更精炼的子集。
我稍微查了一下当前最牛逼的模型应该是ClaudeOpus4和Sonnet4,它们在SWE-Bench上的分数是72. 5%和72. 7%。
官方介绍可以在单个RTX4090或具有32GB内存的Mac上运行
可能指的是量化版吧
我看了一下Ollama,4Bit精度量化模型文件只有14GB
它部署很简单,不做介绍了ollamarundevstral即可
下面介绍的是其fp16精度版,模型文件47GB的样子
47GB的模型,2张4090估计不够用
直接4卡启动
启动成功之后就可以把api接入chatbot或ide中使用了
测试情况,后续更新
其实是我的卡不够用了,目前在跑的Qwen3:32B和DeepSeek-R1-0528-Qwen3-8B都正在用,等空闲了再测试吧。
制作不易,如果这篇文章觉得对你有用,可否点个关注。给我个三连击:点赞、转发和在看。若可以再给我加个🌟,谢谢你看我的文章,我们下篇再见!
搭建完美的写作环境:工具篇(12章)图解机器学习-中文版(72张PNG)ChatGPT、大模型系列研究报告(50个PDF)108页PDF小册子:搭建机器学习开发环境及Python基础116页PDF小册子:机器学习中的概率论、统计学、线性代数史上最全!371张速查表,涵盖AI、ChatGPT、Python、R、深度学习、机器学习等


文章作者: ZejunCao
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 ZejunCao !
  目录