刚刚!华为首个开源大模型发布!


刚刚!华为首个开源大模型发布!

仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接

刚刚,华为正式宣布开源盘古70亿参数的稠密模型、盘古ProMoE720亿参数的混合专家模型和基于昇腾的模型推理技术。
🤯盘古Embedded7B模型:
•参数规模为70亿
•采用双系统框架,具备「快思考」和「慢思考」能力
•模型具备元认知能力,可根据任务复杂度自动切换推理模式
•专为在昇腾NPU上优化部署,兼顾推理速度与推理深度
•在AIME、GPQA等复杂推理基准测试中,超越Qwen3-8B、GLM4-9B等同量级模型
🔋盘古ProMoE72B模型:
•基于分组混合专家(MoGE)架构
•总参数量720亿,激活参数量160亿
•通过专家分组和组内均衡激活,解决专家负载不均,提高部署效率
•针对昇腾硬件深度优化,推理速度高效(最高单卡1528tokens/s)
•性能优于同规模稠密模型,在多项公开基准测试中处于领先地位
•支持大规模并行训练,具备高性价比推理方案
截至发稿前,盘古ProMoE72B模型权重、基础推理代码,已正式上线开源平台。基于昇腾的超大规模MoE模型推理代码,已正式上线开源平台。
此外,盘古7B相关模型权重与推理代码将于近期上线开源平台。华为官方表示将诚邀全球开发者、企业伙伴及研究人员下载使用,反馈使用意见,共同完善。
附上访问地址:https ://gitcode. com/ascend-tribe


文章作者: ZejunCao
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 ZejunCao !
  目录