刚刚,华为开源了2个盘古大模型,百度开源了23个ERNIE 4.5 大模型
仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接
大家好,我是Ai学习的老章
看两个大模型世界的新闻
1是华为正式开源了上个月就公布的盘古大模型
2是百度开源了23个不同尺寸(0. 3B-300B)和不同用途(文本生成、推理和多模态)的ERNIE4. 5大模型
开源链接:https ://gitcode. com/ascend-tribe
1是昇腾原生的分组混合专家模型–盘古ProMoe-72B:https ://gitcode. com/ascend-tribe/pangu-pro-moe
2是昇腾高性能Moe模型推理系统:https ://gitcode. com/ascend-tribe/ascend-inference-system
3是灵活切换快慢思考的高效7B模型–盘古7BEmbedded:https ://gitcode. com/ascend-tribe/pangu-embedded
不是很敢做评价,单看华为技术文件给出的测评,貌似是很能打
总结一句话:昇腾NPU完全支持盘古ProMoE的大规模并行训练。多个公开基准测试结果表明,盘古ProMoE在千亿参数以下量级模型中处于领先地位。
总之,遥遥领先就完事儿了
话说,现在很多公司,除了头部各大互联网公司还有渠道可以大规模搞到英伟达GPU,很多央国企、中小公司只能选择华为。
华为也是照这硬件、推理引擎、大模型我全都要打路子在走,完全与老美不沾边,甚至连模型文件都只在gitcode发,技术文件都有中文版。各互联网大厂发布大模型多是在huggingface,技术文件也都只有英文。
我所在公司抓着尾巴搞了几台H20,明年再新采购算力服务器,大概率也要、也只能选华为了
后续我也准备好好学习一下华为的整套大模型技术栈,后面会陆续分享✊
大家是不是把大模型全村的希望、起个大早赶个晚集的百度忘记了?
老章一致打趣李总曾发表的雷人言论,这一次不能再打趣了
它信守承诺了,日期分毫不差
文心大模型4. 5系列模型,涵盖47B、3B激活参数的混合专家(MoE)模型,与0. 3B参数的稠密型模型等10款模型,并实现预训练权重和推理代码的完全开源。
感觉国产大模型除了DeepSeek和阿里(DeepSeek也识货,蒸馏都选Qwen3),很难见到其他可以扑出水花的模型了,像腾讯、kimi、minimax、字节最近开源的模型,都没什么热度。
百度这些,我暂未产生兴趣。也可能实力不够,它旗舰模型ERNIE-4. 5-300B-A47B跑起来需要16张80GB显存的GPU,搞不动。
最后再推荐一个我正在学习的课程
制作不易,如果这篇文章觉得对你有用,可否点个关注。给我个三连击:点赞、转发和在看。若可以再给我加个🌟,谢谢你看我的文章,我们下篇再见!
搭建完美的写作环境:工具篇(12章)图解机器学习-中文版(72张PNG)ChatGPT、大模型系列研究报告(50个PDF)108页PDF小册子:搭建机器学习开发环境及Python基础116页PDF小册子:机器学习中的概率论、统计学、线性代数史上最全!371张速查表,涵盖AI、ChatGPT、Python、R、深度学习、机器学习等