华为开源大模型,国外网友的讨论,很理性,很友好


华为开源大模型,国外网友的讨论,很理性,很友好

仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接

大家好,我是Ai学习的老章
前两天华为和百度双双放出大模型:刚刚,华为开源了2个盘古大模型,百度开源了23个ERNIE4. 5大模型
刚在外面红迪刷帖子,看到国外网友对这个模型也很感兴趣
不同于。。。,外面的讨论非常友好,没有傻逼
以下是我用ChatGPT对这个帖子的整理与翻译总结:
这是第一个完全基于华为芯片训练的大模型,真不错。希望未来能看到更多类似项目。硬件领域的竞争越多越好,现在已经不仅仅是模型的竞争了,芯片平台也卷起来了。
这个模型在GPQA等benchmark上得分可以和Qwen332B相媲美,在DeepSeekR1的老版本附近。它是MoE架构,在推理时只激活大约16. 5B参数。这种设计在效率上是非常实用的,也证明它不是为了参数数量堆砌,而是真的追求在有限资源下的性能最优。
对于本地运行来说,这种大小刚刚好。70Bdense模型通常太慢,32Bdense模型则经常让显存闲置,尤其是你有48GB显存、用4-bit量化的时候。这种MoE架构可以在不牺牲质量的前提下大幅提高推理速度,是对现有模型部署方式的有益补充。
没有什么叫“显存浪费”这种说法。即使权重占不了全部显存,剩下的空间也能用来放KV缓存、激活值,或者运行多个实例、多个上下文。MoE模型要么激活参数更少,要么任务表现得更强,否则无法取代32Bdense模型。
就我使用经验而言,对于MoE模型来说,“聪明程度”主要和激活参数数量有关。我曾经跑过Qwen3235BA22B,它反而比Qwen332B更笨。而像Deepseek671B这样的模型有37B激活参数,表现就明显聪明得多。所以MoE模型不是参数越多越好,关键还是每次推理中用到的专家数量。
这个模型的架构高度定制,现在连企业级Nvidia显卡都跑不了。llama. cpp也不太可能支持它,因为目前开源社区恐怕还没有足够的兴趣去适配这么一个依赖特定硬件的平台。
华为发布这个模型的目的显然不是让大家都能立刻运行,而是向世界展示他们能用自家芯片训练高质量模型。这可能也会引导更多中国AI实验室去尝试使用昇腾芯片。一旦形成生态闭环,那才是这个项目真正的“威力”所在。
这模型确实是专为华为芯片打造的,文中就明确写了是针对Ascend300IDuo和800IA2优化的。它虽然不像英伟达模型那样强绑定架构,但也明确是围绕他们自家平台的优劣设计的。比如为什么搞个70B的MoE而不是更小的dense?答案就在于他们的产品显存是48GB、带宽400GBps,而像3090显卡则是24GB、带宽1000GBps。所以他们选择了减少激活参数以减轻带宽压力。这种设计对他们的B60显卡特别合适——虽然这些卡目前还不便宜,但显然是为这类模型量身定制的。
这个协议不是Apache也不是MIT,我挺失望的。看起来像是那种“欧洲限制协议”,其他地区都能用,只有欧洲用户需要“面壁思过”。虽然我不是律师,但在手机上读下来就是这个感觉。
这其实跟BSD四条款协议很像,只不过多了一个欧盟禁令和免责条款。虽然不算最糟,但对于想在欧洲使用的人来说,限制还是挺明显的。
这本来应该是个轰动新闻,但主流财经媒体一个都没提。美国AI行业的一大垄断领域——训练能力——现在可能面临真正的威胁了。
之前华为就发表过一篇论文,说他们用自家芯片训练出了PanguUltra718B。这不仅仅是模型进展,更是产业信号:DeepSeek证明了可以用Nvidia训练出好模型,而PanguUltra则证明了可以不靠Nvidia也能训练出同样好的模型。现在业内都知道这事了,接下来可能就是CTO把论文发给老板,老板说:买点昇腾回来看看吧。
评论立场
数量估计
特征关键词
积极支持
~30条
“独立”、“国产”、“震撼”、“技术栈”
中性或理性分析
~25条
“benchmark”、“Qwen”、“期待更多细节”
怀疑或负面
~15条
“没测试”、“生态不成熟”、“运行困难”
战略层面看法
~8条
“脱钩”、“自主可控”、“战略意义”
制作不易,如果这篇文章觉得对你有用,可否点个关注。给我个三连击:点赞、转发和在看。若可以再给我加个🌟,谢谢你看我的文章,我们下篇再见!
搭建完美的写作环境:工具篇(12章)图解机器学习-中文版(72张PNG)ChatGPT、大模型系列研究报告(50个PDF)108页PDF小册子:搭建机器学习开发环境及Python基础116页PDF小册子:机器学习中的概率论、统计学、线性代数史上最全!371张速查表,涵盖AI、ChatGPT、Python、R、深度学习、机器学习等


文章作者: ZejunCao
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 ZejunCao !
  目录