仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接
跟百度的哥们讨论到最近的一些大模型进展,我问他最近有什么新进展,各大厂商的大模型卷的如火如荼,要是跟不上大家可就说不过去了。
哥们意味深长地看着我,仿佛在问:你是认真的吗?
随即,他告诉我一个的消息:他们的文心大模型4. 5系列已经正式开源!
好吧。我2G网速了。也突然想起来,百度在2月的时候预告过开源了。现在如期开源。
这次开源系列,有啥新亮点?我赶紧去上网看新闻补了下课。
这次4. 5系列一共开源了10款模型,既有MOE结构,也有稠密模型,参数也很丰富,从0. 3B到424B。
文心大模型4. 5的开源维度和其他的大模型相比也毫不逊色。在独立自研模型数量占比、模型类型数量、参数丰富度、开源宽松度与可靠性等关键维度上,都称得上全球领先。
最吸引我的是性能表现。根据权威大模型评测结果,文心4. 5系列模型性能优异,在多个基准测试中表现超过DeepSeek-V3、闭源的OpenAI-o1等模型。
值得一提的是,不少海外具有一定影响力的开发者、泛科技博主主动关注此次开源,其中包括HuggingFaceCEOClemDelangue,在文心4. 5系列刚上线HuggingFace时,他就发贴关注到了。
不少海外技术博主提到,百度一次性开源10个模型令人印象深刻;是DeepSeek以来中国最大的开源模型发布;文心的基准测试展现出很强的模型技术能力。
HuggingFace的LLM工程师称开源新模型令人印象深刻,可与Qwen3/DeepSeekV3最新版竞争
HuggingFace工程师发帖称,根据技术报告,开源的文心大模型4. 5系列,预训练和后训练模型均表现优异;
AI工程师RohanPaul也称赞百度文心4. 5系列,在28项基准测试中,有22项成绩超过了DeepSeek-V3-671B-A37B-Base,展现了强大的竞争力。
接下来从技术上解读一下文心大模型4. 5的亮点:
1、多模态异构MoE预训练:文心4. 5通过多模态混合专家(MoE)模型的预训练,实现了文本与视觉信文心4. 5通过多模态混合专家(MoE)模型的预训练,实现了对文本和视觉信息的深度融合,在文本生成、图像理解和多模态推理等任务中展现出更强的能力。该模型采用了一种多模态异构混合专家架构,并结合多维旋转位置编码。在训练过程中,通过增强不同专家之间的正交性、平衡优化不同模态的词元,有效促进了两种模态的协同学习与相互提升。
2、可扩展、高效的基础设施:为了支持文心4. 5的高效训练,研发团队提出了异构混合并行与多层级负载均衡策略。该方案集成了节点内专家并行、显存友好的流水线调度、FP8混合精度训练和细粒度重计算等多项技术,大幅提升了预训练吞吐性能。在推理阶段,文心4. 5采用多专家并行协同量化与卷积编码量化技术,实现了接近无损的4-bit和2-bit量化效果。同时,通过动态角色转换的预填充和解码分离部署,更高效地利用计算资源,显著提升了推理性能。依托飞桨框架,文心4. 5在多种硬件平台上均表现出卓越的推理表现。
3、针对特定模态的后训练:针对不同应用场景,文心4. 5在预训练基础上进行了模态专向精调。大语言模型聚焦于通用语言理解与生成,多模态大模型则侧重于视觉语言理解,支持思考与非思考模式。后训练阶段结合了SFT、DPO和统一偏好优化(UPO)等多阶段方法,以进一步增强模型能力和适用性。
在视觉-语言模型的微调阶段,视觉与语言的深度融合对模型在理解、推理和生成等复杂任务中的表现起着决定性的作用。为了提升模型在多模态任务上的泛化能力和适应性,研究人员围绕图像理解、任务定向微调和多模态思路推理三大核心能力,进行了系统性的数据构建和训练策略优化。此外,其利用可验证奖励强化学习(RLVR)进一步提升模型对齐和性能。
既然都开源了,那还等啥,赶紧去文心一言试试它最新的开源能力吧!
Prompt:假如一辆车以60公里/小时的速度行驶,从A地到B地用了3小时。如果车速提高到90公里/小时,从A到B需要多长时间?请给出详细推理过程。
结果:简单的数学问题,回答正确。
Prompt:你只准备了五杯水,来了一亿个领导
结果:还是比较成熟有逻辑的答案。
Prompt:一斤五百克,老板大气呀
结果:基本理解了这个笑话。
这些足以证明文心4. 5大模型的能力
近年来,以百度为代表的国产大模型发展动作频频,令全球AI格局发生深刻变化,OpenAI面临前所未有的挑战。百度最新开源的文心4. 5系列,或将成为全球人工智能竞赛的重要转折点。
CNBC还在报道中写道:
中国搜索巨头百度表示于6月30日开源其文心大模型4. 5系列,这将对OpenAI、Anthropic及其中国竞争对手DeepSeek构成威胁。
这不仅仅是一个中国故事,也是全球人工智能竞赛的重要时刻。每当一个主要实验室开源一个强大的模型,都会提高整个行业的标准、南加州大学计算机科学副教授、三星年度人工智能研究员肖恩-任(SeanRen)说。
事实上,OpenAI在今年以来的态度转变尤为明显。早在1月,OpenAI内部就开始反思过去对开源的保守态度,随后迅速调整策略,采取“开源+免费”的组合拳。4月,OpenAI宣布时隔6年再次推出开源大模型,免费开放了轻量版本DeepResearch,这些动作都显现出其应对中国玩家密集开源策略的紧迫感和战略调整。
当前,中美在AI大模型领域的竞争日益激烈,技术焦点逐渐转向多模态能力,产业生态则更强调开源与共享。以百度和DeepSeek为代表的中国AI企业正迎头赶上,不断强化全栈技术实力,力求在这场全球竞赛中占据优势。民族自豪感与国家战略意志交织,推动着“中国成为AI创新中心”的愿景愈发清晰:只有持续提升全链条技术能力,才能真正成为“最大的赢家”。
百度和DeepSeek的强势崛起,已经令美国科技巨头进入“战备状态”。在多模态技术和开源战略上不断发力的同时,美国企业也在加速步伐,缩小差距。可以说,全球AI竞争不仅是一场技术的比拼,更是一场全栈能力的较量。最近谷歌发布的顶级模型凭借优异的性价比获得关注,这背后正是其全栈优势的体现。而百度则早已走在这条路径上,文心系列模型的持续进化和性价比提升,正是中国AI厂商全栈实力不断增强的明证。文心4. 5系列的开源,堪比GPT和DeepSeek,成为国际舞台上的焦点,也展现了中国AI产业在全球竞赛中的竞争力和潜力。
中国AI企业正以坚实的技术积累和开放的生态策略,持续推动全球人工智能的发展格局。只有不断强化自主创新和全栈实力,中国才能真正把握未来AI时代的话语权,成为引领全球AI发展的核心力量。