ArXiv 2025 | 北航等机构发布最新综述：大语言模型集成（LLM Ensemble）
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
作者|陈志珺、李京政等
论文摘要：LLMEnsemble（大语言模型集成）在近年来快速地获得了广泛关注。它指的是在下游任务推理阶段，综合考虑并利用多个大语言模型（每个模型都旨在处理用户查询），从而发挥它们各自的优势。大语言模型的广泛可得性，以及其开箱即用的特性和各个模型所具备的不同优势，极大地推动了LLMEnsemble领域的发展。本文系统性地回顾了LLMEnsemble领域的最新进展。首先，我们介绍了LLMEnsemble的分类法，并讨论了几个相关的研究问题。然后，我们把“推理前集成、推理中集成、推理后集成”这三大范式下的各种方法划分为七大类，并回顾了所有相关方法。最后，我们介绍了相关的基准测试集和典型应用，总结和分析了现有的研究成果，并提出了若干值得关注的未来研究方向。
论文题目：HarnessingMultipleLargeLanguageModels:ASurveyonLLMEnsemble
论文链接：https ://arxiv.org/abs/2502.18036
GitHub仓库：https ://github.com/junchenzhi/Awesome-LLM-Ensemble
近年来，人工智能领域的格局因大型语言模型（LLM）的飞速发展而发生了深刻变化，代表性的模型包括Gemini、GPT-4、Llama，以及最近推出的DeepSeek。这些LLM的成功持续激发着广泛的研究热情。目前，在HuggingFace平台上，可以访问的大语言模型数量已经超过了182,000个。然而，在这股研究热潮背后，我们可以观察到两个主要方面：
LLM的直接开箱即用能力（零样本推理）和间接开箱即用能力（基于In-ContextLearning的少样本推理）仍引发着人们在性能方面的担忧，如准确性不足、幻觉（Hallucinations）频发以及与人类意图不对齐等；
不同的LLM在擅长领域、推理成本与效率方面差异显著，这源于其在模型架构、参数量、分词策略、训练数据等方面的不同设计。面对同一个用户查询，不同模型的输出经常表现出较大差异（并且不同的模型常常伴随着不同的推理成本）。
考虑到上述两个方面，并借鉴集成学习的精神，我们自然地可以考虑一种解决问题的思路：对于每一个任务查询，与其持续依赖某个“基于公共排行榜或其他指标挑选出的”单一固定LLM，不如同时考虑多个可以开箱即用的LLM候选模型，以充分发挥它们的各自优势。实际上，这正是近年来新兴的LLMEnsemble领域所探索的内容。
现有的LLMEnsemble方法可以根据“LLM推理”和“集成”的先后顺序而分为三大范式：
推理前集成方法：在LLM执行推理前，利用给定的用户查询信息并结合各个LLM的不同特性，选择出最合适的模型以进行推理（此方法在本质上类似于集成学习中的硬投票策略）；
推理时集成方法：在大语言模型解码过程中（即在推理过程中），聚合来自多个LLM的不完整响应（例如，token级别的信息或者是固定2个words长度的信息），并将聚合结果反馈给所有模型以进行下一个循环；
推理后集成方法：在所有LLM候选或其某个子集生成完整响应（而非片段）后进行集成。比如，在所考虑的所有LLM输出所有响应后，综合考虑它们的所有回复以生成最终的独一份的回复信息。
尽管基于上述三大范式，近年来衍生出了大量方法，但目前仍缺乏一篇正式的综述文章以对快速发展的LLMEnsemble领域中的研究方向进行系统梳理和深入分析。本文系统性地回顾了LLMEnsemble领域的最新进展，分别讨论了分类法、相关问题、方法、基准、应用和未来方向。我们希望这篇综述能够为研究人员提供全面的回顾，并激发进一步的探索。
LLMEnsemble方法分类与相关研究问题
LLMEnsemble方法分类
本节将正式介绍LLMEnsemble分类体系，对应的示意图和各类方法下的研究工作见图1和图2。如上文所述，当前的LLMEnsemble方法可以分为以下3大类范式（关于对此三大范式的划分，我们采用了文献[2]的划分方法）与7大类方法：
(a)推理前集成（Ensemblebeforeinference）方法。该类方法的核心思想是，在LLM进行推理之前，先通过路由算法将具体任务查询分配给最合适的模型，以实现更专业、更高效的推理过程。如图1和图2所示，根据是否需要使用预先定制的数据以进行预训练，该类方法可细分为以下两类：
(a1)预训练路由器（pretrainedrouter）
(a2)非预训练路由器（non-pretrainedrouter）
(b)推理时集成（Ensembleduringinference）方法。这是三大类中最细粒度的集成方式。需要注意的是，此类方法通常会将中间“集成结果”拼接上上文信息并再次输送给所有模型，以进行下一轮处理。此类方法可细分为以下三类：
(b1)分词级集成（token-levelensemble）方法。在解码过程中，此类方法将多个模型生成的token级别输出信息进行集成，以生成最终的独一份信息；
(b2)片段级集成（span-levelensemble）方法。此类方法类似于上述的token-levelensemble方法，并且以若干个单词所形成的片段为单位来进行集成；
(b3)过程级集成（process-levelensemble）方法。针对复杂的推理任务，此类方法逐步在推理链中选择最优的中间步骤路径，即在每一步的推理过程中去集成来自多个模型的多份输出信息。
(c)推理后集成（Ensembleafterinference）方法。这类方法可以进一步分为以下两类：
(c1)非级联（Non-cascade）方法。此类方法直接整合多个LLM候选生成的完整回复，以进行集成。在集成过程中，此类方法要么是利用算法分析并挑选出一份最优回复，要么是利用另外一个大模型来进行再次生成；
(c2)级联（Cascade）方法。在综合考虑性能和推理成本的基础上，此类方法按照模型规模等标准对多个LLM候选进行排序并进行依次推理，直到得到最合适的回复为止，从而终止整个推理流程。
图2:各类LLMEnsemble方法下的研究工作
相关研究问题
如图3所示，大语言模型融合（LLMMerging，LLMFusion）[1]指的是在无需原始训练数据的前提下，将多个大语言模型的参数进行融合，从而构建一个统一的模型。这种方法与LLMEnsemble密切相关，因为它们都强调知识的融合与迁移。
大语言模型协作（LLMCollaboration）[2][3]则是通过利用每个模型的不同优势，以更加灵活的方式完成任务。与LLMEnsemble不同，LLMCollaboration方法并不将所有模型平等地直接用于用户查询，而是为每个模型分配不同的角色，并通过交换不同模型所生成的响应信息来提升效果。
弱监督学习（WeakSupervision）[4][5]，又被称为众包学习与群智监督学习（LearningfromCrowds）[6]，主要利用“来自多弱标注源所提供的弱标签信息”来实施关于真值标签的真值推理与后续的基于推理后标签的学习（这对应于LLMEnsemble中的“(c1)非级联方法”），或者直接用弱标签信息来进行端对端学习以获得分类器。然而，目前关于此类方法的研究主要集中在分类任务上，而不是通用的生成任务。
方法
此部分可详见论文。我们在论文中对7类LLMEnsemble方法（即图1和图2中所示的a1、a2、b1、b2、b3、c1、c2）对应的各个研究工作进行了深入分析，并在其中尽可能地对方法进行进一步的细化分类。比如，对于“(c)推理后集成（Ensembleafterinference）方法”，我们又根据方法是否需要在下游任务中的监督学习而进行进一步的分类和分析（如图4所示）。
图4:对推理后集成（Ensembleafterinference）方法中的各个研究工作的归纳性总结
讨论
总结性分析
我们在论文中对7类LLMEnsemble方法进行了总结性分析。如图5所示，分析主要从三个核心维度展开：集成策略、集成粒度和集成目标。
从集成策略的角度来看，聚合式（Aggregation）方法（如对所有模型输出进行平均或加权融合）相较于挑选式（Selection）方法（即从多个输出中选出一个，类似于硬投票）要更为复杂。另外，再生成式（Regeneration）方法通常需要额外准备大量特定的训练数据并再次微调一个大模型，因而成本更高。
从集成粒度的角度来看，响应级（Response-level）集成方法属于粗粒度集成。而细粒度的集成方法（包括Token-level和Span-level的集成方法），特别是token级集成方法，在模型解码阶段可以更精细地利用各个模型的输出概率分布，从而增强集成效果。
最后，从集成目标的角度来看，“(b)推理时集成方法”和“(c1)非级联式推理后集成方法”因不受推理成本限制，通常能够采用更加灵活的集成策略（即可以不依赖于基于挑选式的集成策略），并引入更细粒度的融合方式，最终具有更强的性能提升潜力。
图5:对7大类LLMEnsemble方法的总结性分析
未来研究方向
当前基于片段（span）的“推理时集成方法”已经能够提供足够细致的集成粒度（如考虑基于2个words的跨度），具备较强的性能提升潜力。然而，现有的片段划分方法仍然过于简单和生硬，比如固定地将每个片段设定为2个words。如果能够引入更具理论依据的或更灵活的片段划分策略，将有望为后续的集成过程提供更丰富、更具信息量的响应片段，从而提升整体效果。
在某些情况下，在多个模型的解码阶段而频繁调用多个模型的输出分布并不可行。此时，“非级联推理后集成”是一种非常实用的方法：它通过融合多个模型的完整输出来生成最终的回复信息。然而，目前方法存在两个局限：它们在集成过程中要么仅简单考虑模型输出之间的成对相似性度量，而未充分捕获各自的语义信息；要么需要引入了一个额外的、需要有监督学习的生成模型，牺牲了泛化性。因此，研究并提出更精细化的、无监督的“非级联推理后集成方法”具有重要意义。
相比于“推理前集成”策略，当前的“级联式推理后集成方法”在考虑推理成本的同时，还具备一个优势：即可以在推理过程中利用已有的模型回复信息而动态地选择最合适的输出。然而，现有的大多数级联方法并不适用于生成类任务，且唯一面向生成任务的方案也依赖于有监督学习，从而丢失了泛化性。因此，开发适用于生成任务的通用型无监督“级联式推理后集成方法”将是该领域的一个重要突破。
总结
LLMEnsemble（大语言模型集成）是集成学习在大语言模型时代的直接体现。大语言模型的易获取性、开箱即用的特性与多样性，使得集成学习的思想在当前的LLMEnsemble研究领域中更具有活力。本综述论文对LLMEnsemble领域中的7大类方法进行了全面的梳理与总结。我们希望这篇综述能为相关研究人员提供有价值的参考，并激发更多在LLMEnsemble及其相关领域的深入探索。最后，我们致谢下面的参考文献以及在我们的综述论文中所涉及的各个研究工作。
参考文献
[3]YilunDu,etal.Improvingfactualityandreasoninginlanguagemodelsthroughmultiagentdebate.ICML2024.
[4]JieyuZhang,etal.Wrench:Acomprehensivebenchmarkforweaksupervision.NeuIPS2021.
[5]ZhijunChen,etal.Neural-Hidden-CRF:ARobustWeakly-SupervisedSequenceLabeler.KDD2023.
[6]PengpengChen,etal.Adversariallearningfromcrowds.AAAI2022.
活动推荐
AICon2025强势来袭，5月上海站、6月北京站，双城联动，全览AI技术前沿和行业落地。大会聚焦技术与应用深度融合，汇聚AIAgent、多模态、场景应用、大模型架构创新、智能数据基建、AI产品设计和出海策略等话题。即刻扫码购票，一同探索AI应用边界！
今日荐文
“字节暗示我太穷”：Seed团队1000张H100训练7B模型，发布全球首个25秒AI视频，验证视觉生成ScalingLaw？
可灵2.0成“最强视觉生成模型”？自称遥遥领先OpenAI、谷歌，技术创新细节大揭秘！
“Bug”还是“预演”？GitHub突然“封禁”所有中国IP，官方：只是“手滑”技术出错了
刘强东被美团高管暗贬后回应；曝Qwen3处于最后准备阶段；特朗普免除手机、电脑、芯片“对等”关税|AI周报
你也「在看」吗？👇
