仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
AgenticLLMs是指那些能够作为智能Agent行动的大语言模型，它们具备推理、行动和交互的能力，基于此对相关技术进行综述，并提出了一个研究议程，指导未来研究方向。
Agentic大语言模型（LLM）分类体系的三个类别——推理、行动和交互（以红色表示）之间的良性循环。影响某一类别的概念以绿色表示。图中还标示了反馈循环，即推理、行动和交互产生新的数据，用于预训练和微调LLMs。
一、推理（Reasoning）
详细讨论了代理型大语言模型（AgenticLLMs）在推理能力方面的研究进展和技术方法。推理能力是代理型LLMs的核心组成部分之一，它使模型能够进行逻辑思考、问题解决和决策制定：
多步推理方法是提升LLMs推理能力的重要技术。这些方法通过将复杂问题分解为多个中间步骤来逐步解决问题，从而提高模型的准确性和可靠性。主要方法包括：
链式思考（ChainofThought）：通过逐步解决问题的中间步骤，显著提高了模型在数学问题上的准确率。例如，通过提示模型先重述问题中的信息，再逐步解答，可以显著提高其在数学问题上的表现。
自我一致性（SelfConsistency）：通过生成多个可能的推理路径，并通过多数投票选择最一致的答案，进一步提高了模型的性能。
搜索树（TreeofThoughts）：通过创建一个外部控制算法，调用模型以探索所有可能的推理步骤，从而系统地探索问题的解空间。
自我反思是推理能力的另一个重要方面，它允许模型评估和改进自己的结果。主要方法包括：
LLMs用于自我反思：通过让LLM评估其自身的输出，并通过反馈和改进来提高结果的质量。例如，SelfRefine方法通过迭代反馈和改进来优化模型的输出。
检索增强方法通过在推理时检索额外的信息来解决LLMs缺乏及时信息的问题。这些方法包括：
自适应检索（AdaptiveRetrieval）：LLMs可以根据需要决定何时检索信息，从而提高其在特定任务中的表现。
检索增强生成（RetrievalAugmentation）：通过将预训练的LLMs与外部知识库结合，使其能够访问最新的信息，从而提高其在问答等任务中的表现。
二、行动（Acting）
详细探讨了代理型大语言模型（AgenticLLMs）在执行具体行动方面的能力和研究进展。这一节的核心内容集中在如何使LLMs能够通过工具、机器人和多模态交互来实现具体的行动任务：
世界模型（WorldModels）：世界模型是代理型LLMs在复杂环境中学习和行动的基础。这些模型通过与环境的交互来学习最优策略，例如在机器人运动、视频游戏和开放世界游戏中的应用。例如，WorldCoder通过编写Python程序来构建世界模型，解释其与环境的交互。
多模态视觉-语言-行动模型（VLAModels）：这些模型结合了视觉信息和语言指令，使机器人能够执行复杂的任务。例如，CLIPort通过视觉导航模型和语言指令来指导机器人完成任务，而RT-2模型则通过将网络知识转移到机器人控制中，实现了零样本泛化。
讨论了如何使LLMs能够通过机器人和工具来执行具体任务，从而提高其实用性。
机器人规划（RobotPlanning）：通过将语言模型与机器人的物理能力相结合，使机器人能够理解并执行语言指令。例如，SayCan通过结合语言模型和机器人动作的价值函数，确保机器人执行的行动是安全且可行的。
行动工具（ActionTools）：LLMs可以通过调用外部工具（如API）来执行任务。例如，Toolformer通过训练LLM决定何时调用API、传递什么参数以及如何整合结果，从而扩展了LLM的功能。
计算机和浏览器工具（ComputerandBrowserTools）：使LLMs能够直接与计算机环境交互，例如通过浏览器或操作系统界面执行任务。例如，OmniParserV2通过视觉解析屏幕元素，使LLMs能够与图形用户界面（GUI）进行交互。
讨论了如何将LLMs应用于各种助手场景，从而提高其在实际应用中的价值。
医疗助手（MedicalAssistants）：LLMs在医疗领域表现出色，能够生成医疗报告、提供诊断建议，并在医学教育中发挥作用。例如，MedCo通过多智能体框架生成患者友好的医疗报告。
交易助手（TradingAssistants）：LLMs可以作为金融交易助手，提供市场分析和交易建议。例如，FinAgent是一个多模态的交易助手，能够从多种数据源中提取信息并进行技术分析。
科学助手（ScienceAssistants）：LLMs可以自动化科学研究流程，从实验设计到论文撰写。例如，AIScientist框架能够自动化从想法生成到论文撰写的整个过程。
三、交互（Interacting）
详细探讨了代理型大语言模型（AgenticLLMs）在交互能力方面的研究进展和技术方法：如何使LLMs能够与其他智能体（包括人类和其他LLMs）进行有效交互，从而实现更复杂的社会行为和协作任务。
讨论了传统LLMs在社会和交互能力方面的基础，包括对话、战略行为和心理理论（TheoryofMind）。
对话（Conversation）：LLMs在自然语言交互方面取得了显著进展，能够生成语法正确且功能上符合上下文的句子。然而，LLMs在不同领域的表现仍存在差异，且整体性能低于人类水平。通过多轮对话和上下文理解，LLMs的对话能力得到了提升。
战略行为（StrategicBehavior）：LLMs在经济博弈中的表现因游戏类型而异。例如，在囚徒困境等重复博弈中，LLMs表现出较高的合作性，但在需要协调的博弈中表现较差。研究表明，LLMs在博弈中的行为可以通过额外的提示信息进行调整。
心理理论（TheoryofMind）：LLMs在心理理论任务中的表现逐渐接近人类水平，能够理解他人的心理状态并据此进行推理。然而，LLMs在复杂情境下的心理理论能力仍需进一步研究。
讨论了LLMs在多智能体环境中通过角色扮演进行交互的能力，包括战略行为、团队合作和任务解决。
多LLM环境中的战略行为（StrategicBehaviorinMulti-LLMEnvironments）：通过多智能体博弈和角色扮演，LLMs能够展示出复杂的战略行为。例如，在社会推理游戏中，LLMs能够通过角色扮演和交互来提高其战略推理能力。
基于角色的任务解决和团队合作（Role-BasedTaskSolvingandTeamWork）：LLMs可以通过角色扮演和团队合作来解决复杂任务。例如，CAMEL框架通过让两个LLMs扮演不同角色（如编码者和审稿人）来合作完成任务。
讨论了LLMs在开放社会中的交互能力，包括社会规范的形成、社会动态和集体行为。
社会规范的形成（EmergentSocialNorms）：LLMs能够通过自然语言交互形成和遵守社会规范。例如，通过多智能体模拟，LLMs能够自发地形成和遵守复杂的社交规范。
开放世界代理（Open-WorldAgents）：LLMs可以通过多智能体交互生成新的数据，从而实现自我学习和持续改进。例如，WebArena通过模拟真实世界的网络环境，使LLMs能够进行开放式的交互和学习。
推荐阅读
•动手设计AIAgents：（编排、记忆、插件、workflow、协作）
•DeepSeekR1+Agent的下半场
•单智能体（Agent）：企业员工AI助理
•Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）
欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。
