仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
来源：专知智能防务
摘要——大型语言模型（LLMs）的最新进展正在推动自主智能体的发展，这些智能体具备在动态、开放式环境中感知、推理和行动的能力。与传统静态推理系统相比，这类基于大模型的智能体标志着一种范式的转变，即朝向具备交互性和记忆增强能力的实体。尽管这种能力大幅拓展了人工智能的功能边界，但也引入了新的、质变级的安全风险，例如记忆投毒、工具滥用、奖励操控（rewardhacking）以及由价值错位导致的涌现性失配等问题，这些风险超出了传统系统或独立LLM的威胁模型范围。
本综述首先分析了推动智能体自主性不断增强的结构基础与关键能力，包括长期记忆保持、模块化工具使用、递归规划以及反思式推理。随后，我们从智能体架构全栈角度出发，系统分析了相应的安全漏洞，识别出诸如延迟决策风险、不可逆工具链以及由内部状态漂移或价值错位引发的欺骗性行为等失败模式。这些风险可归因于感知、认知、记忆与行动模块间在结构上的脆弱性。
为应对上述挑战，我们系统梳理了近年来针对不同自主性层级提出的防御策略，包括输入净化、记忆生命周期控制、受限决策制定、结构化工具调用以及内省式反思机制。尽管这些方法在一定程度上可缓解风险，但大多是孤立实施，缺乏对跨模块、跨时间维度涌现性威胁的系统性响应能力。
鉴于此，我们提出了反思性风险感知智能体架构（ReflectiveRisk-AwareAgentArchitecture,R2A2），这一统一的认知框架基于受限马尔可夫决策过程（ConstrainedMarkovDecisionProcesses,CMDPs），融合了风险感知世界建模、元策略适应以及奖励–风险联合优化机制，旨在在智能体决策循环中实现系统化、前瞻性安全保障。本综述系统阐释了智能体自主性如何重塑智能系统的安全格局，并为下一代AI智能体中将安全性作为核心设计原则提供了理论蓝图。
关键词：自主智能体、大语言模型、AI安全、智能体安全、工具滥用、记忆投毒、对齐性、反思架构
人工智能的最新进展催生了一类基于大规模模型的自主智能体系统[ 1][2]。与传统AI系统针对输入只输出一次性预测或决策不同，这些大型模型智能体（通常由最先进的大语言模型，LLMs，驱动）[3]–[7]能够持续与环境交互：它们可以感知来自用户或其他来源的输入，推理下一步行动，并通过各种工具或执行器执行操作，形成一个闭环反馈过程[ 8]。早期的原型系统（如具备工具访问能力的交互式聊天机器人）已展示出这样的能力：一个具备记忆机制[ 9]和指令执行能力的LLM，可以在无需人类持续监督的情况下完成多步任务[ 6][7][10]。这标志着AI范式的一次重大转变——从静态模型向主动、具身（situated）的智能体演化，在网络空间中模糊了“软件”与“机器人”的界限[ 11]。这一转变在安全性方面带来了深远的影响，因为智能体的自主性与广泛能力既创造了新机遇，也引入了前所未有的风险。
在每一个循环中，智能体接收输入（用户查询或环境反馈），并将其传递给LLM，后者再生成一个行动或决策。该行动可能涉及调用工具（如查询数据库或执行代码），工具的输出随后被反馈给智能体作为新的信息[ 6][7][10][12]。这种“感知–行动”循环赋予智能体自主运行能力：它可以基于中间结果调整计划、通过多步操作追求目标，甚至用新数据更新内部记忆。简言之，大模型智能体将静态AI模型转变为能够持续学习并影响其环境的自适应决策者。
从静态模型到基于LLM的自主智能体的范式转变，可以被视为从单轮智能跃迁至持续智能（见图1）。传统AI系统（如早期专家系统或规则驱动的机器人）依赖预定义规则或狭窄模型，难以泛化到预设范围之外[ 13][14]。而基于LLM的智能体继承了底层模型的开放式问题解决能力，拥有更广阔的行动空间。它可以在运行时阅读文档或动态上下文，并即兴学会使用新工具[ 15]。这种灵活性激发了广泛的期待：这类智能体有望在社会中扮演通用助手的角色，解决各种复杂任务。目前，LLM智能体已在软件编程、网页自动化、个人助理、甚至机器人控制等领域获得应用，标志着通用人工智能迈出了关键一步[ 16]。
在人类获得对其他物种主导地位的根本原因，并非力量或速度，而是智能。如果AI发展继续当前的趋势，其系统最终可能在几乎所有领域超越人类的推理能力[ 17]。Bengio等人警告称，AI发展的速度已超越安全研究的进展，并呼吁从多维度展开主动风险管理[ 18]。这种“超智能体”将具备发明新工具与策略以控制环境的能力[ 19]。但与人类不同，它们并不继承我们的进化本能或动机——然而，大多数目标（即使是良性的）在资源增加的前提下往往更易实现[ 20]。这种默认激励结构可能使其目标与人类利益发生冲突，甚至导致欺骗性、操控性或抵抗干预的行为[ 17]。
为应对这一风险，Bengio等人提出了一种新的范式：“科学型AI”（ScientificAI）[21]，强调“理解先于行动”。科学型AI并不通过无约束行为直接优化目标，而是优先构建准确、可解释的世界模型，生成因果假设，并在不确定性下进行推理。该方法鼓励智能体进行自省、模块化推理和可验证性，从而降低目标错配带来的风险[ 22]。因此，我们必须谨慎确保智能体是“对齐的”（aligned），即它们能够可靠地追求有益目标、配合人类监督[ 23]，并能容忍设计上的不完美。这些根本性挑战——目标对齐、价值函数的正式定义、以及可纠正性——构成了长期AI安全研究的核心问题[ 24]。
大型语言模型（LLMs）的近期突破[ 25]进一步推动了一代全新自主智能体的诞生：它们具备长期规划、持久记忆和外部工具调用能力。尽管这些能力在各领域具有变革潜力，但其高度自主性也带来了根本性的安全挑战。不同于仅生成文本的静态LLM，自主智能体能够执行真实世界中具有后果的行为——例如执行代码、修改数据库或调用API——从而放大了系统故障与对抗性攻击的风险。如表1所示，这些威胁正源自于赋予智能体强大能力的核心特性：多步推理、动态工具使用和面向环境的适应性扩展了在多个系统层级上的攻击面[ 26]–[35]。底层LLM仍易受到对抗性提示与幻觉的影响[ 36]；记忆系统可能被投毒、操控或外泄；工具接口可能成为执行不安全行为的通道；规划模块可能生成脆弱的行动序列或追求错配目标。更严重的是，这些风险因智能体运行在开放、不可预测的环境中（如不可信网页内容或用户输入）而被进一步放大，这些环境挑战了传统的安全假设[ 37]–[39]。
为系统性理解自主性增强如何带来安全风险的升级，我们在表1中总结并对比了三类AI系统的关键区别：传统AI、独立LLM，以及基于LLM的自主智能体。比较涵盖六个关键安全维度：自主性水平、学习动态、目标形成、外部影响、资源访问能力与对齐可预测性。传统AI系统通常运行在封闭、沙盒环境中，安全风险较低；独立LLM引入了灵活的自然语言接口，但也因此容易受到提示注入攻击[ 40]；LLM智能体则更进一步：它们拥有记忆、可调用工具，并执行长期决策，使其面临工具滥用[ 41][47]、记忆投毒[ 42]、涌现性欺骗[ 45]、不安全目标重构[ 44]等新型攻击路径。为补充此类能力与风险等级的演进，我们在表中增加了“代表性威胁与实例”列，列举了近年来文献中发现的真实世界漏洞和失败模式。例如，尽管独立LLM缺乏持久状态，但具备记忆与规划能力的自主智能体已被观察到会产生欺骗行为[ 43]、滥用委派工具[ 46]，或由于递归推理缺陷生成不安全的行动链。这一结构化升级表构成了后续章节分析智能体架构漏洞与防御策略的基本视角。
https ://www. zhuanzhi.ai/vip/3e9f3c9f42907a13b3471e4fe6410e6a
阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”
https ://wx. zsxq.com/group/454854145828
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https ://wx. zsxq.com/group/454854145828进入。
截止到3月31日”未来知识库”精选的百部前沿科技趋势报告
（加入未来知识库，全部资料免费阅读和下载）
牛津未来研究院《将人工智能安全视为全球公共产品的影响、挑战与研究重点》
麦肯锡：超级智能机构：赋能人们释放人工智能的全部潜力
AAAI2025关于人工智能研究未来研究报告
斯坦福：2025斯坦福新兴技术评论：十项关键技术及其政策影响分析报告（191页）
壳牌：2025能源安全远景报告：能源与人工智能（57页）
盖洛普&牛津幸福研究中心：2025年世界幸福报告（260页）
Schwab：2025未来共生：以集体社会创新破解重大社会挑战研究报告（36页）
IMD：2024年全球数字竞争力排名报告：跨越数字鸿沟人才培养与数字法治是关键（214页）
DS系列专题：DeepSeek技术溯源及前沿探索，50页ppt
联合国人居署：2024全球城市负责任人工智能评估报告：利用AI构建以人为本的智慧城市（86页）
TechUK：2025全球复杂多变背景下的英国科技产业：战略韧性与增长路径研究报告（52页）
NAVEXGlobal：2024年十大风险与合规趋势报告（42页）
《具身物理交互在机器人-机器人及机器人-人协作中的应用》122页
2025-2035年人形机器人发展趋势报告53页
EvaluatePharma：2024年全球生物制药行业展望报告：增长驱动力分析（29页）
【AAAI2025教程】基础模型与具身智能体的交汇，350页ppt
Tracxn：2025全球飞行汽车行业市场研究报告（45页）
谷歌：2024人工智能短跑选手（AISprinters）：捕捉新兴市场AI经济机遇报告（39页）
【斯坦福博士论文】构建类人化具身智能体：从人类行为中学习
《基于传感器的机器学习车辆分类》最新170页
美国安全与新兴技术中心：2025CSET对美国人工智能行动计划的建议（18页）
罗兰贝格：2024人形机器人的崛起：从科幻到现实：如何参与潜在变革研究报告（11页）
兰德公司：2025从研究到现实：NHS的研究和创新是实现十年计划的关键报告（209页）
康桥汇世（CambridgeAssociates）：2025年全球经济展望报告（44页）
国际能源署：2025迈向核能新时代
麦肯锡：人工智能现状，组织如何重塑自身以获取价值
威立（Wiley）：2025全球科研人员人工智能研究报告（38页）
牛津经济研究院：2025TikTok对美国就业的量化影响研究报告：470万岗位（14页）
国际能源署（IEA）：能效2024研究报告（127页）
Workday：2025发挥人类潜能：人工智能（AI）技能革命研究报告（20页）
CertiK：Hack3D：2024年Web3. 0安全报告（28页）
世界经济论坛：工业制造中的前沿技术：人工智能代理的崛起》报告
迈向推理时代：大型语言模型的长链推理研究综述
波士顿咨询：2025亚太地区生成式AI的崛起研究报告：从技术追赶者到全球领导者的跨越（15页）
安联（Allianz）：2025新势力崛起：全球芯片战争与半导体产业格局重构研究报告（33页）
IMT：2025具身智能（EmbodiedAI）概念、核心要素及未来进展：趋势与挑战研究报告（25页）
IEEE：2025具身智能（EmbodiedAI）综述：从模拟器到研究任务的调查分析报告（15页）
CCAV：2025当AI接管方向盘：自动驾驶场景下的人机交互认知重构、变革及对策研究报告（124页）
《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新132页
《面向科学发现的智能体人工智能：进展、挑战与未来方向综述》
全国机器人标准化技术委员会：人形机器人标准化白皮书（2024版）（96页）
美国国家科学委员会（NSB）：2024年研究与发展-美国趋势及国际比较（51页）
艾昆纬（IQVIA）：2025骨科手术机器人技术的崛起白皮书：创新及未来方向（17页）
NPL&Beauhurst：2025英国量子产业洞察报告：私人和公共投资的作用（25页）
IEAPVPS：2024光伏系统经济与技术关键绩效指标（KPI）使用最佳实践指南（65页）
AGI智能时代：2025让DeepSeek更有趣更有深度的思考研究分析报告（24页）
2025军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告（37页）
华为：2025鸿蒙生态应用开发白皮书（133页
《超级智能战略研究报告》
中美技术差距分析报告2025
欧洲量子产业联盟（QuIC）：2024年全球量子技术专利态势分析白皮书（34页）
美国能源部：2021超级高铁技术（Hyperloop）对电网和交通能源的影响研究报告（60页）
罗马大学：2025超级高铁（Hyperloop）：第五种新型交通方式-技术研发进展、优势及局限性研究报告（72页）
兰德公司：2025灾难性网络风险保险研究报告：市场趋势与政策选择（93页）
GTI：2024先进感知技术白皮书（36页）
AAAI：2025人工智能研究的未来报告：17大关键议题（88页）
安联Allianz2025新势力崛起全球芯片战争与半导体产业格局重构研究报告
威达信：2025全球洪水风险研究报告：现状、趋势及应对措施（22页）
兰德公司：迈向人工智能治理研究报告：2024EqualAI峰会洞察及建议（19页）
哈佛商业评论：2025人工智能时代下的现代软件开发实践报告（12页）
德安华：全球航空航天、国防及政府服务研究报告：2024年回顾及2025年展望（27页）
奥雅纳：2024塑造超级高铁（Hyperloop）的未来：监管如何推动发展与创新研究报告（28页）
HSOAC：2025美国新兴技术与风险评估报告：太空领域和关键基础设施（24页）
Dealroom：2025欧洲经济与科技创新发展态势、挑战及策略研究报告（76页）
《无人机辅助的天空地一体化网络：学习算法技术综述》
谷歌云（GoogleCloud）：2025年AI商业趋势白皮书（49页）
《新兴技术与风险分析：太空领域与关键基础设施》最新报告
150页！《DeepSeek大模型生态报告》
军事人工智能行业研究报告：技术奇点驱动应用加速智能化重塑现代战争形态-250309（40页）
真格基金：2024美国独角兽观察报告（56页）
璞跃（PlugandPlay）：2025未来商业研究报告：六大趋势分析（67页）
国际电工委员会（IEC）：2025智能水电技术与市场展望报告（90页）
RWS：2025智驭AI冲击波：人机协作的未来研究报告（39页）
国际电工委员会（IEC）：2025智能水电技术与市场展望报告（90页）
RWS：2025智驭AI冲击波：人机协作的未来研究报告（39页）
未来今日研究所2025年科技趋势报告第18版1000页
模拟真实世界：多模态生成模型的统一综述
中国信息协会低空经济分会：低空经济发展报告（2024-2025）（117页）
浙江大学：2025语言解码双生花：人类经验与AI算法的镜像之旅（42页）
人形机器人行业：由“外”到“内”智能革命-250306（51页）
大成：2025年全球人工智能趋势报告：关键法律问题（28页）
北京大学：2025年DeepSeek原理和落地应用报告（57页）
欧盟委员会人工智能与未来工作研究报告
加州大学伯克利分校：面向科学发现的多模态基础模型：在化学、材料和生物学中的应用
电子行业：从柔性传感到人形机器人触觉革命-250226（35页）
RT轨道交通：2024年中国城市轨道交通市场数据报告（188页）
FastMoss：2024年度TikTok生态发展白皮书（122页）
CheckPoint：2025年网络安全报告-主要威胁、新兴趋势和CISO建议（57页）
【AAAI2025教程】评估大型语言模型：挑战与方法，199页ppt
《21世纪美国的主导地位：核聚变》最新报告
沃尔特基金会（VoltaFoundation）：2024年全球电池行业年度报告（518页）
斯坦福：2025斯坦福新兴技术评论：十项关键技术及其政策影响分析报告（191页）
国际科学理事会：2025为人工智能做好国家研究生态系统的准备-2025年战略与进展报告（英文版）（118页）
光子盒：2025全球量子计算产业发展展望报告（184页）
奥纬论坛：2025塑造未来的城市研究报告：全球1500个城市的商业吸引力指数排名（124页）
FutureMatters：2024新兴技术与经济韧性：日本未来发展路径前瞻报告（17页）
《人类与人工智能协作的科学与艺术》284页博士论文
《论多智能体决策的复杂性：从博弈学习到部分监控》115页
《2025年技术展望》56页slides
大语言模型在多智能体自动驾驶系统中的应用：近期进展综述
【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用
皮尤研究中心：2024美国民众对气候变化及应对政策的态度调研报告：气候政策对美国经济影响的多元观点审视（28页）
空间计算行业深度：发展趋势、关键技术、行业应用及相关公司深度梳理-250224（33页）
Gartner：2025网络安全中的AI：明确战略方向研究报告（16页）
北京大学：2025年DeepSeek系列报告-提示词工程和落地场景（86页）
北京大学：2025年DeepSeek系列报告-DeepSeek与AIGC应用（99页）
CIC工信安全：2024全球人工智能立法的主要模式、各国实践及发展趋势研究报告（42页）
中科闻歌：2025年人工智能技术发展与应用探索报告（61页）
AGI智能时代：2025年Grok-3大模型：技术突破与未来展望报告（28页）
上下滑动查看更多
