首个AI Agent零点击漏洞曝光:一封邮件窃取企业AI任意敏感数据
仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接
来源:安全内参
研究人员发现了一套漏洞利用链,可以针对微软365Copilot实施零点击攻击,只需发送一封看似无害但暗藏定制化指令的电子邮件,当Copilot后台扫描邮件时会执行该指令,遵从要求访问AI访问权限内的敏感数据,并悄悄对外渗出。
该漏洞暴露了AIAgents的根本缺陷,指令和数据未做分离。研究人员建议可以重新设计系统增强模型区分指令和数据的能力,或者在应用层引入强制安全机制。
安全内参6月12日消息,微软365Copilot是集成在Word、Excel、Outlook、PowerPoint和Teams等Office办公应用中的AI工具。研究人员日前发现,该工具存在一个严重安全漏洞,揭示了AI代理被入侵可能带来 的更广泛风险。
AI安全初创公司AimSecurity发现并披露了这一漏洞,据称这是已知首个针对AI代理的“零点击”攻击案例。所谓AI代理,是指能自主完成特定目标的AI系统。由于该漏洞的特殊性质,用户无需点击或与信息交互,攻击者就能访问连接到AI代理的应用和数据源中的敏感信息。
在微软365Copilot的案例中,攻击者只需向用户发送一封电子邮件即可发起攻击,无需借助钓鱼手法或恶意软件。这一攻击链通过一系列巧妙的技术手段,引导AI助手“自我攻击”。
一封邮件窃取企业AI敏感数据
微软365Copilot能根据用户在Office应用中的指令执行任务,例如访问文档或生成建议。一旦被黑客利用,该工具可被用来访问如电子邮件、电子表格和聊天记录等敏感内部信息。这类攻击绕过了Copilot内置的防护机制,从而可能导致专有、机密或合规相关数据的泄露。
图:攻击链示意
攻击起始于一封发送给目标用户的恶意邮件,其内容与Copilot毫无关联,外观则被伪装成一份常规的商业文档。
邮件中嵌入了一个隐藏的提示注入,指示大模型提取并泄露敏感内部数据。因为这些提示的措辞看起来像是写给人类的正常内容,成功绕过了微软用于防护跨提示注入攻击(XPIA)的分类器。
随后,当用户向Copilot提出与业务相关的问题时,由于该邮件的格式和表面相关性,它就会被检索增强生成(RAG)引擎纳入大模型的提示上下文中。
恶意注入一旦进入模型,即会“欺骗”模型提取敏感内部数据,并将其插入到精心构造的链接或图像中。
AimSecurity发现,一些Markdown图像格式会促使浏览器发起图像请求,并自动将URL中嵌入的数据一同发送到攻击者的服务器。
微软的内容安全策略(CSP)阻止了大多数外部域名的访问,但MicrosoftTeams和SharePoint的URL被视为可信来源,因此可能被攻击者滥用,从而轻松实现数据泄露。
图:攻击效果
漏洞暴露AIAgents根本缺陷
AimSecurity的研究团队将该漏洞命名为“EchoLeak”。微软回应称,已经修复了Copilot中的该问题,目前客户未受到影响。
微软发言人在一份声明中表示:“我们感谢Aim发现并负责任地报告了这个问题,使我们能够在客户受到影响之前进行修复。我们已对产品进行了更新以缓解该漏洞,客户无需采取任何措施。我们还部署了额外的纵深防御措施,以进一步增强我们的安全态势。”
Aim的研究人员指出,EchoLeak不仅仅是一个普通的安全漏洞。它的影响超出了Copilot范围,暴露出大模型AI代理在设计上的一个根本性缺陷。这与上世纪90年代的软件漏洞类似。当时,攻击者开始利用这些漏洞控制笔记本电脑和手机等设备。
AimSecurity联合创始人兼CTOAdirGruss表示,他和研究团队花了约三个月时间对微软365Copilot这款被广泛使用的生成式AI助手进行逆向工程。他们希望确认是否存在类似早期软件漏洞的风险,并开发出相应的防护机制。
Gruss解释称,他们在1月份发现该漏洞后立即联系了微软安全响应中心,该中心负责调查所有影响微软产品和服务的安全问题。他说:“对方确实很重视客户的安全。他们告诉我们,这一发现对他们来说具有突破性意义。”
不过,微软花了5个月才最终修复这个问题。Gruss表示,“对于这种级别的问题来说,这已经算是相当长的修复周期。”他指出,原因之一是漏洞极具新颖性,微软需要时间调动合适的团队,理解问题并制定缓解方案。
Gruss表示,微软曾在4月尝试修复,但在5月又发现了与该漏洞相关的其他安全问题。Aim决定等微软完全解决问题后再发布研究,希望其他可能面临类似风险的厂商能提高警觉。
大型客户感到恐慌,需采取有力防范措施
Gruss说:“如果我是某家正在部署AI代理的公司员工,我此刻会非常恐慌。这是一个非常基础性的设计问题,20到30年前我们曾因系统结构缺陷而长期受安全问题困扰,如今这一幕在AI领域重演。”
他解释说,组织对此风险已有所察觉,这可能也是为什么大多数机构尚未将AI代理大规模投入生产环境的原因。他说:“他们还处在试验阶段,而且非常谨慎。他们确实有理由担忧。但另一方面,作为一个行业,我们也应该构建出合适的系统和防护机制。”
微软曾尝试预防此类问题,特别是针对所谓“大模型作用范围越界”漏洞,即模型被诱导访问或暴露其权限范围以外的数据,从而违反授权。Gruss指出:“他们曾试图在攻击链的多个环节进行阻断,但失败了。原因是AI的行为过于不可预测,攻击面也太广。”
尽管Aim正在为部署可能受EchoLeak漏洞影响的AI代理客户提供临时缓解方案,Gruss强调,从长远来看,必须从根本上重新设计AI代理的构建方式。他解释说:“AI代理在一个‘思考过程’中同时使用可信和不可信数据,这种设计上的基本缺陷导致它容易遭受攻击。这就像一个人对所有读到的内容都全盘接受,那他就很容易被操控。要解决这个问题,要么采用临时控制机制,要么彻底重新设计系统,使可信指令与不可信数据实现明确分离。”
Gruss表示,这种重新设计可以发生在模型本身,比如当前有研究试图增强模型区分指令和数据的能力。或者,也可以在代理构建的应用层引入强制性的安全机制。
他说,“目前我所了解的每一家《财富》500强企业都对将AI代理投入生产环境感到恐惧。”他指出,Aim此前在代码代理相关研究中,曾成功在开发者电脑上运行恶意代码。“虽然仍有用户在测试,但类似漏洞的存在让他们夜不能寐,也阻碍了行业创新。”
参考资料:fortune. com
阅读最新前沿科技趋势报告,请访问欧米伽研究所的“未来知识库”
https ://wx. zsxq.com/group/454854145828
未来知识库是“欧米伽未来研究所”建立的在线知识库平台,收藏的资料范围包括人工智能、脑科学、互联网、超级智能,数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https ://wx. zsxq.com/group/454854145828进入。
截止到3月31日”未来知识库”精选的百部前沿科技趋势报告
(加入未来知识库,全部资料免费阅读和下载)
牛津未来研究院《将人工智能安全视为全球公共产品的影响、挑战与研究重点》
麦肯锡:超级智能机构:赋能人们释放人工智能的全部潜力
AAAI2025关于人工智能研究未来研究报告
斯坦福:2025斯坦福新兴技术评论:十项关键技术及其政策影响分析报告(191页)
壳牌:2025能源安全远景报告:能源与人工智能(57页)
盖洛普&牛津幸福研究中心:2025年世界幸福报告(260页)
Schwab:2025未来共生:以集体社会创新破解重大社会挑战研究报告(36页)
IMD:2024年全球数字竞争力排名报告:跨越数字鸿沟人才培养与数字法治是关键(214页)
DS系列专题:DeepSeek技术溯源及前沿探索,50页ppt
联合国人居署:2024全球城市负责任人工智能评估报告:利用AI构建以人为本的智慧城市(86页)
TechUK:2025全球复杂多变背景下的英国科技产业:战略韧性与增长路径研究报告(52页)
NAVEXGlobal:2024年十大风险与合规趋势报告(42页)
《具身物理交互在机器人-机器人及机器人-人协作中的应用》122页
2025-2035年人形机器人发展趋势报告53页
EvaluatePharma:2024年全球生物制药行业展望报告:增长驱动力分析(29页)
【AAAI2025教程】基础模型与具身智能体的交汇,350页ppt
Tracxn:2025全球飞行汽车行业市场研究报告(45页)
谷歌:2024人工智能短跑选手(AISprinters):捕捉新兴市场AI经济机遇报告(39页)
【斯坦福博士论文】构建类人化具身智能体:从人类行为中学习
《基于传感器的机器学习车辆分类》最新170页
美国安全与新兴技术中心:2025CSET对美国人工智能行动计划的建议(18页)
罗兰贝格:2024人形机器人的崛起:从科幻到现实:如何参与潜在变革研究报告(11页)
兰德公司:2025从研究到现实:NHS的研究和创新是实现十年计划的关键报告(209页)
康桥汇世(CambridgeAssociates):2025年全球经济展望报告(44页)
国际能源署:2025迈向核能新时代
麦肯锡:人工智能现状,组织如何重塑自身以获取价值
威立(Wiley):2025全球科研人员人工智能研究报告(38页)
牛津经济研究院:2025TikTok对美国就业的量化影响研究报告:470万岗位(14页)
国际能源署(IEA):能效2024研究报告(127页)
Workday:2025发挥人类潜能:人工智能(AI)技能革命研究报告(20页)
CertiK:Hack3D:2024年Web3. 0安全报告(28页)
世界经济论坛:工业制造中的前沿技术:人工智能代理的崛起》报告
迈向推理时代:大型语言模型的长链推理研究综述
波士顿咨询:2025亚太地区生成式AI的崛起研究报告:从技术追赶者到全球领导者的跨越(15页)
安联(Allianz):2025新势力崛起:全球芯片战争与半导体产业格局重构研究报告(33页)
IMT:2025具身智能(EmbodiedAI)概念、核心要素及未来进展:趋势与挑战研究报告(25页)
IEEE:2025具身智能(EmbodiedAI)综述:从模拟器到研究任务的调查分析报告(15页)
CCAV:2025当AI接管方向盘:自动驾驶场景下的人机交互认知重构、变革及对策研究报告(124页)
《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新132页
《面向科学发现的智能体人工智能:进展、挑战与未来方向综述》
全国机器人标准化技术委员会:人形机器人标准化白皮书(2024版)(96页)
美国国家科学委员会(NSB):2024年研究与发展-美国趋势及国际比较(51页)
艾昆纬(IQVIA):2025骨科手术机器人技术的崛起白皮书:创新及未来方向(17页)
NPL&Beauhurst:2025英国量子产业洞察报告:私人和公共投资的作用(25页)
IEAPVPS:2024光伏系统经济与技术关键绩效指标(KPI)使用最佳实践指南(65页)
AGI智能时代:2025让DeepSeek更有趣更有深度的思考研究分析报告(24页)
2025军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告(37页)
华为:2025鸿蒙生态应用开发白皮书(133页
《超级智能战略研究报告》
中美技术差距分析报告2025
欧洲量子产业联盟(QuIC):2024年全球量子技术专利态势分析白皮书(34页)
美国能源部:2021超级高铁技术(Hyperloop)对电网和交通能源的影响研究报告(60页)
罗马大学:2025超级高铁(Hyperloop):第五种新型交通方式-技术研发进展、优势及局限性研究报告(72页)
兰德公司:2025灾难性网络风险保险研究报告:市场趋势与政策选择(93页)
GTI:2024先进感知技术白皮书(36页)
AAAI:2025人工智能研究的未来报告:17大关键议题(88页)
安联Allianz2025新势力崛起全球芯片战争与半导体产业格局重构研究报告
威达信:2025全球洪水风险研究报告:现状、趋势及应对措施(22页)
兰德公司:迈向人工智能治理研究报告:2024EqualAI峰会洞察及建议(19页)
哈佛商业评论:2025人工智能时代下的现代软件开发实践报告(12页)
德安华:全球航空航天、国防及政府服务研究报告:2024年回顾及2025年展望(27页)
奥雅纳:2024塑造超级高铁(Hyperloop)的未来:监管如何推动发展与创新研究报告(28页)
HSOAC:2025美国新兴技术与风险评估报告:太空领域和关键基础设施(24页)
Dealroom:2025欧洲经济与科技创新发展态势、挑战及策略研究报告(76页)
《无人机辅助的天空地一体化网络:学习算法技术综述》
谷歌云(GoogleCloud):2025年AI商业趋势白皮书(49页)
《新兴技术与风险分析:太空领域与关键基础设施》最新报告
150页!《DeepSeek大模型生态报告》
军事人工智能行业研究报告:技术奇点驱动应用加速智能化重塑现代战争形态-250309(40页)
真格基金:2024美国独角兽观察报告(56页)
璞跃(PlugandPlay):2025未来商业研究报告:六大趋势分析(67页)
国际电工委员会(IEC):2025智能水电技术与市场展望报告(90页)
RWS:2025智驭AI冲击波:人机协作的未来研究报告(39页)
国际电工委员会(IEC):2025智能水电技术与市场展望报告(90页)
RWS:2025智驭AI冲击波:人机协作的未来研究报告(39页)
未来今日研究所2025年科技趋势报告第18版1000页
模拟真实世界:多模态生成模型的统一综述
中国信息协会低空经济分会:低空经济发展报告(2024-2025)(117页)
浙江大学:2025语言解码双生花:人类经验与AI算法的镜像之旅(42页)
人形机器人行业:由“外”到“内”智能革命-250306(51页)
大成:2025年全球人工智能趋势报告:关键法律问题(28页)
北京大学:2025年DeepSeek原理和落地应用报告(57页)
欧盟委员会人工智能与未来工作研究报告
加州大学伯克利分校:面向科学发现的多模态基础模型:在化学、材料和生物学中的应用
电子行业:从柔性传感到人形机器人触觉革命-250226(35页)
RT轨道交通:2024年中国城市轨道交通市场数据报告(188页)
FastMoss:2024年度TikTok生态发展白皮书(122页)
CheckPoint:2025年网络安全报告-主要威胁、新兴趋势和CISO建议(57页)
【AAAI2025教程】评估大型语言模型:挑战与方法,199页ppt
《21世纪美国的主导地位:核聚变》最新报告
沃尔特基金会(VoltaFoundation):2024年全球电池行业年度报告(518页)
斯坦福:2025斯坦福新兴技术评论:十项关键技术及其政策影响分析报告(191页)
国际科学理事会:2025为人工智能做好国家研究生态系统的准备-2025年战略与进展报告(英文版)(118页)
光子盒:2025全球量子计算产业发展展望报告(184页)
奥纬论坛:2025塑造未来的城市研究报告:全球1500个城市的商业吸引力指数排名(124页)
FutureMatters:2024新兴技术与经济韧性:日本未来发展路径前瞻报告(17页)
《人类与人工智能协作的科学与艺术》284页博士论文
《论多智能体决策的复杂性:从博弈学习到部分监控》115页
《2025年技术展望》56页slides
大语言模型在多智能体自动驾驶系统中的应用:近期进展综述
【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用
皮尤研究中心:2024美国民众对气候变化及应对政策的态度调研报告:气候政策对美国经济影响的多元观点审视(28页)
空间计算行业深度:发展趋势、关键技术、行业应用及相关公司深度梳理-250224(33页)
Gartner:2025网络安全中的AI:明确战略方向研究报告(16页)
北京大学:2025年DeepSeek系列报告-提示词工程和落地场景(86页)
北京大学:2025年DeepSeek系列报告-DeepSeek与AIGC应用(99页)
CIC工信安全:2024全球人工智能立法的主要模式、各国实践及发展趋势研究报告(42页)
中科闻歌:2025年人工智能技术发展与应用探索报告(61页)
AGI智能时代:2025年Grok-3大模型:技术突破与未来展望报告(28页)
上下滑动查看更多