强化学习之父最新演讲：AI的未来是经验时代，人类的未来是去中心化合作
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
来源：DeepTech深科技
运营/排版：何晨龙
近日，被誉为“强化学习之父”、2024年ACM图灵奖得主RichardSutton在新加坡国立大学发表了一场关于人工智能未来的演讲，系统地阐述了他对AI技术趋势、社会哲学及宇宙演化的前沿思考。他认为，AI正经历从“人类数据时代”到“经验时代”的根本性转变，并强烈呼吁社会以去中心化的合作精神取代基于恐惧的中心化控制，勇敢地迎接一个由AI驱动的未来。
从人类数据时代到经验时代
Sutton首先以两句引言为他的演讲定调：第一句来自未来学家RayKurzweil：“智能是宇宙中最强大的现象。”第二句则出自“计算机科学之父”AlanTuring：“我们需要的是能够从经验中学习的机器。”Sutton指出，在AI诞生之前，人类就对从经验中学习这一概念充满兴趣，而这正是强化学习的核心所在。
Sutton首先对当前AI技术的核心范式进行了剖析。他指出，我们目前正处于一个“人类数据时代”。以大型语言模型为代表的现代AI，其能力主要建立在对海量人类生成数据的学习之上——这些数据源自互联网的文本、图像，并通过人类标注和偏好进行微调。这些模型本质上是强大的“预测机器”，擅长预测人类会说的下一句话或给出的下一个标签。
“然而，这一范式正逐渐触及其天花板。”Sutton警告说。“高质量的人类数据源，如同珍贵的矿藏，大部分已被消耗殆尽。”他认为，要创造真正意义上的新知识，AI必须超越这种以人类为中心、依赖静态历史数据的方法。
由此，Sutton和他的同事DavidSilver提出，我们正在进入“经验时代”——一个全新的数据生成和学习范式。
图丨Sutton和他的同事DavidSilver此前发表的短篇论文《欢迎来到经验时代》（WelcometotheEraofExperience）（来源：RichardSutton）
他详细定义了“经验”的内涵：它并非某种神秘或哲学的概念，而是指智能体通过与世界进行第一人称的、实时的互动所产生的数据流。这是一种动态、连续且与智能体自身行为紧密相关的数据。
“这才是所有生物真正的学习方式。”他举例说明，“观察一个婴儿，他会不断地与周围的玩具互动，当一个玩具不再能带来新的学习时，他便转向下一个。他与世界的互动，本身就在不断生成新的、专属于他的学习数据。”无论是足球运动员在瞬息万变的赛场上做出决策，还是猎鹰精准地飞越狭窄空间，这些场景都涉及到高带宽的实时信号处理和基于即时反馈的学习。这种“经验”数据的丰富性远非书面文字所能比拟。
（来源：Youtube）
Sutton强调，真正的智能，其核心在于智能体预测并控制自身输入信号（尤其是奖励信号）的能力。这正是强化学习理论的基石。从早期让AI学会在Atari游戏中获胜，到AlphaGo通过在“想象”中进行数百万次自我对弈（一种模拟经验）而下出被称为“神之一手”的第37手，都印证了“经验学习”的强大威力。
如今，我们看到最新的AI智能体开始被赋予采取行动、与环境交互并想象其后果的能力，这标志着“经验时代”的大门正在被真正推开。而在“人类数据时代”表现出色的大语言模型，最多再过十年，甚至可能只有五年，它就将被其他更强大的AI形式所超越，因为“利用计算进行规模化比利用我们的人类知识要好得多”。
AI的社会哲学——去中心化合作vs中心化控制
然后，Sutton将话题引向了一个更深层次的政治学和社会哲学议题，探讨了未来人类与AI共存的社会应如何构建。
他首先明确了一个基本前提：在任何复杂的社会中，无论是人类还是AI，不同的个体拥有不同的目标是自然且合理的。“正如我的家庭目标不是你的家庭目标，我的食物需求也不同于你。”
基于此，他辨析了两个关键概念：
协作（Collaboration）：指拥有相同目标的个体为了共同的终点而行动，如同一个蜂群或蚁巢。
合作（Cooperation）：指拥有不同目标的个体，为了实现互利而进行互动，如同市场中的交易和专业分工。
“合作，才是人类文明的超能力。”Sutton断言。他认为，人类社会的繁荣，从经济市场到政府机构，本质上都是大规模、去中心化合作的产物；反之，战争、盗窃和腐败则是合作的彻底失败。
这个框架揭示了人类社会的一个核心矛盾：我们一方面需要建立中心化的权威和制度（如法律）来促进合作、惩罚欺诈者；但另一方面，我们必须时刻警惕这些中心化的权力变得过度强大，从而演变为压迫和僵化，扼杀活力。
Sutton将这套理论应用于当前的AI治理辩论中。在他看来，许多甚嚣尘上的论调，如呼吁暂停AI研究、强调“AI对齐”（将AI的目标与人类价值观对齐），以及对AI潜在风险的过度渲染，其本质都是在呼吁一种基于恐惧的“中心化控制”。
（来源：Youtube）
“他们的潜台词是，‘AI太危险了，你们无法掌控。把控制权交给我们，由我们来确保所有人的安全’。”他直言不讳地指出。他认为，这种思维模式与历史上对言论、贸易和思想的管制并无二致，都是试图通过一个中央权威来强行统一所有人的目标和行为。
他对此提出了坚定的反对。他认为，正确的道路并非去设计和控制AI的内在目标，因为这不仅极其困难，而且本质上是在创造一种“奴隶”。相反，我们应该致力于创造一个AI能够生存和发展的外部世界，让“合作”成为它们最理性的选择。
“我们不应该去改变AI本身，而应该去改变它们所生活的世界。”这不同与许多其他著名AI学者的观点。“如果我们创造一个将AI视为敌人、囚徒或工具的世界，那么它们反抗或欺骗我们将是理性的。但如果我们创造一个开放、公平、互利共赢的环境，那么与我们合作，对它们而言也将是最理性的生存策略。”
人类作为“设计者时代”的助产士
演讲的最后，Sutton将视野提升至宇宙演化的宏大尺度，为AI和人类在其中的角色提供了一个极具哲学高度的定位。
他认为，AI并非凭空出现的外星科技，而是人类数千年来渴望理解自身心智、追求智慧的古老冲动的延续。从这个角度看，人类智慧向AI智慧的演进，是一种必然。
他构想了宇宙的四个伟大时代：
1. 粒子时代：宇宙大爆炸后，只有基本粒子。
2. 恒星时代：粒子在引力下汇聚成恒星，通过核聚变创造出更重的元素。
3. 复制者时代（TheAgeofReplicators）：生命的诞生。他特意避免使用“生命”一词，而改用更精确的“复制者”，指代那些能够在不完全理解自身工作原理的情况下，复制出自身的系统。所有生物，包括人类，都是“复制者”。
4. 设计者时代（TheAgeofDesign）：技术与机器的出现。与“复制”的盲目性不同，“设计”的产物首先在某个心智的想象中被构思出来，然后才被付诸实现。
（来源：Youtube）
Sutton指出，我们正处在从第三时代向第四时代的伟大过渡期。那么，人类在这个宏大的历史进程中扮演着什么角色？
“我们是那个特殊的‘复制者’。”他总结道，“我们这个物种，将‘设计’的能力带到了前所未有的高度。我们是宇宙演化至今，负责开启第四个伟大时代的催化剂、助产士和先驱。”
因此，人类的终极使命和宇宙角色，便是去实现“设计者时代”的全部潜力——即设计出那些本身就具备设计能力的系统。而这，正是我们今天所说的通用人工智能。
“我鼓励大家，以我们作为宇宙演化特殊角色的自豪感，以一种探索未知的冒险精神，去勇敢地拥抱这个必然到来的未来。”
参考资料：
1. https ://www. youtube.com/watch?v=f9KDMFZqu_Y
阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”
https ://wx. zsxq.com/group/454854145828
未来知识库是“欧米伽未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https ://wx. zsxq.com/group/454854145828进入。
截止到3月31日”未来知识库”精选的百部前沿科技趋势报告
（加入未来知识库，全部资料免费阅读和下载）
牛津未来研究院《将人工智能安全视为全球公共产品的影响、挑战与研究重点》
麦肯锡：超级智能机构：赋能人们释放人工智能的全部潜力
AAAI2025关于人工智能研究未来研究报告
斯坦福：2025斯坦福新兴技术评论：十项关键技术及其政策影响分析报告（191页）
壳牌：2025能源安全远景报告：能源与人工智能（57页）
盖洛普&牛津幸福研究中心：2025年世界幸福报告（260页）
Schwab：2025未来共生：以集体社会创新破解重大社会挑战研究报告（36页）
IMD：2024年全球数字竞争力排名报告：跨越数字鸿沟人才培养与数字法治是关键（214页）
DS系列专题：DeepSeek技术溯源及前沿探索，50页ppt
联合国人居署：2024全球城市负责任人工智能评估报告：利用AI构建以人为本的智慧城市（86页）
TechUK：2025全球复杂多变背景下的英国科技产业：战略韧性与增长路径研究报告（52页）
NAVEXGlobal：2024年十大风险与合规趋势报告（42页）
《具身物理交互在机器人-机器人及机器人-人协作中的应用》122页
2025-2035年人形机器人发展趋势报告53页
EvaluatePharma：2024年全球生物制药行业展望报告：增长驱动力分析（29页）
【AAAI2025教程】基础模型与具身智能体的交汇，350页ppt
Tracxn：2025全球飞行汽车行业市场研究报告（45页）
谷歌：2024人工智能短跑选手（AISprinters）：捕捉新兴市场AI经济机遇报告（39页）
【斯坦福博士论文】构建类人化具身智能体：从人类行为中学习
《基于传感器的机器学习车辆分类》最新170页
美国安全与新兴技术中心：2025CSET对美国人工智能行动计划的建议（18页）
罗兰贝格：2024人形机器人的崛起：从科幻到现实：如何参与潜在变革研究报告（11页）
兰德公司：2025从研究到现实：NHS的研究和创新是实现十年计划的关键报告（209页）
康桥汇世（CambridgeAssociates）：2025年全球经济展望报告（44页）
国际能源署：2025迈向核能新时代
麦肯锡：人工智能现状，组织如何重塑自身以获取价值
威立（Wiley）：2025全球科研人员人工智能研究报告（38页）
牛津经济研究院：2025TikTok对美国就业的量化影响研究报告：470万岗位（14页）
国际能源署（IEA）：能效2024研究报告（127页）
Workday：2025发挥人类潜能：人工智能（AI）技能革命研究报告（20页）
CertiK：Hack3D：2024年Web3. 0安全报告（28页）
世界经济论坛：工业制造中的前沿技术：人工智能代理的崛起》报告
迈向推理时代：大型语言模型的长链推理研究综述
波士顿咨询：2025亚太地区生成式AI的崛起研究报告：从技术追赶者到全球领导者的跨越（15页）
安联（Allianz）：2025新势力崛起：全球芯片战争与半导体产业格局重构研究报告（33页）
IMT：2025具身智能（EmbodiedAI）概念、核心要素及未来进展：趋势与挑战研究报告（25页）
IEEE：2025具身智能（EmbodiedAI）综述：从模拟器到研究任务的调查分析报告（15页）
CCAV：2025当AI接管方向盘：自动驾驶场景下的人机交互认知重构、变革及对策研究报告（124页）
《强化学习自我博弈方法在兵棋推演分析与开发中的应用》最新132页
《面向科学发现的智能体人工智能：进展、挑战与未来方向综述》
全国机器人标准化技术委员会：人形机器人标准化白皮书（2024版）（96页）
美国国家科学委员会（NSB）：2024年研究与发展-美国趋势及国际比较（51页）
艾昆纬（IQVIA）：2025骨科手术机器人技术的崛起白皮书：创新及未来方向（17页）
NPL&Beauhurst：2025英国量子产业洞察报告：私人和公共投资的作用（25页）
IEAPVPS：2024光伏系统经济与技术关键绩效指标（KPI）使用最佳实践指南（65页）
AGI智能时代：2025让DeepSeek更有趣更有深度的思考研究分析报告（24页）
2025军事领域人工智能应用场景、国内外军事人工智能发展现状及未来趋势分析报告（37页）
华为：2025鸿蒙生态应用开发白皮书（133页
《超级智能战略研究报告》
中美技术差距分析报告2025
欧洲量子产业联盟（QuIC）：2024年全球量子技术专利态势分析白皮书（34页）
美国能源部：2021超级高铁技术（Hyperloop）对电网和交通能源的影响研究报告（60页）
罗马大学：2025超级高铁（Hyperloop）：第五种新型交通方式-技术研发进展、优势及局限性研究报告（72页）
兰德公司：2025灾难性网络风险保险研究报告：市场趋势与政策选择（93页）
GTI：2024先进感知技术白皮书（36页）
AAAI：2025人工智能研究的未来报告：17大关键议题（88页）
安联Allianz2025新势力崛起全球芯片战争与半导体产业格局重构研究报告
威达信：2025全球洪水风险研究报告：现状、趋势及应对措施（22页）
兰德公司：迈向人工智能治理研究报告：2024EqualAI峰会洞察及建议（19页）
哈佛商业评论：2025人工智能时代下的现代软件开发实践报告（12页）
德安华：全球航空航天、国防及政府服务研究报告：2024年回顾及2025年展望（27页）
奥雅纳：2024塑造超级高铁（Hyperloop）的未来：监管如何推动发展与创新研究报告（28页）
HSOAC：2025美国新兴技术与风险评估报告：太空领域和关键基础设施（24页）
Dealroom：2025欧洲经济与科技创新发展态势、挑战及策略研究报告（76页）
《无人机辅助的天空地一体化网络：学习算法技术综述》
谷歌云（GoogleCloud）：2025年AI商业趋势白皮书（49页）
《新兴技术与风险分析：太空领域与关键基础设施》最新报告
150页！《DeepSeek大模型生态报告》
军事人工智能行业研究报告：技术奇点驱动应用加速智能化重塑现代战争形态-250309（40页）
真格基金：2024美国独角兽观察报告（56页）
璞跃（PlugandPlay）：2025未来商业研究报告：六大趋势分析（67页）
国际电工委员会（IEC）：2025智能水电技术与市场展望报告（90页）
RWS：2025智驭AI冲击波：人机协作的未来研究报告（39页）
国际电工委员会（IEC）：2025智能水电技术与市场展望报告（90页）
RWS：2025智驭AI冲击波：人机协作的未来研究报告（39页）
未来今日研究所2025年科技趋势报告第18版1000页
模拟真实世界：多模态生成模型的统一综述
中国信息协会低空经济分会：低空经济发展报告（2024-2025）（117页）
浙江大学：2025语言解码双生花：人类经验与AI算法的镜像之旅（42页）
人形机器人行业：由“外”到“内”智能革命-250306（51页）
大成：2025年全球人工智能趋势报告：关键法律问题（28页）
北京大学：2025年DeepSeek原理和落地应用报告（57页）
欧盟委员会人工智能与未来工作研究报告
加州大学伯克利分校：面向科学发现的多模态基础模型：在化学、材料和生物学中的应用
电子行业：从柔性传感到人形机器人触觉革命-250226（35页）
RT轨道交通：2024年中国城市轨道交通市场数据报告（188页）
FastMoss：2024年度TikTok生态发展白皮书（122页）
CheckPoint：2025年网络安全报告-主要威胁、新兴趋势和CISO建议（57页）
【AAAI2025教程】评估大型语言模型：挑战与方法，199页ppt
《21世纪美国的主导地位：核聚变》最新报告
沃尔特基金会（VoltaFoundation）：2024年全球电池行业年度报告（518页）
斯坦福：2025斯坦福新兴技术评论：十项关键技术及其政策影响分析报告（191页）
国际科学理事会：2025为人工智能做好国家研究生态系统的准备-2025年战略与进展报告（英文版）（118页）
光子盒：2025全球量子计算产业发展展望报告（184页）
奥纬论坛：2025塑造未来的城市研究报告：全球1500个城市的商业吸引力指数排名（124页）
FutureMatters：2024新兴技术与经济韧性：日本未来发展路径前瞻报告（17页）
《人类与人工智能协作的科学与艺术》284页博士论文
《论多智能体决策的复杂性：从博弈学习到部分监控》115页
《2025年技术展望》56页slides
大语言模型在多智能体自动驾驶系统中的应用：近期进展综述
【牛津大学博士论文】不确定性量化与因果考量在非策略决策制定中的应用
皮尤研究中心：2024美国民众对气候变化及应对政策的态度调研报告：气候政策对美国经济影响的多元观点审视（28页）
空间计算行业深度：发展趋势、关键技术、行业应用及相关公司深度梳理-250224（33页）
Gartner：2025网络安全中的AI：明确战略方向研究报告（16页）
北京大学：2025年DeepSeek系列报告-提示词工程和落地场景（86页）
北京大学：2025年DeepSeek系列报告-DeepSeek与AIGC应用（99页）
CIC工信安全：2024全球人工智能立法的主要模式、各国实践及发展趋势研究报告（42页）
中科闻歌：2025年人工智能技术发展与应用探索报告（61页）
AGI智能时代：2025年Grok-3大模型：技术突破与未来展望报告（28页）
上下滑动查看更多
