【源头活水】人类活一百年,处理的信息只有 4GB?大脑处理速度只有果蝇的16倍
仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接
“问渠那得清如许,为有源头活水来”,通过前沿领域知识的学习,从其他研究领域得到启发,对研究问题的本质有更清晰的认识和理解,是自我提高的不竭源泉。为此,我们特别精选论文阅读笔记,开辟“源头活水”专栏,帮助你广泛而深入的阅读科研文献,敬请关注!
家人们!最近奶茶发现一篇看起来非常有意思的论文!
你们有没有想过,咱们的大脑一辈子到底能“装”下多少知识?
最近,加州理工学院算出了人类学习的“终极天花板”——
就算你是个卷王之王,24小时不眠不休、过目不忘地学上一百年,知识储量也只有区区4GB!
(比你微信聊天记录的临时缓存可能还要少)
走,一起看看这神奇的研究是怎么算出来的!
我们大脑处理信息的“网速”有多快?
简单来说,要计算人一辈子能学多少知识,得先从大脑处理信息的速度入手。这就像给大脑测网速,看看它的“下载”和“处理”能力。
研究团队运用信息论的框架(基于香农熵和互信息),去测量我们在做各种事情时,大脑处理信息的速率。他们观察了从日常到极限的各种活动:打字、说话演讲、盲拧魔方等。
以打字为例,通常情况下,高级打字员每分钟能打120个单词,每秒2个单词,假设平均每个单词包含5比特的信息量,那么信息传输速率就可以计算出约为10比特/秒。
而其他的例如感知、动作和认知等任务速度也基本在10比特/秒的区间:
打字:以高级打字员的打字的信息速率约为10比特/秒(考虑到英语的冗余性,每字符约1比特)。
盲解魔方:以世界竞赛中最好的纪录成绩为例,观察阶段的信息速率约为11.8比特/秒,表明感知和动作输出与观察阶段速率相当。
记忆竞赛:即使大脑飞速运转记牌,信息速率依然接近10比特/秒,例如快速卡片任务约为18比特/秒。
电竞高手务:比如电子竞技的《星际争霸》,操作拉满,信息速率大约10-16.7比特/秒。
这些场景下人类行为的信息吞吐量普遍在10比特/秒左右。
如果按照这个速度来计算的话,全年无休24小时不停学习,而且拥有完美的记忆力,一点都不会忘,这样坚持100年:
一年大约有31,557,600秒。
一百年就是3,155,760,000秒。
乘以每秒10比特的信息处理速度……
再换算成我们熟悉的GB(1GB=80亿比特)……
结果就是:大约3.94GB。
这么少?我眼睛一睁,看到的世界、耳朵听到的声音,信息量绝对不止这么点啊。
那就有一个问题:我们每天接收的海量信息去哪了?
这其实是因为我们获取信息的速度,和我们“消化”信息的速度,完全是两码事。
人类感官的收集速度是多少?
人类的感官系统就像超级接收器,以惊人的速度从环境中收集数据,以最常用的接收信息的视觉系统为例,其信息采集速率远超行为吞吐量,达到了Gbps级别。
根据过去的研究表明,单个视锥细胞的信息传输速率约为270bits/s。考虑到人眼大约拥有600万个视锥细胞,仅双眼视觉系统的信息输入速率就高达3.2Gbps(计算方式:270bits/s/细胞6,000,000细胞2≈3.2x10⁹bits/s=3.2Gbps)
人类感官输入速率与行为信息吞吐量之间的比例约为3.2Gbps:10bits/s≈3.2x10⁹:10≈3.2x10⁸≈10⁸:1。
那为森么速度差距这么大呢!
研究团队在论文中分析:人类大脑信息处理速度“慢”的核心原因,可以归结为“串行处理”和“进化遗留”。
首先,我们的大脑中枢在处理信息时,更倾向于“串行”方式,也就是一件事情一件事情地处理,没法像感官系统那样“并行”处理大量信息。
其次,这种“串行”模式可能与早期神经系统的功能有关,最初的大脑可能只需要处理一些简单的、线性的任务,进化就“保留”了这种处理模式。尽管大脑后来变得更复杂,但这个早期的“串行”架构仍然限制着我们现在的信息处理速度。
简单来说,就像我们的大脑习惯了“排队”处理信息,而不是“多线并行”,所以速度就慢下来了。当然,“注意力瓶颈”也可能是另一个限制因素。
“注意力瓶颈”(AttentionBottleneck)是认知心理学和神经科学中一个非常重要的概念,指的是我们的大脑在处理信息时,尤其是在进行有意识的、需要注意力的信息加工时,存在一个容量限制,就像一个瓶颈一样,限制了我们同时处理的信息量。
人类学习这么慢,会被大模型超越吗?
那人类为何能够仅凭10比特/秒的速率生存?
研究团队的答案是:可以的。
因为我们的祖先选择了一种生态位,那里的世界变化足够缓慢,使得以这种认知速率生存成为可能。
事实上,只有在最坏的情况下才需要10比特/秒的速率,在大多数时候,我们所处的环境变化节奏要悠闲得多。
这在一定程度上解释了青少年普遍认为“现实世界枯燥乏味”的观点,促使他们转而在快节奏的电子游戏中寻求慰藉。前几代人也不例外——他们转而寻求高速运动的刺激,例如滑雪或山地自行车。日常任务对于这些寻求刺激的人来说显得难以忍受的缓慢,因此将自身推向认知吞吐量的极限,本身就是一种令人愉悦的体验。
那么,这种相对较低的认知速率在自然界中究竟处于何种水平?
为了提供参照,研究团队列举了果蝇作为对比,其行为信息吞吐量仅为0.62比特/秒。
那和未来最有潜力替代人类的大模型做个对比呢?
我们从维基百科页面中提取知识图谱三元组,例如(美国,首都,华盛顿特区),并将其表示为元组形式。通过多个受控数据集,我们证实,即使在量化为int8的情况下,大语言模型也仅能且只能存储每个参数2比特的知识。而且,这些知识可以被灵活地提取出来,应用于各种下游任务
由此显著的速度对比,研究者们得出结论:随着算力的不断跃升,机器在多项任务上超越人类,可能只是时间问题。
马斯克的脑机接口能提速吗?
研究团队锐评了一下埃隆·马斯克的脑机接口项目Neuralink:
指出马斯克构建高带宽脑机接口的出发点,在于其认为生物肉体带宽限制了信息处理能力。
马斯克曾表示:
“从长期的生存角度来看,Neuralink的目的就是创建一种通往大脑的高带宽接口,使我们能够与人工智能共生。因为我们存在带宽瓶颈。你根本无法通过手指进行有效沟通,这速度太慢了。”
按照马斯克设想,通过高带宽接口直接连接人脑与计算机,即可突破这一限制,实现人脑与AI的自由交流乃至共生。
但是,研究团队指出—这一想法实在是过于理想化。
他们预测,就算装上Neuralink,人脑和计算机的通信速率,很可能还是被限制在10比特/秒左右。因为这个瓶颈是大脑内部的处理机制,而不是外部接口的问题。
与其耗费巨资研发Neuralink电极束,马斯克其实只需使用一部电话即可,电话的数据传输速率早已被设计为与人类语言相匹配,而人类语言的速度本身又与感知和认知的速度相匹配。
其核心症结在于,限制信息处理速率的,是中枢神经系统的串行处理模式,而非接口带宽。
结语
这篇论文最近在学术圈可是掀起了不小的波澜,讨论热度爆棚。
有小伙伴觉得论文角度清奇,而且颇能点拨一下老马脑机接口的研究。但也有不少人吐槽文中的一些估算显得有些“随意”,比如,用打字员的速度来代表人类认知行为的速度,真的靠谱吗?
相比我们在硅基系统上实现的超高速通用计算,人类10比特/秒的处理速度确实慢得像蜗牛,但这种直接对比是否合理呢?毕竟,大脑的信息吞吐量与人类存在的感知之间,恐怕不能简单地划等号。
其实翻看这些讨论,奶茶觉得认可和质疑双方都有道理。
文中的结论非常明确清晰,但是其统计行为吞吐量的方式-简单地将人脑的信息吞吐量与硅基系统进行线性对比,可能会忽略生物系统和人工系统在信息编码、处理和应用上的本质差异。
也许,人类大脑的这种“慢”,恰恰是其深度思考、灵活适应和产生意识的精妙所在,而非简单的“性能不足”呢?
这个4GB的“大脑硬盘”理论,让你焦虑了吗?
本文目的在于学术交流,并不代表本公众号赞同其观点或对其内容真实性负责,版权归原作者所有,如有侵权请告知删除。
收藏,分享、在看,给个三连击呗!