西風(fēng) 一水 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
24小時不間斷學(xué)習(xí)且不遺忘，一輩子也只有4GB的“知識儲量”？
科學(xué)家們最新研究，計算出了人類學(xué)習(xí)積累上限，就這么多~~（甚至還不如一塊U盤能裝）。
這是來自Cell旗下神經(jīng)科學(xué)頂刊Neuron上的一項工作，它提出了一個發(fā)人深省的悖論：
人類信息處理速度僅為每秒10bit，而我們的感官系統(tǒng)卻能以每秒10億bit的速率收集數(shù)據(jù)。
由此，按照每秒10bit的速度來算，人類24小時不間斷學(xué)習(xí)且不遺忘，100年儲存的知識也不過4GB。
什么概念呢？來和大模型做個對比：
大語言模型每個參數(shù)就能存儲2bit知識，一個70億參數(shù)的模型就能存儲140億bit的知識。
△結(jié)論來自華人學(xué)者朱澤園”Physics of Language Models”系列論文
難怪研究人員還提出了一項推論：
隨著算力的不斷提升，機器在各類任務(wù)中的表現(xiàn)超越人類只是時間問題。
另外，按照這項研究的結(jié)論，馬斯克目前的腦機接口研究也有問題了。
研究人員表示：
我們預(yù)測馬斯克的大腦與計算機的通信速率大約為10bit/s。與其使用Neuralink的電極束，不如直接使用電話，因為電話的數(shù)據(jù)傳輸率已經(jīng)被設(shè)計得與人類語言相匹配，而人類語言又與感知和認知的速度相匹配。
一時間，這一系列驚人推論在學(xué)術(shù)圈各大社區(qū)引起廣泛討論。
美國知名醫(yī)師科學(xué)家、斯克里普斯轉(zhuǎn)化研究所創(chuàng)始人Eric Topol也忍不住下場轉(zhuǎn)發(fā)。
為啥我們一次只能思考一件事呢？
所以，結(jié)論如何得出的？
中樞神經(jīng)系統(tǒng)“串行”影響信息處理速率
簡單說，要想計算人一輩子能學(xué)多少知識，我們得先從大腦處理信息的速度說起。
從對幾項日?；顒樱ㄈ绱蜃?、說話演講、擰魔方等）的評估來看，他們初步得出“大腦處理信息的速度約為10bits/s”這一結(jié)論。
以人類打字為例，高級打字員每分鐘能打120個單詞（每秒2個），平均每個單詞按5bit計算，那么信息傳輸速率就是10bits/s。
同樣，若以英語演講為例，如果將節(jié)奏控制在舒適程度——講話速度為每分鐘160個單詞，則信息傳輸速率為13bits/s，略高于打字。
再比如“盲擰魔方”這項競技活動，選手需先觀察魔方幾秒，然后閉眼還原。以一次世界紀(jì)錄的成績12.78s為例，其中觀察階段約5.5s，由于魔方可能的排列數(shù)約為4.3x1016≈265，則最終信息傳輸速率約為11.8bits/s
使用類似方式，作者估算了更多場景下的信息處理速度（從經(jīng)典實驗室實驗到現(xiàn)代電子競技等），結(jié)果顯示為5~50bits/s之間。
由此也得出一個整體結(jié)論：人類思考的速度始終在10bits/s的尺度范圍內(nèi)
按照這一標(biāo)準(zhǔn)，假設(shè)我們能活100歲，每天24小時不間斷學(xué)習(xí)（且剔除遺忘因素），那么我們最終的“知識儲量”也將不到4GB。
事實上，與10bits/s形成鮮明對照的是——人類感官系統(tǒng)以約10億bits/s的速率收集數(shù)據(jù)。
10bits/s VS 10億bits/s
具體來說，我們每天從周圍環(huán)境中獲取信息的速率就以Gbps/s起算。
舉個栗子，視覺系統(tǒng)中單個視錐細胞能以270bits/s的速度傳輸信息，而一只眼睛就擁有約600萬個視錐細胞。
那么，光是雙眼視覺系統(tǒng)接收信息的速度就高達3.2Gbps/s。照此推算，我們接收信息的速度與處理信息的速度之間的差距比值竟然達到了108:1。
要知道，人類大腦里有超過850億個神經(jīng)元，其中三分之一集中在大腦皮層組成了復(fù)雜的神經(jīng)網(wǎng)絡(luò)。也就是說，明明單個神經(jīng)元就能輕松處理超過10bits/s的信息。
而現(xiàn)在所觀察到的現(xiàn)象卻與之不符，顯而易見，上述二者之間存在一定矛盾
從神經(jīng)元本身的性能來看，它們具備快速處理和傳輸信息的能力，但這并沒有直接轉(zhuǎn)化為整體認知速度的提升，說明還有其他因素在起作用。
那么，為什么人類信息處理速度如此之慢？
按照論文分析，原因可能在以下幾個方面：
最主要的，中樞神經(jīng)系統(tǒng)在處理信息時采用的是串行方式，對信息傳輸速率有所限制。
這里要提到并行處理和串行處理之間的區(qū)別。
所謂并行處理，顯然指多個任務(wù)同時進行。以我們看東西為例，視網(wǎng)膜每秒會產(chǎn)生100萬個輸出信號，每一個信號都是視網(wǎng)膜神經(jīng)元對視覺圖像局部計算的結(jié)果，由此同時處理大量視覺信息。
而在中樞神經(jīng)系統(tǒng)中，他們觀察到了一種“心理不應(yīng)期”（psychological refractory period）效應(yīng)，即同時面對多個任務(wù)，中樞神經(jīng)系統(tǒng)只將注意力集中在一個任務(wù)上。
當(dāng)然，他們也進一步探究了出現(xiàn)“串行”背后的原因，結(jié)論是這與演化過程早期的神經(jīng)系統(tǒng)功能有關(guān)
展開來說，那些最早擁有神經(jīng)系統(tǒng)的生物，核心利用大腦來檢測氣味分子的濃度梯度，以此判斷運動方向進行捕食和避開敵人。長此以往，這種特定功能需求使得大腦逐漸形成了“一次處理一個任務(wù)”的認知架構(gòu)。
在進化過程中，大腦的這種架構(gòu)逐漸固化，雖然隨著物種的進化，大腦的功能越來越復(fù)雜，但這種早期形成的認知架構(gòu)仍然在一定程度上限制了我們同時處理多個任務(wù)和快速處理信息的能力。
除此之外，還有理論認為存在 “注意瓶頸” 等限制了信息處理。注意力是認知過程中的一個重要因素，它就像一個瓶頸，限制了能夠進入認知加工階段的信息數(shù)量和速度，不過其具體運作機制目前人類尚未完全理解。
總之，按照論文的觀點，10bits/s這樣的速度已經(jīng)可以滿足人類生存需求，之所以還存在龐大的神經(jīng)元網(wǎng)絡(luò)，原因可能是我們需要頻繁切換任務(wù)，并整合不同神經(jīng)回路之間的信息。
馬斯克腦機接口過于理想化
不過話雖如此，鑒于10bits/s和10億bits/s之間的巨大差距，人類越來越無法忍受慢節(jié)奏了。
由此論文也得出一個推斷：隨著算力的不斷提升，機器在各類任務(wù)中的表現(xiàn)超越人類只是時間問題。
換成今天的話說，以AI為代表的新物種將大概率逐漸“淘汰”人類。
另外，論文還順帶調(diào)侃了馬斯克的腦機接口系統(tǒng)。
其中提到，馬斯克的行動基于肉體帶寬不足對處理信息的限制。按照老馬的設(shè)想，一旦通過高帶寬接口直接連接人腦和計算機，人類就可以更自由地和AI交流，甚至共生。
然而他們認為這一想法有些過于理想化。
10bits/s的限制源于大腦基本結(jié)構(gòu)，一般無法通過外部設(shè)備來突破。
由此也提出開頭提到的建議：
與其使用Neuralink的電極束，不如直接使用電話，因為電話的數(shù)據(jù)傳輸率已經(jīng)被設(shè)計得與人類語言相匹配，而人類語言又與感知和認知的速度相匹配。
不過上述言論也并非意味著他們對腦機接口失去信心，他們認為其關(guān)鍵并不在于突破信息速率限制，而是以另一種方式提供和解碼患者所需信息。
作者之一為上海交大校友
這項研究由來自加州理工學(xué)院生物學(xué)與生物工程系的兩位學(xué)者完成。
Jieyu Zheng目前是加州理工學(xué)院五年級博士研究生，她還是上海交大本科校友，還有康奈爾大學(xué)生物工程學(xué)士學(xué)位，在劍橋大學(xué)獲得教育與心理學(xué)碩士學(xué)位。
她的研究重點聚焦于認知靈活性、學(xué)習(xí)和記憶，特別關(guān)注大腦皮層和海馬體在這些功能中的核心作用。目前她正在進行一個名為“曼哈頓迷宮中的小鼠”項目。
Markus Meister是Jieyu Zheng的導(dǎo)師，1991年起在哈佛大學(xué)擔(dān)任教授，2012年于加州理工學(xué)院擔(dān)任生物科學(xué)教授，研究領(lǐng)域是大型神經(jīng)回路的功能，重點關(guān)注視覺和嗅覺的感官系統(tǒng)。
Markus Meister曾于1993年被評為Pew學(xué)者，2009年因其在視覺和大腦研究方面的貢獻獲Lawrence C. Katz神經(jīng)科學(xué)創(chuàng)新研究獎以及Minerva基金會頒發(fā)的“金腦獎”。
新研究發(fā)布后，作者們就在X上當(dāng)起了自個兒的自來水。
我們提出的特征是腦科學(xué)中最大的未解數(shù)值。
Markus Meister還調(diào)侃每秒10bit的處理速度可是經(jīng)過了同行評審的。
隨后學(xué)術(shù)圈各大社區(qū)也針對這項研究開始討論起來。
有人認為論文讀起來很有意思，發(fā)人深省：
簡化內(nèi)容，只聚焦于中樞神經(jīng)系統(tǒng)并且將討論的內(nèi)容分為內(nèi)部和外部大腦兩部分后，更有意義了。
這是一個非常重要的視角，值得深思……
然鵝，也有不少人提出疑問。
我越想這篇論文中的某些估計，就越懷疑。例如，關(guān)于打字員與聽者之間比特率的等效性（S.3）似乎有誤。正如香農(nóng)所指出的，英文字母的熵約為每字符1bit。但如果是一連串的單詞或是概念，情況又如何呢？
作者默認了一個假設(shè)，即每秒10bit是慢的。與我們在硅基底上實現(xiàn)的通用計算系統(tǒng)相比，這的確很慢，但這種假設(shè)并不能線性地轉(zhuǎn)化為大腦的信息吞吐量和存在的感知。
對于這項研究，你有什么看法呢？
論文鏈接：https://arxiv.org/pdf/2408.10234
[1]https://www.caltech.edu/about/news/thinking-slowly-the-paradoxical-slowness-of-human-behavior
[2]https://www.cell.com/neuron/abstract/S0896-6273(24)00808-0
[3]https://news.ycombinator.com/item?id=42449602
[4]https://arxiv.org/pdf/2408.10234
熱門跟貼