Local dendritic balance enables learning of efficient representations in networks of spiking neurons
局部樹突平衡使尖峰神經(jīng)元網(wǎng)絡(luò)能夠?qū)W習(xí)高效表示。
https://www.pnas.org/doi/full/10.1073/pnas.2021925118
摘要
神經(jīng)網(wǎng)絡(luò)如何通過局部可塑性機制學(xué)習(xí)高效表示復(fù)雜且高維的輸入？ 經(jīng)典的表征學(xué)習(xí)模型假設(shè)前饋權(quán)重是通過成對的類赫布（Hebbian-like）可塑性機制學(xué)習(xí)的。
在這里，我們展示了成對的類赫布可塑性機制只有在對神經(jīng)動力學(xué)和輸入統(tǒng)計特性提出不切實際的要求時才能發(fā)揮作用。 為了克服這些限制，我們從第一性原理推導(dǎo)出一種基于電壓依賴性突觸可塑性規(guī)則的學(xué)習(xí)方案。 在此方案中，遞歸連接學(xué)會在單個樹突隔室中局部平衡前饋輸入，從而可以調(diào)節(jié)突觸可塑性以學(xué)習(xí)高效的表征。 我們在模擬中證明了，即使對于復(fù)雜的高維輸入以及抑制性傳遞延遲的情況，這種學(xué)習(xí)方案也能穩(wěn)健地工作，而類赫布可塑性機制在這種情況下會失效。 我們的研究結(jié)果直接將樹突的興奮-抑制平衡與體內(nèi)觀察到的電壓依賴性突觸可塑性聯(lián)系起來，并表明這兩者對于表征學(xué)習(xí)都至關(guān)重要。
高效編碼 | 突觸可塑性 | 平衡狀態(tài) | 神經(jīng)采樣 | 樹突計算
許多神經(jīng)系統(tǒng)需要在其活動中編碼高維且復(fù)雜的輸入信號。長期以來，人們一直假設(shè)這些編碼是高度高效的；也就是說，神經(jīng)活動能夠忠實反映輸入信號，同時還要滿足能量和信息的限制條件（1–3）。對于脈沖神經(jīng)元群體來說，這種高效編碼需要具備兩個核心特征：第一，群體中的神經(jīng)活動必須協(xié)調(diào)一致，以確保沒有多余的脈沖被激發(fā)（4）；第二，單個神經(jīng)元的活動應(yīng)能表示輸入信號中反復(fù)出現(xiàn)的模式，這些模式反映了感官刺激的統(tǒng)計特性（2, 3）。那么，如何通過局部可塑性規(guī)則實現(xiàn)這種協(xié)調(diào)以及高效的表征呢？
為了協(xié)調(diào)神經(jīng)脈沖，選擇編碼神經(jīng)元之間正確的遞歸連接至關(guān)重要。特別是，遞歸連接必須確保神經(jīng)元不會冗余地發(fā)放脈沖來編碼相同的輸入。早期的研究結(jié)果表明，在無結(jié)構(gòu)網(wǎng)絡(luò)中，當(dāng)興奮性和抑制性電流在網(wǎng)絡(luò)中平均相互抵消時，神經(jīng)脈沖的冗余性會降至最低（5–7），這被稱為松散的全局興奮-抑制（E-I）平衡（8）。為了達(dá)到這種狀態(tài)，可以隨機選擇遞歸連接，并使其具有適當(dāng)?shù)钠骄鶑姸?，從而?dǎo)致異步且不規(guī)則的神經(jīng)活動（5），正如在體內(nèi)觀察到的情況（4, 9）。最近的研究進(jìn)一步表明，當(dāng)興奮性和抑制性電流不僅在平均意義上，而且在快速時間尺度上和單個神經(jīng)元內(nèi)都能精確抵消時，遞歸連接可以確保更高效的編碼（4），這被稱為緊密的詳細(xì)E-I平衡（8）。在這種情況下，遞歸連接需要經(jīng)過精細(xì)調(diào)節(jié)，以確保網(wǎng)絡(luò)對輸入的響應(yīng)能夠精確分布在群體中。為了實現(xiàn)這種復(fù)雜的遞歸連接性，已經(jīng)提出了不同的局部可塑性規(guī)則，它們能夠穩(wěn)健地收斂到緊密平衡狀態(tài)，從而確保網(wǎng)絡(luò)能夠高效地對輸入信號做出脈沖響應(yīng)（10, 11）。
為了高效編碼高維輸入信號，神經(jīng)表征還需要適應(yīng)輸入的統(tǒng)計特性。通常，高維信號以反復(fù)出現(xiàn)的時空模式的形式包含冗余信息，而編碼神經(jīng)元可以通過在活動中表示這些模式來減少活動。例如，在自然圖像的高效編碼中，神經(jīng)元的活動應(yīng)能表示邊緣的存在，因為這些邊緣在圖像中無處不在（3）。早期關(guān)于遞歸網(wǎng)絡(luò)的研究表明，通過類赫布學(xué)習(xí)調(diào)整前饋權(quán)重可以找到這種高效的表征（12, 13）。在赫布學(xué)習(xí)中，輸入中模式的反復(fù)出現(xiàn)與突觸后活動相關(guān)聯(lián)，使神經(jīng)元成為這些模式的檢測器。遞歸連接通過迫使神經(jīng)元對輸入中的不同模式發(fā)放脈沖，間接指導(dǎo)了這一學(xué)習(xí)過程。最近的研究嚴(yán)格形式化了這一思想，應(yīng)用于平衡網(wǎng)絡(luò)中的脈沖神經(jīng)元模型（11）以及從生成模型中采樣的脈沖神經(jīng)元模型（14–17）。這些方法的巨大優(yōu)勢在于，學(xué)習(xí)規(guī)則可以從第一性原理推導(dǎo)出來，并且結(jié)果與實驗測量到的依賴于脈沖時間的可塑性（STDP）曲線相似。
然而，為了實現(xiàn)高效表征的學(xué)習(xí)，這些模型對網(wǎng)絡(luò)動力學(xué)提出了嚴(yán)格的要求。最關(guān)鍵的是，遞歸抑制必須確保神經(jīng)反應(yīng)足夠去相關(guān)。在神經(jīng)采樣方法中，學(xué)習(xí)因此依賴于強烈的“贏家通吃”動力學(xué)（14–17）。在平衡網(wǎng)絡(luò)框架中，抑制作用的傳遞必須近乎瞬時，以確保強去相關(guān)（18）。這些要求在現(xiàn)實情況下可能無法滿足，因為在現(xiàn)實中，神經(jīng)活動通常表現(xiàn)出正相關(guān)性（19–22）。
在此，我們推導(dǎo)出一種克服這些限制的學(xué)習(xí)方案。首先，我們表明，當(dāng)神經(jīng)活動相關(guān)時，前饋連接的學(xué)習(xí)必須結(jié)合關(guān)于其他神經(jīng)元活動的非局部信息。其次，我們表明，遞歸連接可以通過學(xué)習(xí)在樹突上局部平衡特定的前饋輸入，從而提供這種非局部信息。在脈沖神經(jīng)網(wǎng)絡(luò)的模擬中，我們展示了基于樹突平衡的學(xué)習(xí)相較于類赫布學(xué)習(xí)在高效編碼高維信號方面的優(yōu)勢。因此，我們擴展了“緊密平衡抑制作用會在局部提供群體編碼信息”的思想，并證明它不僅可以用于將神經(jīng)反應(yīng)分布在整個群體中，還可以用于改進(jìn)前饋權(quán)重的學(xué)習(xí)。
結(jié)果
本文的目標(biāo)是通過神經(jīng)脈沖高效編碼連續(xù)的高維輸入信號。在下文中，我們將解釋神經(jīng)元如何通過局部可塑性機制學(xué)習(xí)這些輸入的高效表征。我們首先展示緊密的胞體平衡如何引導(dǎo)神經(jīng)脈沖，將編碼分布到整個群體中。然后，我們展示樹突水平上的緊密平衡如何指導(dǎo)前饋權(quán)重中高效表征的學(xué)習(xí)。
背景：具有緊密興奮-抑制（E-I）平衡的脈沖神經(jīng)元實現(xiàn)高效編碼
我們的模型與先前關(guān)于平衡脈沖網(wǎng)絡(luò)的研究中的模型類似（11, 23）。
目標(biāo)是找到最高效的脈沖編碼，使得在單個神經(jīng)元的平均發(fā)放率保持固定的情況下，能夠?qū)崿F(xiàn)對輸入的最佳重建（詳見補充信息附錄B部分）。為了測試輸入的重建效果，我們考慮從神經(jīng)響應(yīng)中得到的最佳線性讀出 ，并量化平均解碼損失。
其中 Nx 是輸入的數(shù)量。需要注意的是，讀出模塊并不是網(wǎng)絡(luò)的一部分，而只是用于定義一個計算目標(biāo)的指導(dǎo)。因此，學(xué)習(xí)高效編碼的過程等價于在給定最佳解碼器 D 和固定發(fā)放率的情況下，通過局部可塑性規(guī)則調(diào)整，以最小化損失函數(shù) L 。
脈沖神經(jīng)元模型。脈沖神經(jīng)元被建模為隨機泄漏積分-發(fā)放（LIF）神經(jīng)元。更具體地說，這里使用的模型是帶有逃逸噪聲的脈沖響應(yīng)模型的一個特例，這是一種將生物物理通道噪聲和隨機輸入對神經(jīng)脈沖的影響綜合起來的現(xiàn)象學(xué)噪聲模型（24）。這種脈沖的隨機性是必要的，因為在具有傳輸延遲的平衡網(wǎng)絡(luò)中，確定性神經(jīng)元會導(dǎo)致網(wǎng)絡(luò)行為不穩(wěn)定（18），并且它還能夠直接與神經(jīng)采樣以及通過期望最大化（EM）實現(xiàn)的無監(jiān)督學(xué)習(xí)建立聯(lián)系（補充信息附錄B部分）。神經(jīng)元 j 發(fā)放脈沖的概率取決于其膜電位，具體形式如下：
需要注意的是，為簡化起見，在該模型中編碼神經(jīng)元通過抑制性連接直接耦合，但類似的動態(tài)行為和學(xué)習(xí)特性也可以在包含抑制性中間神經(jīng)元的網(wǎng)絡(luò)中實現(xiàn)（11）。
通過遞歸可塑性學(xué)習(xí)高效的脈沖編碼脈沖神經(jīng)元可以通過在胞體處緊密平衡前饋輸入和遞歸輸入，將神經(jīng)反應(yīng)高效地分布到整個群體中以響應(yīng)輸入信號（4, 11）（圖 1B）。事實上，輸入的緊密平衡是通過梯度下降最小化解碼損失來學(xué)習(xí)高效編碼的直接結(jié)果（推導(dǎo)過程詳見補充信息附錄 B 部分）。為了學(xué)習(xí)這種緊密平衡，遞歸權(quán)重根據(jù)以下規(guī)則進(jìn)行調(diào)整：
因此，當(dāng)神經(jīng)元 k 活躍且神經(jīng)元 j 的胞體電位處于不平衡狀態(tài)（即 時，權(quán)重 會發(fā)生變化以平衡 。需要注意的是，所有神經(jīng)元都有一個自突觸（autapse），它通過學(xué)習(xí)來平衡自身的膜電位，這也可以被解釋為在脈沖發(fā)放后對膜電位的一種近似重置。
這種緊密平衡使得高效編碼成為可能，因為一旦輸入信號被某個編碼神經(jīng)元的脈沖所編碼，該脈沖將大致抵消對所有其他神經(jīng)元的興奮性前饋輸入，從而抑制進(jìn)一步的脈沖發(fā)放。從技術(shù)角度來看，通過遞歸可塑性學(xué)習(xí)平衡會導(dǎo)致遞歸權(quán)重“解碼”群體活動到每個神經(jīng)元的膜電位上，即 （其中 是最優(yōu)解碼器）。因此，膜電位反映了編碼誤差，即全局編碼目標(biāo)，并且僅當(dāng)全局編碼未能很好地捕捉信號時，才會驅(qū)動脈沖發(fā)放。
通過前饋可塑性學(xué)習(xí)高效的表征為了實現(xiàn)對高維信號的高效編碼，前饋權(quán)重 F 應(yīng)根據(jù)輸入信號的統(tǒng)計特性進(jìn)行調(diào)整。為此，可以推導(dǎo)出一個針對權(quán)重 的可塑性規(guī)則，該規(guī)則通過梯度下降最小化解碼損失 L（補充信息附錄 B 部分），其結(jié)果為：
直觀上，這一規(guī)則促使神經(jīng)元 j 將其輸出 相關(guān)聯(lián)，除非群體已經(jīng)對該輸入進(jìn)行了編碼。為了提取后一種信息，可塑性規(guī)則需要一個解碼值 ，其中包含了群體中其他神經(jīng)元對輸入i 的編碼信息。
因此，我們得出結(jié)論：高效的編碼依賴于兩種方式的關(guān)于其他神經(jīng)元的信息：1）神經(jīng)元需要知道哪些內(nèi)容已經(jīng)被編碼，以避免脈沖發(fā)放的冗余（動力學(xué)）；2）前饋連接的可塑性需要知道神經(jīng)元對特定輸入的編碼內(nèi)容，以避免表征中的冗余（學(xué)習(xí)）。雖然用于高效脈沖動力學(xué)的遞歸權(quán)重 可以通過局部學(xué)習(xí)實現(xiàn)（公式 4），但正確學(xué)習(xí)前饋突觸 對于點神經(jīng)元來說無法局部實現(xiàn)，因為它們?nèi)狈﹃P(guān)于單個輸入 的群體編碼知識。
接下來，我們將介紹本文的主要結(jié)果：類似于通過胞體處所有前饋和遞歸輸入的緊密平衡實現(xiàn)高效脈沖發(fā)放，高效表征的局部學(xué)習(xí)可以通過在樹突隔室中將特定前饋輸入與遞歸輸入緊密平衡來實現(xiàn)。從生理學(xué)角度來看，我們認(rèn)為這對應(yīng)于不同樹突隔室中空間分離的輸入，其中遞歸連接平衡了局部膜電位。我們將這種對解碼損失梯度的局部實現(xiàn)與僅具有胞體平衡的點神經(jīng)元所需的常見局部梯度近似進(jìn)行對比。
僅胞體平衡需要局部學(xué)習(xí)的近似方法由于點神經(jīng)元的突觸無法獲取單個輸入的群體編碼信息，以往的方法使用了一種局部近似 ，其中僅考慮了前突觸和后突觸電流（圖 2E）：
我們將由公式 4 和公式 6 組成的這種學(xué)習(xí)方案稱為胞體平衡（SB）。一個幾乎完全相同的設(shè)置已在參考文獻(xiàn) [11] 中提出。我們將其視為一類更大范圍的類赫布（Hebbian-like）學(xué)習(xí)規(guī)則的典型例子，這些規(guī)則已被用于建模表征學(xué)習(xí)（有關(guān)文獻(xiàn)中相關(guān)模型和學(xué)習(xí)規(guī)則的更詳細(xì)討論，請參見補充信息附錄 C 部分）。
這類類赫布學(xué)習(xí)規(guī)則在神經(jīng)元不同時編碼時遵循正確的梯度，因此在學(xué)習(xí)過程中不存在非局部依賴性。這種情況發(fā)生在每次只有一個突觸后電位 非零時，例如在具有極強抑制作用的“贏家通吃”電路中（[15]），或者當(dāng)突觸后電位時間極短時（[14]）。當(dāng)編碼中的神經(jīng)突觸后電位 z(t) 不相關(guān)時，這種學(xué)習(xí)規(guī)則也近似正確（[11, 12]）。然而，這對網(wǎng)絡(luò)的動力學(xué)提出了很高的要求，這最終限制了其編碼的多樣性，并且在現(xiàn)實條件下很可能無法滿足。
樹突平衡允許高效表征的局部學(xué)習(xí)當(dāng)群體中的神經(jīng)突觸后電位 z(t) 存在相關(guān)性時，學(xué)習(xí)高效表征需要突觸能夠獲取關(guān)于群體編碼的信息。為此，我們在突觸 處引入局部樹突電位 ，并通過樹突遞歸連接 將神經(jīng)元 k 耦合到這些膜電位上（圖 2B）。隨后，胞體膜電位被實現(xiàn)為局部樹突電位的線性疊加：
我們將這種學(xué)習(xí)方案稱為樹突平衡（DB）?？梢钥闯?，前饋權(quán)重和遞歸權(quán)重的學(xué)習(xí)規(guī)則都依賴于局部樹突電位，同時它們也對局部樹突電位產(chǎn)生影響。這使得遞歸輸入能夠局部調(diào)節(jié)前饋可塑性。然而，這也要求前饋和遞歸權(quán)重在學(xué)習(xí)過程中協(xié)同工作。我們提出了三種不同的實現(xiàn)方式，通過以比前饋權(quán)重更快或相同的時間尺度學(xué)習(xí)遞歸權(quán)重來確保這種協(xié)同作用（補充信息附錄 B.3）。我們展示了這三種方法產(chǎn)生的結(jié)果相似，并且在性能上等同于解析解（公式 5）（補充信息附錄，圖 S2 和 S3）。
可以將依賴于膜電位的學(xué)習(xí)規(guī)則在時間上進(jìn)行積分，從而得到依賴于多個神經(jīng)元相對脈沖時間的學(xué)習(xí)規(guī)則。如果僅考慮一個輸入神經(jīng)元和一個編碼神經(jīng)元，使用樹突平衡和胞體平衡進(jìn)行學(xué)習(xí)會得到相同的依賴于脈沖時間的可塑性規(guī)則。該規(guī)則完全對稱，并在兩個神經(jīng)元幾乎同時發(fā)放脈沖時增強連接（圖 2E）。然而，如果興奮性輸入神經(jīng)元的脈沖伴隨著編碼群體中的抑制性脈沖，則依賴于脈沖時間的規(guī)則會打破對稱性（圖 2H）。這表明，使用樹突平衡進(jìn)行學(xué)習(xí)可以考慮超過成對交互的作用，從而使神經(jīng)元能夠在群體編碼中找到自己的位置。
模擬實驗為了說明使用 SB 和 DB 的網(wǎng)絡(luò)在學(xué)習(xí)過程中產(chǎn)生的差異，我們設(shè)置了一系列復(fù)雜性逐漸增加的編碼任務(wù)。最重要的是，我們將展示真實神經(jīng)動力學(xué)的兩個方面使得學(xué)習(xí)變得特別困難：1）由編碼神經(jīng)元表示的模式的相關(guān)性出現(xiàn)，以及 2）遞歸抑制的傳遞延遲。這兩個方面都會導(dǎo)致編碼神經(jīng)元活動 z 中的相關(guān)性，正如我們所展示的，這些相關(guān)性對類赫布學(xué)習(xí)學(xué)到的表征有不利影響。
通過遞歸和前饋突觸可塑性學(xué)習(xí)高效編碼在第一個測試中，我們在手寫數(shù)字?jǐn)?shù)據(jù)集 MNIST 上進(jìn)行了比較（圖 3C）。我們將數(shù)據(jù)集限制為數(shù)字 0、1 和 2，這些數(shù)字由九個編碼神經(jīng)元進(jìn)行編碼。網(wǎng)絡(luò)的初始狀態(tài)為隨機前饋權(quán)重和零遞歸權(quán)重。為了展示遞歸和前饋可塑性的影響，我們將學(xué)習(xí)分為兩個階段：首先，遞歸可塑性學(xué)習(xí)如何平衡神經(jīng)元的前饋輸入，這導(dǎo)致了神經(jīng)元對輸入信號的響應(yīng)去相關(guān)化（圖 3B），并減少了解碼損失（圖 3A）。隨后，前饋可塑性被激活，它將前饋權(quán)重與輸入中的反復(fù)出現(xiàn)的模式對齊（圖 3D）。這進(jìn)一步減少了解碼損失，并帶來了更好的重建效果（圖 3C）。由于圖像很少由超過一到兩個神經(jīng)元編碼（圖 3B），群體中的交互作用較小，因此兩種設(shè)置找到了類似的解決方案。
樹突平衡可以解開復(fù)雜的相關(guān)性。 我們的理論結(jié)果表明，當(dāng)學(xué)習(xí)到的表征之間存在刺激相關(guān)性時，DB 網(wǎng)絡(luò)應(yīng)該比 SB 網(wǎng)絡(luò)找到更好的編碼方式。為了驗證這一點，我們設(shè)計了一個 F?ldiak 條形任務(wù)（12）的變體，這是一個經(jīng)典的獨立成分分離任務(wù)。在原始任務(wù)中，神經(jīng)元對獨立出現(xiàn)但重疊的垂直和水平條形圖像進(jìn)行編碼。由于神經(jīng)元的數(shù)量等于圖像中可能的條形數(shù)量，每個神經(jīng)元應(yīng)學(xué)會表示一個單獨的條形以實現(xiàn)良好的編碼。我們保留了這一基本設(shè)置，但額外引入了某些條形對之間的相關(guān)性（圖 4A）。然后，我們可以調(diào)整條形對內(nèi)的相關(guān)強度 p ，使它們更容易或更難以分離。
模擬結(jié)果確實顯示，當(dāng)學(xué)習(xí)到的表征相關(guān)時，SB 的性能下降，而 DB 模型則不會（圖 4B）。對于 SB，解碼損失隨著 p的增加而增長，并在 p = 0.8 左右達(dá)到最大值。這是因為類赫布學(xué)習(xí)（如 SB 中使用的）將神經(jīng)元的活動與輸入信號中模式的出現(xiàn)相關(guān)聯(lián)，而不管群體活動如何。因此，兩個條形之間的相關(guān)性可能會導(dǎo)致最初僅編碼其中一個條形的神經(jīng)元將其感受野擴展到包含第二個條形（圖 4B）。因此，隨著相關(guān)性 p 的增加，神經(jīng)元開始表示兩個條形，而這并不反映輸入的真實統(tǒng)計特性，因為單個條形仍然可能出現(xiàn)。對于 p > 0.8 ，解碼損失下降，因為在這一點上，相關(guān)條形對的出現(xiàn)變得如此頻繁，以至于表征再次反映了圖像的統(tǒng)計特性。相比之下，DB 使神經(jīng)元能夠交流它們編碼的輸入信號部分，因此它們始終學(xué)會為單個條形編碼。因此，對于任何條形相關(guān)強度，DB 的解碼損失都小于 SB（圖 4B）。
我們預(yù)計，當(dāng)需要編碼復(fù)雜刺激時，SB 和 DB 網(wǎng)絡(luò)之間也會出現(xiàn)類似的差異。因此，在第三個實驗中，我們測試了網(wǎng)絡(luò)對自然場景圖像的編碼性能（圖 4C）。為了進(jìn)一步測試壓縮量（輸入數(shù)量與編碼神經(jīng)元數(shù)量的比例）是否會對 SB 和 DB 網(wǎng)絡(luò)產(chǎn)生不同的影響，我們在保持群體發(fā)放率固定為 1,000 Hz 的情況下，改變了編碼神經(jīng)元的數(shù)量。通過這種方式，只有壓縮量，而不是總脈沖數(shù)量，會影響網(wǎng)絡(luò)的性能。
模擬結(jié)果顯示，對于自然圖像，DB 網(wǎng)絡(luò)比 SB 網(wǎng)絡(luò)學(xué)習(xí)到更高效的表征。隨著網(wǎng)絡(luò)對輸入信號的壓縮程度增加，性能差異變得更大（圖 4D）。這種效應(yīng)似乎與我們在條形任務(wù)中的觀察有關(guān)：具有少量編碼神經(jīng)元的網(wǎng)絡(luò)必須學(xué)習(xí)相關(guān)表征（補充信息附錄，圖 S10），這使得 SB 不再適用。我們發(fā)現(xiàn)，SB 網(wǎng)絡(luò)始終需要大約兩倍數(shù)量的神經(jīng)元才能達(dá)到與 DB 網(wǎng)絡(luò)相似的編碼性能（圖 4D）。
樹突平衡可以應(yīng)對抑制性傳遞延遲編碼神經(jīng)元之間的相關(guān)性也可能由抑制性傳遞延遲引入（18）。因此，我們預(yù)計 DB 網(wǎng)絡(luò)比 SB 網(wǎng)絡(luò)對長傳遞延遲更具魯棒性。為了研究這一點，我們模擬了一個包含 200 個神經(jīng)元的網(wǎng)絡(luò)，并設(shè)置了一系列時間步長，將其解釋為傳遞延遲。我們將延遲從，并觀察延遲如何影響自然圖像的編碼性能。事實上，當(dāng)傳遞延遲超過 0.3 毫秒時，SB 網(wǎng)絡(luò)的性能急劇下降到基線水平（圖 5A）。所有神經(jīng)元都學(xué)習(xí)到了相同的前饋權(quán)重（圖 5B）。相比之下，即使在更長的延遲下，DB 網(wǎng)絡(luò)仍然表現(xiàn)良好。雖然較長的延遲也會導(dǎo)致 DB 的編碼性能下降，但 DB 防止了群體編碼的突然崩潰。
為了說明導(dǎo)致 SB 性能崩潰的機制，我們還運行了模擬，研究網(wǎng)絡(luò)在更長傳遞延遲下學(xué)習(xí)對 MNIST 圖像進(jìn)行編碼的情況（圖 5C）。在使用類赫布可塑性學(xué)習(xí)后，神經(jīng)元表現(xiàn)出高度同步的活動（圖 5D），并且學(xué)習(xí)到非常相似的前饋權(quán)重（圖 5E）。當(dāng)傳遞延遲變長時，抑制往往無法防止多個具有相似前饋權(quán)重的神經(jīng)元同時發(fā)放以編碼相同的輸入。類赫布可塑性可能會加劇這種效應(yīng)，因為它會將同時發(fā)放的神經(jīng)元的前饋權(quán)重調(diào)整到同一方向。相比之下，使用 DB 學(xué)習(xí)的神經(jīng)元利用了抑制提供的信息，即使這些信息到達(dá)得太晚而無法防止同時發(fā)放。因此，即使在長傳遞延遲的情況下，DB 也能學(xué)會不同的表征。
最后，這兩種學(xué)習(xí)方案之間的差異在快速且復(fù)雜的時序動態(tài)輸入信號中仍然存在。為了證明這一點，我們重復(fù)了參考文獻(xiàn) [11] 中的一個實驗，其中自然語音聲音由 100 個神經(jīng)元的群體進(jìn)行編碼（圖 5F–H）。在這種情況下，SB 只能在瞬時傳遞（即無延遲）時學(xué)習(xí)到適當(dāng)?shù)木幋a，這是通過在每個時間倉內(nèi)去除最不可能的脈沖來禁止同時發(fā)放實現(xiàn)的。然而，即使在極短的傳遞延遲（）下，類赫布可塑性仍會導(dǎo)致病態(tài)的網(wǎng)絡(luò)行為（圖 5H）。相比之下，DB 在兩種條件下都能學(xué)習(xí)到同樣高效的編碼（圖 5G）。
過去，神經(jīng)表征的形成通常被建模為成對的類赫布學(xué)習(xí)規(guī)則（11, 12, 14–17, 25–27）。然而，直接從神經(jīng)編碼模型推導(dǎo)出的學(xué)習(xí)規(guī)則通常不僅需要前突觸和后突觸活動的信息，還需要整個群體的編碼誤差。通常認(rèn)為這些信息在突觸處并非局部可用，因此被排除在方程之外，從而產(chǎn)生了成對的類赫布學(xué)習(xí)規(guī)則。在這里，我們發(fā)現(xiàn)，當(dāng)神經(jīng)活動相關(guān)時，忽略關(guān)于群體編碼的信息會對學(xué)習(xí)產(chǎn)生不利影響，而這種相關(guān)性在現(xiàn)實條件下是普遍存在的。在這種情況下，類赫布學(xué)習(xí)會導(dǎo)致一種高度低效的編碼，甚至比隨機連接的編碼效率還低（圖 4 和圖 5）。為了解決這個問題，我們展示了如何通過具有樹突平衡和電壓依賴性可塑性規(guī)則的神經(jīng)元在局部實現(xiàn)基于誤差的學(xué)習(xí)。這表明樹突平衡可能在高效表征形成的突觸可塑性中起著關(guān)鍵作用。
為什么類赫布學(xué)習(xí)在神經(jīng)活動相關(guān)時會失?。炕谡`差的學(xué)習(xí)又是如何防止這一點的？
當(dāng)神經(jīng)元的活動相關(guān)時，類赫布學(xué)習(xí)會將這些神經(jīng)元的前饋權(quán)重調(diào)整到相似的方向。這進(jìn)一步加強了神經(jīng)元之間的相關(guān)性——一個惡性循環(huán)，最終可能導(dǎo)致高度冗余的表征和極端相關(guān)的脈沖發(fā)放。編碼神經(jīng)元之間的強相關(guān)性通常意味著某些輸入在群體中被過度表示，而另一些則被表示不足，分別表現(xiàn)為負(fù)或正的編碼誤差。與類赫布學(xué)習(xí)相反，基于誤差的學(xué)習(xí)選擇性地削弱對過度表示輸入的連接，從而有助于減少編碼神經(jīng)元之間的相關(guān)性。在我們的模型中，編碼神經(jīng)元之間的相關(guān)性可能源于輸入信號中學(xué)習(xí)到的表征的相關(guān)性或遞歸抑制的傳遞延遲。由于輸入相關(guān)性導(dǎo)致的相關(guān)發(fā)放原則上可以通過增加編碼神經(jīng)元的數(shù)量來解決，因為這會增加學(xué)習(xí)到的表征的獨立性（圖 4D 和補充信息附錄，圖 S10）。另一方面，由于遞歸抑制的傳遞延遲導(dǎo)致的相關(guān)性是平衡網(wǎng)絡(luò)中出現(xiàn)的一個基本問題（18, 23, 28）。在這里，類赫布學(xué)習(xí)的確切崩潰點取決于輸入類型和網(wǎng)絡(luò)規(guī)模，并且在簡單場景中可能發(fā)生在更長的傳遞延遲下。然而，即使是中等規(guī)模的網(wǎng)絡(luò)在接收復(fù)雜輸入信號時，這種效應(yīng)也非常嚴(yán)重——即使是在亞毫秒級的延遲下，類赫布學(xué)習(xí)也可能導(dǎo)致神經(jīng)表征的崩潰以及整個群體幾乎完全同步的脈沖發(fā)放（圖 5）。相比之下，基于誤差的學(xué)習(xí)始終避免了這種崩潰，因此我們認(rèn)為，當(dāng)存在傳遞延遲時，基于誤差的學(xué)習(xí)變得不可或缺。
為了使單個突觸能夠局部獲取編碼誤差，我們引入了與這些誤差成比例的平衡樹突電位。這可以通過在樹突上通過遞歸可塑性學(xué)習(xí)平衡來實現(xiàn)，因為這樣網(wǎng)絡(luò)會自動找到對神經(jīng)活動的最佳解碼以匹配前饋輸入。然而，通過輸入平衡呈現(xiàn)誤差是一個相當(dāng)通用的原則，理論上也可以在其他地方呈現(xiàn)編碼誤差。例如，基于速率的預(yù)測編碼和稀疏編碼模型表明，編碼誤差會呈現(xiàn)在其他神經(jīng)群體的活動中（29–32）。然而，這一想法不能輕易轉(zhuǎn)移到脈沖神經(jīng)元中，因為編碼誤差會被神經(jīng)脈沖機制校正；因此，無法在同一單元中同時呈現(xiàn)正誤差和負(fù)誤差。然而，在這些理論中，神經(jīng)學(xué)習(xí)依賴于這一點，實際上，目前仍沒有確鑿的實驗證據(jù)證明這種誤差單元的存在（33, 34）。另一種理論認(rèn)為，預(yù)測誤差由雙房室神經(jīng)元中胞體和樹突之間的電壓差呈現(xiàn)（35–37）。相比之下，我們的研究表明，一種從每個樹突隔室中興奮和抑制不匹配計算出的編碼誤差可以作為單個突觸非常精確的學(xué)習(xí)線索。支持這一觀點的是，實驗確實觀察到了由可塑性維持的局部樹突輸入平衡（8, 38–40）。此外，這種單個神經(jīng)元上的平衡還可以解釋皮層動力學(xué)的核心特征（4），例如高度不規(guī)則的脈沖發(fā)放（41, 42），但調(diào)諧相似的神經(jīng)元膜電位卻相關(guān)（43, 44）。
實施樹突平衡的一個明顯缺點是遞歸抑制性連接數(shù)量的大幅增加。即使在中等規(guī)模的網(wǎng)絡(luò)中，將每個神經(jīng)元連接到其他神經(jīng)元樹突上的每一個前饋突觸也會極其昂貴。然而，我們發(fā)現(xiàn)模型中只有少量抑制性連接對學(xué)習(xí)是必要的，即那些在發(fā)放活動相關(guān)聯(lián)的神經(jīng)元之間的強連接。我們在條形任務(wù)的例子中證明了這一點，其中90%的樹突連接可以在不影響學(xué)習(xí)結(jié)果的情況下被修剪（補充信息附錄，圖 S9）。此外，在我們的模型中，抑制是通過編碼神經(jīng)元之間的直接遞歸連接實現(xiàn)的，但如果抑制通過中間神經(jīng)元介導(dǎo)，則需要更少的連接。通過引入具有廣泛特征選擇性的抑制性中間神經(jīng)元，可以合并提供大致相同信息的抑制性連接（11）。因此，我們預(yù)計所提出的學(xué)習(xí)方案的主要優(yōu)勢也可以通過相對較少的連接實現(xiàn)。
生物學(xué)合理性我們的模型是對現(xiàn)有點神經(jīng)元模型（11）的最簡單擴展，這使我們能夠形式化地推導(dǎo)并分離出樹突平衡對表征學(xué)習(xí)的影響。雖然更復(fù)雜的樹突結(jié)構(gòu)和非線性動力學(xué)模型可以闡明它們在神經(jīng)計算中的作用（45），但非線性動力學(xué)也會改變計算能力（45），從而妨礙與先前學(xué)習(xí)模型的直接比較。盡管如此，基于樹突平衡所提出的學(xué)習(xí)是否能由生物神經(jīng)元實現(xiàn)仍然是一個開放問題。以下我們將討論所提出學(xué)習(xí)方案的主要要求。
樹突平衡模型的一個核心要素是突觸可塑性對局部膜電位的依賴性。事實上，已有研究表明局部膜電位是決定突觸可塑性的關(guān)鍵因素（46–49）。這種電壓依賴性可塑性被認(rèn)為主要由局部鈣濃度介導(dǎo)，而局部鈣濃度緊密跟隨局部膜電位的變化（50, 51），并局部調(diào)節(jié)神經(jīng)可塑性（52）。正如我們的模型所要求的那樣，這種電壓依賴性意味著抑制作用可以對局部興奮性突觸可塑性產(chǎn)生重大影響（53, 54），這一點也已在實驗中得到證實（8, 55）。然而，這些電壓依賴性可塑性機制的具體功能角色仍然是一個重要的開放問題（8, 45）。我們的工作提出，電壓依賴性突觸可塑性的一個核心特征是，單個突觸的可塑性不僅取決于前突觸和后突觸活動，還取決于群體中其他神經(jīng)元的活動。
所提出的規(guī)則如何與實驗觀察到的電壓依賴性可塑性相關(guān)？許多實驗表明，興奮性可塑性需要膜電位的強烈去極化，例如在后突觸發(fā)放脈沖期間發(fā)生的情況（46）。我們的前饋可塑性規(guī)則可以與受這些實驗啟發(fā)的可塑性規(guī)則相協(xié)調(diào)（56, 57）（詳見圖 6B）。抑制性（遞歸）可塑性的電壓依賴性直到最近才開始受到研究（8）。最近的實驗證據(jù)表明，這種抑制性可塑性與興奮性可塑性類似，也是鈣依賴性的，并且需要后突觸發(fā)放脈沖（58, 59）。我們的遞歸可塑性規(guī)則類似于先前的電壓依賴性抑制性可塑性模型（11, 60），這些模型為后突觸膜電位設(shè)定了目標(biāo)值。與我們的規(guī)則類似，這些規(guī)則也沒有明確考慮后突觸發(fā)放脈沖對可塑性誘導(dǎo)的要求。我們推測，這種要求使網(wǎng)絡(luò)能夠優(yōu)先選擇活動相關(guān)的神經(jīng)元之間的連接，這些連接對學(xué)習(xí)尤為重要（補充信息附錄，B.3 節(jié)）。需要進(jìn)一步的實驗和理論研究來理解這種抑制性可塑性的具體機制和目的。
該學(xué)習(xí)方案的另一個要求是樹突樹上不同隔室之間必須很好地隔離，以便遞歸輸入可以調(diào)節(jié)特定突觸的可塑性（圖 6A）。在生物神經(jīng)元中，樹突是電子分布元件，樹突樹上可能存在強烈的電壓梯度（61, 62）。這些電壓差異是由輸入電流的強烈衰減造成的，這意味著單個突觸可以產(chǎn)生非常局部化的效果（63）。因此，如果隔室之間足夠分離，特別是在不同樹突分支上的隔室（38），則生物神經(jīng)元中存在所需的隔室隔離。這種空間上分離的隔室之間的隔離也減少了它們之間的非線性相互作用。因此，來自不同隔室的任何凈興奮在胞體處的整合近似是線性的（63），正如我們的模型所要求的那樣。然而，與興奮不同的是，遠(yuǎn)端樹突上的抑制作用主要通過門控興奮局部起作用，因此樹突抑制對胞體膜電位的影響可能非常微弱（64）。不過，樹突抑制向胞體傳播對于網(wǎng)絡(luò)功能來說并非必要，因為任何剩余的凈興奮也可以通過靠近胞體的可塑性抑制性突觸來平衡。因此，模型對學(xué)習(xí)和網(wǎng)絡(luò)功能的關(guān)鍵要求也可以在生物神經(jīng)元中滿足。
然而，生物神經(jīng)元中突觸如何組織在這些樹突隔室上似乎與我們的模型相矛盾：首先，在我們的模型中，單獨的前饋輸入（主要是興奮性輸入）具有孤立的樹突電位，但眾所周知，相關(guān)的興奮性突觸通常會在樹突上聚集成簇（65–67）；其次，在我們的模型中，我們通常發(fā)現(xiàn)抑制性突觸比興奮性突觸更多，但在樹突分支上，興奮性突觸的數(shù)量遠(yuǎn)多于抑制性突觸，例如在培養(yǎng)的大鼠海馬神經(jīng)元樹突上比例為 4:1（38）。我們認(rèn)為，這兩個差異可以通過將提供給模型的單獨連續(xù)輸入視為成簇、相關(guān)突觸產(chǎn)生的總電流來解決。這種聚簇如何通過突觸可塑性組織是一個正在進(jìn)行的研究課題（68），未來的工作需要將這些可塑性機制與表征學(xué)習(xí)相結(jié)合。
實驗預(yù)測最終，我們可以從模型中生成兩個可以直接測量的實驗預(yù)測： 第一，如果輸入電流在神經(jīng)元樹突上局部不平衡，遞歸可塑性將學(xué)會建立局部的興奮-抑制（E-I）平衡。 第二，我們的模型預(yù)測局部抑制的強度決定了突觸可塑性的符號：在興奮性前饋突觸的可塑性誘導(dǎo)期間，激活靶向相同樹突位置的抑制性神經(jīng)元將導(dǎo)致興奮性突觸的長時程抑制（LTD）。我們預(yù)計即使抑制信號在前突觸和后突觸發(fā)放之后短暫到達(dá)，這種效應(yīng)仍然會持續(xù)。這些預(yù)測主要適用于感覺編碼神經(jīng)元群體，但類似于胞體平衡模型的模型也被提出用于解決其他任務(wù)（69, 70），這表明樹突平衡可能對學(xué)習(xí)具有更普遍的相關(guān)性。事實上，抑制調(diào)節(jié)可塑性的跡象不僅可以在視覺皮層中發(fā)現(xiàn)（55），還可以在海馬體（38）以及可能的其他區(qū)域中觀察到（8, 71）。
總結(jié)在此，我們提出了一種學(xué)習(xí)方案，可以促進(jìn)神經(jīng)群體對復(fù)雜刺激的高度協(xié)作群體編碼。我們的結(jié)果對成對赫布學(xué)習(xí)作為表征學(xué)習(xí)范式的有效性提出了質(zhì)疑，并表明樹突平衡與突觸可塑性之間存在直接聯(lián)系。
材料與方法神經(jīng)活動在離散的時間步長 中進(jìn)行模擬。圖像以連續(xù)輸入的形式呈現(xiàn)，每張圖像持續(xù) 100 毫秒，即在前 70 毫秒內(nèi)保持恒定輸入，然后在接下來的 30 毫秒內(nèi)通過線性插值過渡到下一張圖像，以避免輸入信號的不連續(xù)性。在語音任務(wù)中，音頻信號被編碼為 25 個頻率通道，采樣率為 200 Hz，并在線性插值數(shù)據(jù)點之間呈現(xiàn)。對于每個實驗，創(chuàng)建了一個訓(xùn)練集和一個測試集。網(wǎng)絡(luò)在訓(xùn)練集上進(jìn)行在線學(xué)習(xí)；在固定間隔內(nèi)關(guān)閉學(xué)習(xí)規(guī)則，并在測試集上評估性能。性能通過瞬時解碼損失（公式 1）進(jìn)行衡量，同時學(xué)習(xí)解碼器 D 和網(wǎng)絡(luò)。解碼器的更新規(guī)則如下：
對于DB網(wǎng)絡(luò)，我們提出了三種學(xué)習(xí)方案，涉及快速或慢速的遞歸可塑性（詳細(xì)內(nèi)容見補充材料附錄B.3節(jié)）。為了減少大規(guī)模網(wǎng)絡(luò)的計算時間，我們使用最優(yōu)遞歸權(quán)重的解析解 作為所提學(xué)習(xí)方案的近似。在圖3和圖5的C-E部分，展示了具有快速遞歸可塑性和權(quán)重衰減技巧（補充材料中的DB衰減）的樹突平衡學(xué)習(xí)方案。對于圖4以及圖5的F-H部分，我們使用了解析解。在參考模擬中將所提學(xué)習(xí)方案與解析解進(jìn)行比較（補充材料附錄中的圖S2和S3），結(jié)果一致發(fā)現(xiàn)網(wǎng)絡(luò)參數(shù)非常相似，并且達(dá)到了相同的性能。
在早期模擬中，我們觀察到編碼性能在很大程度上受到群體發(fā)放率的影響，即有多少個脈沖可用于編碼輸入信號。為了避免在比較兩種學(xué)習(xí)方案時出現(xiàn)這種影響，我們額外引入了一種快速補償機制來固定發(fā)放率，通過改變閾值 來實現(xiàn)。我們再次強調(diào)，這種適應(yīng)性在原則上并不是確保網(wǎng)絡(luò)穩(wěn)定功能所必需的。實際上，錯誤校正的平衡狀態(tài)抑制已經(jīng)足以使網(wǎng)絡(luò)發(fā)展為低發(fā)放率模式（參考文獻(xiàn)11）。通過根據(jù)以下公式適應(yīng)閾值 來強制固定發(fā)放率：
原文鏈接：https://www.pnas.org/doi/full/10.1073/pnas.2021925118
熱門跟貼