Concept Emergence from Complex Sensory Data: A Connectionist Model
從復(fù)雜感官數(shù)據(jù)中涌現(xiàn)概念：一個連接主義模型
https://files.osf.io/v1/resources/z47jb/providers/osfstorage/654fa6959a300900caedfe1b?format=pdf&action=download&direct&version=1
摘要：
本文提出了對之前由 de-Miguel & Sancho 引入的受貝特森（Bateson）啟發(fā)的概念生成模型的第一個近似連接主義實(shí)現(xiàn)。
1. 引言
人工智能（AI）中的感知問題關(guān)鍵在于如何通過連續(xù)數(shù)據(jù)的感知構(gòu)建世界的內(nèi)部模型或表征。在人類中，這些模型在區(qū)分和同化它們所感知的現(xiàn)實(shí)方面非常復(fù)雜。此外，它們極其靈活、可組合，并具有類似邏輯的操作。因此，將連續(xù)的傳感器數(shù)據(jù)與可組合的、“符號化”的世界內(nèi)部模型之間的橋梁是 AI 的關(guān)鍵。在文獻(xiàn)中，一些模型依賴于某種神經(jīng)符號混合方法的神經(jīng)網(wǎng)絡(luò)，而另一些則直接從原始數(shù)據(jù)中實(shí)現(xiàn)符號引擎。但在后者的案例中，這些數(shù)據(jù)通常是簡單且離散的。在其他一些方法中，該問題通過構(gòu)建一種預(yù)建模的本體論接口，或者通過將符號學(xué)習(xí)擬合到已知有解的數(shù)學(xué)問題中來解決。這些方法將在后續(xù)章節(jié)中詳細(xì)討論。然而，除了這個核心問題之外，還有一個額外的挑戰(zhàn)早在 1988 年就被福多（Fodor）和皮利辛（Pylyshyn）識別出來。問題是，符號化的結(jié)構(gòu)和過程是如何實(shí)際產(chǎn)生的——不是在理論邏輯框架或圖靈機(jī)的實(shí)現(xiàn)中，而是如何在類腦或連接主義系統(tǒng)中實(shí)際發(fā)生。顯然，人類可以在連接主義架構(gòu)（大腦）內(nèi)實(shí)現(xiàn)基于符號邏輯的思維，但理解如何人工復(fù)現(xiàn)這一過程是一個巨大的挑戰(zhàn)。盡管有一些早期的提議，其中討論了潛在的研究途徑，但這個問題的大部分仍然懸而未決。
本文介紹了一個新的模型，同時解決了這兩個挑戰(zhàn)。這一方法的核心是將概念或“共相”視為知識的基本單位，這或許與傳統(tǒng)文獻(xiàn)相反，可以不加區(qū)分地表達(dá)為符號系統(tǒng)或連接主義系統(tǒng)中的一個節(jié)點(diǎn)。所提出的模型由兩部分組成：（i）一個受貝特森啟發(fā)的模塊，用于無監(jiān)督地對感官數(shù)據(jù)進(jìn)行錨定或涌現(xiàn)；（ii）在連接主義架構(gòu)內(nèi)從這些數(shù)據(jù)中獲取概念和概念結(jié)構(gòu)的符號系統(tǒng)的實(shí)現(xiàn)。符號 AI 模型通常實(shí)現(xiàn)在計(jì)算機(jī)或圖靈機(jī)中，這些機(jī)器能夠在非常高的抽象層次上計(jì)算符號值。然而，本文提出的一個簡單模型可以從原始感官數(shù)據(jù)中實(shí)現(xiàn)類似形式概念分析（FCA）概念格的分層概念結(jié)構(gòu)，但不是在計(jì)算機(jī)內(nèi)，而是在類似于人工神經(jīng)網(wǎng)絡(luò)的連接主義模型中（盡管其動態(tài)過程略有不同）。這是一個同時具有連接主義和符號特征的模型，與神經(jīng)符號研究中流行的混合方法不同。這種模型的物理實(shí)現(xiàn)（眾所周知，F(xiàn)CA 模型需要大量內(nèi)存）對于類腦計(jì)算和工程可能具有巨大潛力。本文的范圍仍限于 AI 領(lǐng)域，尚未進(jìn)行任何物理實(shí)現(xiàn)。本文的貢獻(xiàn)僅限于理論模型層面。然而，該模型已在計(jì)算機(jī)中進(jìn)行了模擬，并以符號系統(tǒng)的形式進(jìn)行了形式化，取得了令人鼓舞的結(jié)果。
人類從感官知覺中學(xué)習(xí)和生成概念的能力至少可以追溯到柏拉圖時代，幾個世紀(jì)以來一直吸引著科學(xué)和哲學(xué)的關(guān)注。認(rèn)知科學(xué)作為一個跨學(xué)科領(lǐng)域，旨在探索這些現(xiàn)象，圍繞它產(chǎn)生了極其豐富的文獻(xiàn)。在許多情況下，人工智能（AI）的努力與認(rèn)知科學(xué)的路徑相結(jié)合，將技術(shù)應(yīng)用于生物啟發(fā)的神經(jīng)和感知系統(tǒng)。這一研究領(lǐng)域的早期里程碑是 1947 年的《我們?nèi)绾沃拦蚕啵郝犛X和視覺形式的感知》，它幾乎與早期控制論學(xué)者的工作同時推進(jìn)，并為今天認(rèn)知科學(xué)中的連接主義方法鋪平了道路。但在許多情況下，AI 也停留在更理論的層面，探索抽象的非具身模型，這些模型可以在不承擔(dān)生物學(xué)嚴(yán)謹(jǐn)性負(fù)擔(dān)的同時，以數(shù)學(xué)上的穩(wěn)健性揭示人類智能過程。這一研究方向的一個重要支柱集中在符號和基于邏輯的 AI 系統(tǒng)上，這些系統(tǒng)能夠模仿人類思維的一些非常重要的特征，如組合性、因果性或推理能力。這一方向的一些后續(xù)工作專注于概念和概念結(jié)構(gòu)，例如形式概念分析（FCA）和概念空間的發(fā)展。1990 年，符號和連接主義方法在 AI 研究中的優(yōu)勢和不足被著名地總結(jié)在《符號接地問題》中。這篇經(jīng)典文獻(xiàn)強(qiáng)調(diào)了符號模型在以智能方式處理復(fù)雜現(xiàn)實(shí)世界數(shù)據(jù)時的失敗，并指出需要一種混合方法，利用連接主義模型將符號“錨定”在感官數(shù)據(jù)中，然后在抽象層通過符號 AI 技術(shù)進(jìn)行操作。
1.1 符號接地問題
自符號接地問題（SGP symbol grounding problem）被提出以來，已有許多嘗試開發(fā)能夠解決該問題的模型，包括哈納德（Harnad）自身的混合模型。許多這些努力被塔德奧（Taddeo）和弗洛里迪（Floridi）在早期收集并討論過，在其中，作者們還引入了“零語義承諾條件”或“Z條件”的概念，作為對SGP任何有效解決方案的最終要求的總結(jié)。盡管本研究并不旨在以任何絕對的方式解決這一問題，但它肯定與SGP的許多方面是一致的。因此，值得在高層次上討論一些圍繞SGP的觀點(diǎn)。在上述研究中提出的Z條件，進(jìn)一步闡述了SGP，試圖為潛在解決方案設(shè)定更明確的標(biāo)準(zhǔn)以判定其是否合格。用作者的話來說，a) “不應(yīng)預(yù)設(shè)人工代理已經(jīng)安裝了某些語義資源（某種語義能力）”，b) “不應(yīng)通過某種已經(jīng)具備語義能力的‘外部力量’將語義資源上傳到代理中”。這一條件的含義是深遠(yuǎn)的。符號不僅需要從感官數(shù)據(jù)中涌現(xiàn)（SGP的“第一部分”），而且人工代理還需要自主學(xué)習(xí)如何識別這些符號作為具有某種感知現(xiàn)實(shí)的圖標(biāo)，并理解如何操作它們。否則，就會假設(shè)語義能力已經(jīng)存在于代理中，從而未能滿足Z條件。正是基于這一點(diǎn)，這些作者拒絕了（作為SGP的有效解決方案）例如沃格特（Vogt）的工作。在沃格特的研究中，他提出了一種方法，其中符號基于感觀運(yùn)動活動進(jìn)行接地，然后通過斯蒂爾斯（Steels）引入的“猜測游戲”實(shí)現(xiàn)代理之間的互動，從而產(chǎn)生意義。
如果可以討論的話，人類學(xué)習(xí)符號與感知現(xiàn)實(shí)之間聯(lián)系的過程并不是自主的。實(shí)際上，人類通過一個明確的訓(xùn)練過程來學(xué)習(xí)“A”是一個符號，以及“DAD”是一組與它親生父親現(xiàn)實(shí)相關(guān)的符號序列。因此，SGP（符號接地問題）在文獻(xiàn)中所表述的方式，對于理解人類數(shù)千年前是如何發(fā)展出基于聽覺或視覺符號的語義系統(tǒng)可能是至關(guān)重要的。然而，僅就符號在感官數(shù)據(jù)中的無監(jiān)督錨定本身而言，它對于人工智能和認(rèn)知科學(xué)領(lǐng)域具有巨大的應(yīng)用價(jià)值——即使代理在沒有監(jiān)督學(xué)習(xí)過程的情況下，無法解釋這些符號，如果它們被展示或提供給它。也許為了避免術(shù)語上的混淆，一些學(xué)者在提到SGP的第一部分時，使用了“錨定”而不是更具爭議性和煽動性的“接地”（Coradeschi和Saffiotti，2000）。然而，這些論文沒有區(qū)分監(jiān)督方法和自發(fā)的或無監(jiān)督的方法，這在研究自主智能行為時是一個重要的潛在方面。盡管存在這種區(qū)別，“接地”一詞似乎比“錨定”在當(dāng)前文獻(xiàn)中更受歡迎。因此，如今“接地”可能指任何試圖解決SGP第一部分的方法，或多或少成功地將符號“錨定”在感官數(shù)據(jù)中，或多或少需要監(jiān)督，但不一定以完整的形式討論或解決它。
本研究提出了一種從原始感官數(shù)據(jù)中生成形式概念和概念網(wǎng)絡(luò)的新方法。雖然可以說本文提出的模型可能使解決接地問題（在其完整形式）更近了一步，但這將是未來討論的內(nèi)容。相應(yīng)地，以下小節(jié)提供了與本文目標(biāo)一致的不同類型方法的多樣化總結(jié)，而這些方法并沒有明確地解決SGP。特別是，概念涌現(xiàn)、符號涌現(xiàn)和無監(jiān)督符號接地（或錨定）是本研究所在領(lǐng)域的研究方向。
1.2 概念涌現(xiàn)與符號涌現(xiàn)
“概念”這一術(shù)語在眾多學(xué)科中有著多種定義。多年來，計(jì)算機(jī)科學(xué)領(lǐng)域提出了許多概念理論。與前面提到的皮茨（Pitts）和麥卡洛克（McCulloch）的工作一致，早期的控制論學(xué)者，如維納（Wiener），提出了“共相”（universals）的概念，用以捕捉“是什么使一個正方形成為正方形”（Wiener, 1948b）。這一方向最終導(dǎo)向了連接主義方法，總體上更傾向于將概念或“共相”理解為模式。模式識別取得了巨大的進(jìn)展，展現(xiàn)出非常強(qiáng)大的結(jié)果，但其受限于訓(xùn)練數(shù)據(jù)的分布，并且在可解釋性和組合性方面面臨著重要的挑戰(zhàn)。然而，除了連接主義角度外，大多數(shù)概念學(xué)習(xí)方法都是從符號 AI 的角度提出的，并且強(qiáng)調(diào)語義。Goguen（2005）的工作對這些方法進(jìn)行了很好的綜述，其中包括 G?rdenfors 的幾何概念空間、Fauconnier 的符號概念空間、Barwise 和 Seligman 的信息流、Wille 的形式概念分析（FCA）、Sowa 的理論格以及 Fauconnier 和 Turner 的概念整合。盡管在這些理論中，概念可以被視為模式（與連接主義方法類似），但它們具有內(nèi)在的符號結(jié)構(gòu)，這使得它們具有很強(qiáng)的組合性（甚至可以創(chuàng)造虛構(gòu)內(nèi)容）、超出分布的學(xué)習(xí)能力和可解釋性（因此也具有語義和可溝通性）。因此，符號 AI 中的概念不僅是一個模式，而是一個泛化（可以說是最重要的特征），包含對組成它的各個部分的規(guī)則和關(guān)系的一定量推理。例如，當(dāng)回答“是什么使一個正方形成為正方形”這一問題時，答案不可避免地會涉及對角度或其他幾何屬性的推理。此外，它應(yīng)該是一個可以由其他模式組成的模式，所有這些模式都可以以有意義的方式進(jìn)行解釋和溝通（例如，允許對尚未見過的其他樣本進(jìn)行泛化），就像人類的概念一樣。
因此，當(dāng)處理原始數(shù)據(jù)時，許多概念學(xué)習(xí)的工作，包括神經(jīng)符號方法，首先專注于使用連接主義或其他機(jī)器學(xué)習(xí)模型到達(dá)一個符號層。只有這樣，才能從獲得的符號中構(gòu)建概念和概念結(jié)構(gòu)（Dai et al., 2018; Evans et al., 2021a）。換句話說，從文獻(xiàn)來看，符號涌現(xiàn)似乎是一個先于概念涌現(xiàn)的問題，因?yàn)橐坏臄?shù)據(jù)中提取出符號層，那么將基于符號的方法應(yīng)用于概念學(xué)習(xí)（如 FCA）就變得微不足道了。然而，與現(xiàn)狀相反，組合性和可解釋性似乎僅屬于符號方法，本研究提出的模型挑戰(zhàn)了這樣一種觀點(diǎn)，即像 FCA 這樣的符號模型生成的概念結(jié)構(gòu)不能自然地通過連接主義模型實(shí)現(xiàn)。換句話說，這項(xiàng)工作表明，符號涌現(xiàn)并不一定先于概念涌現(xiàn)。此外，它還表明，從感官數(shù)據(jù)中構(gòu)建豐富概念和概念結(jié)構(gòu)時，根本不需要符號結(jié)構(gòu)。這一觀點(diǎn)與概念的“類模式”性質(zhì)是一致的。就像人類可以思考沒有符號或語義標(biāo)簽的概念（比如某些語言中有而其他語言中沒有的詞匯），本論文提出的連接主義或亞符號模型可能完全有能力生成概念和概念結(jié)構(gòu)。此外，這些結(jié)構(gòu)還將展現(xiàn)出組合性、可解釋性和超出分布的學(xué)習(xí)能力，同時在模式識別方面也具備相當(dāng)?shù)募寄?/strong>。最后，需要指出的是，在本研究提出的模型中，符號結(jié)構(gòu)已經(jīng)以隱含的形式存在，但除非明確需要展開，否則無需展開，這將在方法部分進(jìn)行解釋。這種同時具有符號性和亞符號性的系統(tǒng)具有巨大優(yōu)勢——在任何時候都可以通過實(shí)現(xiàn)符號操作來增強(qiáng)模型，而在連接主義模型中設(shè)計(jì)這些操作則要困難得多。需要強(qiáng)調(diào)的是，本論文提出的模型模糊了連接主義和符號結(jié)構(gòu)之間的區(qū)別，因?yàn)樗鼈兛梢韵嗷ブ苯佑成洹?/strong>
由于本研究在符號和連接主義觀點(diǎn)之間來回切換，接下來的段落將回顧從這兩個角度出發(fā)的近期工作，這些工作試圖從感官數(shù)據(jù)中“涌現(xiàn)”出概念以及符號結(jié)構(gòu)。
1.3 文獻(xiàn)綜述
近年來，神經(jīng)符號研究投入了大量精力，將神經(jīng)或連接主義模型的優(yōu)勢與符號和基于邏輯的人工智能的優(yōu)勢相結(jié)合。這一領(lǐng)域一個非常近期且杰出的工作是 SATNet（Wang et al., 2019）。SATNet 通過為深度學(xué)習(xí)模型配備可微分的最大可滿足性求解器（MAXSAT），實(shí)現(xiàn)了邏輯推理。在該模型中，從數(shù)據(jù)中學(xué)習(xí)邏輯結(jié)構(gòu)的問題被轉(zhuǎn)化為為問題的一個明確定義的實(shí)例學(xué)習(xí) MAXSAT 解決方案。這非常有趣，因?yàn)榭梢院喕癁?MAXSAT 問題的邏輯結(jié)構(gòu)領(lǐng)域涵蓋了符號 AI 的很大一部分。借助 SATNet，深度學(xué)習(xí)的強(qiáng)大能力被用來以邏輯模式的形式提取知識。該模型的重要性不僅在于它為連接主義模型提供了推理或基于邏輯的學(xué)習(xí)等關(guān)鍵特性——這些特性傳統(tǒng)上被認(rèn)為僅屬于符號模型，還在于它證明了許多具有挑戰(zhàn)性的邏輯結(jié)構(gòu)可以通過最小監(jiān)督而非通常所需的大型數(shù)據(jù)集來學(xué)習(xí)。在處理原始感官數(shù)據(jù)（如數(shù)字像素圖像）時，模型需要先將其轉(zhuǎn)換為符號值，然后將其整合到網(wǎng)絡(luò)中。這一過程大致如下：（i）讀取傳感器數(shù)據(jù)，（ii）轉(zhuǎn)換為符號（例如，使用監(jiān)督神經(jīng)網(wǎng)絡(luò)分類器），（iii）將問題表達(dá)為 MAXSAT，以及（iv）通過優(yōu)化深度學(xué)習(xí)模型中 MAXSAT 實(shí)例的可微分實(shí)現(xiàn)，以誤差最小化的方式近似求解。這一框架在“使用 SATNet 的符號接地技術(shù)”（Topan et al., 2021）中得到了進(jìn)一步改進(jìn)。在這種情況下，MNIST 數(shù)據(jù)集中的數(shù)字分類任務(wù)被端到端地整合到 SATNet 中，無需顯式監(jiān)督，同時學(xué)習(xí)數(shù)獨(dú)的規(guī)則并解決棋盤。通過這種方式，作者聲稱解決了符號接地問題，盡管模型需要大量內(nèi)部的符號和邏輯知識來解決 MAXSAT 問題。此外，模型“知道”有十個可能的數(shù)字。這些數(shù)字通過聚類算法識別，但未被標(biāo)記，因?yàn)闆]有顯式監(jiān)督。然后，模型在學(xué)習(xí)數(shù)獨(dú)游戲的規(guī)則和解決方案的同時，揭示了數(shù)字的值，就好像模型在解一個方程組一樣。在揭示這些值的過程中，引入了隱式監(jiān)督，因?yàn)檎故窘o網(wǎng)絡(luò)的多個解決方案提供了足夠的信息來識別每個數(shù)字。盡管取得了巨大成就，但符號從感官數(shù)據(jù)中的涌現(xiàn)似乎在這種方法中顯得有些牽強(qiáng)且特定于應(yīng)用。另一個需要提及的方面是，盡管基于 SATNet 的模型可以通過連接主義架構(gòu)成功地學(xué)習(xí)邏輯結(jié)構(gòu)，但到目前為止，它們?nèi)孕枰獙⑤斎霐?shù)據(jù)表達(dá)為 MAXSAT 問題。在大多數(shù)情況下，這需要大量的符號預(yù)處理，從而在連接感官數(shù)據(jù)和基于連接主義的邏輯結(jié)構(gòu)學(xué)習(xí)之間造成了不連續(xù)性。換句話說，借助 SATNet，目前還無法實(shí)現(xiàn)一個僅基于連接主義的模型，用于從連續(xù)感官數(shù)據(jù)中獲取符號知識，且適用于廣泛領(lǐng)域。
比 Topan 等人討論的最后一篇工作稍早且有些類似的方法是“通過歸納學(xué)習(xí)連接機(jī)器學(xué)習(xí)與邏輯推理”（Dai et al., 2019）。該工作提出了一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，用于感知圖像中的像素?cái)?shù)據(jù)，以及一個基于邏輯的推理引擎，用于從前者中提取規(guī)則和知識。為了將網(wǎng)絡(luò)學(xué)到的模式轉(zhuǎn)換為推理引擎可以操作的符號，該模型（i）為這些模式分配了作者所稱的“偽標(biāo)簽”，然后（ii）著手解決一種邏輯謎題，以發(fā)現(xiàn)標(biāo)簽的正確分配。與前面討論的工作一樣，它建立在一個特定問題陳述的基礎(chǔ)上，已知該問題存在解決方案。這種謎題式的方法與 Asai 和 Fukunaga（Asai 和 Fukunaga，2017）的工作也并不十分不同，在他們的工作中，實(shí)際的謎題正在被解決。另一個非常有趣的混合方法是“邁向深度符號強(qiáng)化學(xué)習(xí)”（Garnelo et al., 2016），這次借鑒了強(qiáng)化學(xué)習(xí)。他們的方法也包含了一個神經(jīng)感知模塊，模型的另一端是一個符號引擎。然而，在這種情況下，兩者之間的接口是一個特定于學(xué)習(xí)代理上下文的符號本體論。這個本體論是根據(jù)代理所學(xué)習(xí)的世界的特征，按設(shè)計(jì)外部上傳到代理中的。因此，該模型依賴于對世界的預(yù)建模知識。然而，與本文中介紹的工作相比，這是一個特別令人興奮的模型。這里出現(xiàn)的概念結(jié)構(gòu)或許可以作為 Garnelo 等人提出的本體論層，從而避免了預(yù)建模的需要。文獻(xiàn)中還有許多其他例子，它們以某種方式依賴于神經(jīng)網(wǎng)絡(luò)，從原始數(shù)據(jù)中涌現(xiàn)符號。在（Higgins et al., 2016）中，使用變分自編碼器（VAE）神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)視覺感官數(shù)據(jù)的“解耦”表示。在（Santoro et al., 2017）中，提出了一種用于關(guān)系推理的神經(jīng)網(wǎng)絡(luò)架構(gòu)。該網(wǎng)絡(luò)在 CLEVR 數(shù)據(jù)集（Johnson et al., 2017）上進(jìn)行了測試，并取得了非常好的結(jié)果。該模型以與卷積網(wǎng)絡(luò)自然適合捕捉空間關(guān)系或循環(huán)網(wǎng)絡(luò)能夠提取序列依賴性相同的方式，納入了關(guān)系推理學(xué)習(xí)能力。
在“理解感官輸入”（Evans et al., 2021b）中，作者探討了“理解”一連串感官輸入的含義。他們認(rèn)為，預(yù)測、回溯預(yù)測以及填補(bǔ)缺失值，并不足以證明對感官輸入的真正理解。他們進(jìn)一步論證，為了真正理解感官輸入，必須構(gòu)建一個能夠解釋數(shù)據(jù)的符號理論。正如他們在研究中提到的，這種觀點(diǎn)與先前的研究一致，后者提出常識的一個關(guān)鍵組成部分是構(gòu)建解釋性理論的能力?；谶@一問題背景，作者著手探索當(dāng)人們理解感官輸入時所構(gòu)建的潛在心理模型的可能定義，并展示構(gòu)建這種心理模型本身如何自然地使人能夠進(jìn)行預(yù)測、回溯預(yù)測和填補(bǔ)缺失值。需要注意的是，正如在本文提出的模型中一樣，他們的方法并不直接針對預(yù)測或模式識別等任務(wù)，而是這些能力自然地從模型中產(chǎn)生，因?yàn)槟Ｐ徒鉀Q了一個更宏觀的問題。然而，正如他們在研究中提到的，模型處理的感官數(shù)據(jù)的離散性和范圍相當(dāng)有限。他們提供的示例包括基本的元胞自動機(jī)、鼓點(diǎn)節(jié)奏以及其他相對簡單的數(shù)據(jù)流。因此，在后續(xù)論文“理解原始輸入”（Evans et al., 2021a）中，作者引入了神經(jīng)網(wǎng)絡(luò)來擴(kuò)展他們的模型，使其能夠處理連續(xù)和更復(fù)雜的數(shù)據(jù)。
盡管這種方法允許處理從神經(jīng)網(wǎng)絡(luò)單元獲得的符號中的潛在歧義，但在感知過程中引入了監(jiān)督。因此，盡管這種特定的神經(jīng)符號方法在處理復(fù)雜感官數(shù)據(jù)方面更為有效，但它將重點(diǎn)從無監(jiān)督符號涌現(xiàn)的原則上轉(zhuǎn)移開。在這種背景下，本文的一個重要貢獻(xiàn)是表明，簡單且離散的傳感器實(shí)際上（或許有些出人意料）能夠獨(dú)立地很好地編碼復(fù)雜的連續(xù)數(shù)據(jù)流，這將在方法部分進(jìn)行解釋。這一貢獻(xiàn)可能會為上述討論的方法開辟更廣泛的應(yīng)用范圍，而無需依賴于監(jiān)督感知。
從神經(jīng)符號模型中可以得到的一個重要啟示是，基于邏輯的規(guī)則可以在沒有大量訓(xùn)練的情況下被學(xué)習(xí)。這一特性相當(dāng)有趣，尤其是與現(xiàn)實(shí)世界數(shù)據(jù)中的模式識別任務(wù)形成對比，后者需要大量的監(jiān)督，這在本文提出的方法中也很明顯。在另一條研究路徑上，還有一項(xiàng)非常重要的工作需要討論，即“通過概率程序歸納實(shí)現(xiàn)人類水平的概念學(xué)習(xí)”（Lake et al., 2015）。這項(xiàng)研究旨在闡明兩個基本問題：（i）人們?nèi)绾螐囊粋€或幾個例子中學(xué)習(xí)新概念？以及（ii）人們?nèi)绾螌W(xué)習(xí)如此抽象、豐富且靈活的表征？這兩個問題都是本文動機(jī)的關(guān)鍵。第一個問題涉及無監(jiān)督（或弱監(jiān)督）概念涌現(xiàn)和超出分布的學(xué)習(xí)，而第二個問題則涉及概念結(jié)構(gòu)中自然組合性的需求。他們的方法引入了貝葉斯程序?qū)W習(xí)框架（BPL），該框架學(xué)習(xí)簡單的隨機(jī)程序來表示概念。這些程序是概率生成子模型，整個模型通過將它們擬合到背景數(shù)據(jù)集上，利用每個類別僅有的幾個樣本進(jìn)行學(xué)習(xí)。在這個過程中，特征為弱監(jiān)督，學(xué)習(xí)通過構(gòu)建最能解釋觀察結(jié)果的程序進(jìn)行，基于貝葉斯標(biāo)準(zhǔn)。在提供的實(shí)現(xiàn)中，背景數(shù)據(jù)集由 Omniglot 數(shù)據(jù)集中的手寫字符組成（包括像素和筆畫數(shù)據(jù)），該數(shù)據(jù)集是作為工作的一部分創(chuàng)建的。正如上述更近期的工作一樣，BPL 框架也包含一種程序合成（具有重要的生成成分），并使用歸納偏差。這種偏差允許通過在先前概念的層次結(jié)構(gòu)上構(gòu)建（貝葉斯層次先驗(yàn)）來學(xué)習(xí)新概念，作者稱之為“學(xué)會學(xué)習(xí)”。需要注意的是，在模型中，這些概念的構(gòu)建塊被定義為子部分、部分和空間關(guān)系。子部分是筆畫之間由短暫停頓分隔的筆畫。部分則是通過按下或抬起筆定義的筆畫。這些可以根據(jù)以下四種空間關(guān)系中的任何一種進(jìn)行組合：獨(dú)立開始、在開始處、在結(jié)束處或沿著先前部分。盡管該方法的一般方法相當(dāng)通用，但其實(shí)現(xiàn)強(qiáng)烈依賴于數(shù)據(jù)集的特定性質(zhì)。例如，子部分原語以庫的形式提供給模型，而不是像本文討論的其他工作那樣從原始傳感器數(shù)據(jù)中涌現(xiàn)。此外，模型者在某些方面（例如“短暫停頓”的閾值）也做出了一些決策。盡管如此，這種方法與本文中介紹的方法有一些重要的共同點(diǎn)。一個重要的方面是，為了實(shí)現(xiàn)從稀疏數(shù)據(jù)中學(xué)習(xí)，同時發(fā)展豐富且靈活的概念表征，似乎模型必須同時具備生成和學(xué)習(xí)能力，并且以無縫的方式結(jié)合。這種雙向特性在本文中也是一個強(qiáng)有力的主張。正如他們在論文開頭所說，最初的兩個問題在這里同樣重要。盡管解決這些問題的方法不同，但在這兩種模型中，學(xué)習(xí)都是在沒有或非常弱的監(jiān)督下實(shí)現(xiàn)的。此外，這些模型能夠構(gòu)建豐富且靈活的表征，允許高度的組合性，并以直接且自然的方式創(chuàng)造虛構(gòu)樣本。
當(dāng)然，在這個領(lǐng)域也有大量專門針對概念的研究。一個重要的貢獻(xiàn)是“邁向概念邏輯張量網(wǎng)絡(luò)”（Bechberger, 2021），它基于 G?rdenfors 提出的概念空間的先前工作（Bechberger 和 Kühnberger, 2018）。邏輯張量網(wǎng)絡(luò)是一種使用模糊隸屬函數(shù)的神經(jīng)網(wǎng)絡(luò)。概念空間則提供了一種將概念知識作為特征空間中的區(qū)域的幾何表示。由于概念空間的向量性質(zhì)，這種方法更自然地適合于感官數(shù)據(jù)的接地。通過引入邏輯張量網(wǎng)絡(luò)，得到的模型能夠從感官數(shù)據(jù)中涌現(xiàn)概念結(jié)構(gòu)，同時受益于神經(jīng)網(wǎng)絡(luò)提供的強(qiáng)大學(xué)習(xí)引擎。該方法依賴于將符號知識映射到基于向量的空間，這使得提取的知識比形式化方法（如 FCA）更間接且更難以操作。最后，在“從連續(xù)觀察到符號概念：一種基于區(qū)分的策略用于接地概念學(xué)習(xí)”（Nevens et al., 2020）中，作者致力于在“接地”學(xué)習(xí)的背景下，彌合從連續(xù)觀察到符號概念之間的差距。這項(xiàng)工作是在 CLEVR 數(shù)據(jù)集（Johnson et al., 2017）的體積原語分類的背景下進(jìn)行的。使用計(jì)算機(jī)視覺庫提取形狀的角點(diǎn)數(shù)量等屬性，包括顏色等連續(xù)值屬性，其中提取了每個色調(diào)-飽和度-值空間通道的區(qū)域顏色的均值和標(biāo)準(zhǔn)差。其他提取的屬性更為復(fù)雜，例如對象區(qū)域與旋轉(zhuǎn)邊界框面積的比率，以及對象區(qū)域與整個圖像面積的比率。為了區(qū)分顏色（例如紅色），使用數(shù)據(jù)集原始渲染的紅-綠-藍(lán)（RGB）值，并添加隨機(jī)抖動。最后，模型使用概念相關(guān)性在導(dǎo)師-學(xué)習(xí)者場景中的加權(quán)方案進(jìn)行訓(xùn)練。
2. 方法
2.1 傳感器
感知是世界與認(rèn)知之間的接口。由于現(xiàn)實(shí)是無限復(fù)雜的，很明顯沒有任何傳感器能夠完全捕捉到它。因此，我們對環(huán)境的知識總是有限的或部分的，這不僅是因?yàn)槿祟惡蛣游锏男睦肀碚鞔嬖诰窒扌?，而且首先是因?yàn)楦兄A段所施加的約束；感知的最前沿。然而，這些約束不應(yīng)被視為局限性，而應(yīng)被視為生成我們所居住世界的高效模型的機(jī)會。
人類和動物的一些感知器官，例如眼睛，也非常復(fù)雜，似乎挑戰(zhàn)了任何感知約束。但當(dāng)然，即使是眼睛也無法完全捕捉到世界的全部復(fù)雜性。也許正是這種感知器官的壯麗，常常使人們將注意力從感知模型中感知約束的有意設(shè)計(jì)和實(shí)現(xiàn)上轉(zhuǎn)移開。相反，在許多情況下，從原始數(shù)據(jù)中感知的觀念伴隨著一個不言而喻的假設(shè)：進(jìn)入模型的數(shù)據(jù)越詳細(xì)越好。然后，復(fù)雜性降低的任務(wù)發(fā)生在模型的“認(rèn)知”部分，錯過了在感知時刻預(yù)先調(diào)節(jié)數(shù)據(jù)的機(jī)會。盡管在人工模型中感知和認(rèn)知之間的這種區(qū)分可能有些任意，并且在某些模型中并不完全適用（在這些模型中，感知和認(rèn)知是同時發(fā)生的），但將過程劃分為這兩個獨(dú)立階段可能是有用的，因?yàn)橐环矫?，它類似于容易理解的生物模型，另一方面，它有助于更好地理解這些模型執(zhí)行的不同功能。
為這個模型設(shè)計(jì)的傳感器靈感來源于我們的觸覺。盡管這種感覺本質(zhì)上仍然相當(dāng)復(fù)雜，但它肯定比視覺更有限。同時，它仍然能夠進(jìn)行高級感知，作為人類，我們能夠僅從觸覺體驗(yàn)中推導(dǎo)出豐富的概念結(jié)構(gòu)。因此，受觸覺啟發(fā)的傳感器可以成為人工模型的一個很好的起點(diǎn)。此外，該模型在很大程度上借鑒了貝特森（Bateson）的建議，即一個觀念本質(zhì)上不過是一個差異：“一個產(chǎn)生差異的差異”（Bateson, 1999）。這一說法非常有趣，因?yàn)榇_實(shí)，人類和動物非常善于檢測差異，但在測量大小方面卻相當(dāng)笨拙，正是因?yàn)檫@個原因，我們?nèi)祟愰_發(fā)了實(shí)際為我們測量它們的工具。因此，自然中的認(rèn)知可能根本不用到大小。然而，當(dāng)今許多最突出的機(jī)器學(xué)習(xí)模型都需要通過大量的數(shù)值來進(jìn)行訓(xùn)練過程。包括形式概念分析（FCA）在內(nèi)的基于邏輯的方法是一個例外，因?yàn)樗鼈冎苯犹幚矶ㄐ詳?shù)據(jù)。然而，當(dāng)處理原始數(shù)據(jù)時，它們的方法又退回到之前討論過的統(tǒng)計(jì)模型中。例如，當(dāng)我們看到一種顏色時，除了進(jìn)行一些粗略估計(jì)外，我們對它的 RGB 值并沒有太多可以說的。但當(dāng)面對兩種略有不同的色調(diào)并排展示時，我們非常容易就能區(qū)分它們，并且甚至能夠推理這種差異，例如：一個比另一個更亮，或者它稍微更黃一些，等等。同樣的道理也適用于單獨(dú)一根棍子的長度與兩根不同的棍子并排放置時的長度比較。換句話說，人類和動物更適合從定性信息而不是定量數(shù)據(jù)中構(gòu)建其環(huán)境模型。此外，本文將討論我們的定量觀念是否實(shí)際上可以從定性感知中推導(dǎo)出來，而不是直接從我們的感官中獲得（當(dāng)沒有測量工具時）。這意味著，例如，我們只知道一個物體的大小是與其他物體的一組定性關(guān)系（比例），例如“這根棍子比另外兩根加起來還要長”。由此可以推斷，貝特森關(guān)于差異是概念或觀念的關(guān)鍵生成器的觀點(diǎn)與自然中認(rèn)知的工作方式相當(dāng)一致。無論如何，它們肯定為人工認(rèn)知模型的設(shè)計(jì)提供了一個非常有趣的方法，這也是本研究的目標(biāo)。
2.2 傳感器結(jié)構(gòu)
與 Cárdenas-García 和 Ireland 提出的方法類似（Burgin 和 Cárdenas-García, 2020; Cárdenas-García, 2022; Cárdenas-García 和 Ireland, 2020），這里提出的傳感器通過比較器元件將信號的定量方面編碼為定性信息。正如前面討論的，與后者的觀點(diǎn)一致，感知行為對數(shù)量的理解并不多，而是更多地理解差異。因此，比較器元件成為感知過程中的關(guān)鍵組件。然而，上述工作實(shí)現(xiàn)了一種傳感器，其中這些比較發(fā)生在某一時刻被感知的信號與自身產(chǎn)生的攜帶反饋信息的信號之間，以優(yōu)化特定任務(wù)。在本文提出的實(shí)現(xiàn)中，所討論的比較本質(zhì)上是基于時間的；某一時刻 t1 的信號與下一時刻 t2 的信號進(jìn)行比較。在未來的研究中，這種方案甚至可以擴(kuò)展到非連續(xù)時刻，以考慮記憶在認(rèn)知過程中的作用。需要指出的是，盡管 Cárdenas-García 和 Ireland 的工作中比較器的具體實(shí)現(xiàn)并未涉及兩個連續(xù)時刻輸入信號之間的比較，但他們確實(shí)在更一般的討論中特別提到了時空差異的概念。
在本文提出的方法中，傳感器通過沿著物體表面以恒定速度移動，并在恒定的時間間隔（ti）接收來自物體的輸入信號來感知物體，如圖 1 所示。該方法允許任意數(shù)量的傳感器同時工作。然而，至少目前要求所有這些傳感器在感知過程中保持它們在時間和空間中的精確相對位置。傳感器接收的輸入或信號的性質(zhì)也應(yīng)保持不變，例如，傳感器 s1 只能感知角度，傳感器 s2 只能感知顏色，傳感器 s3 不能在某一時刻感知角度，然后切換到感知顏色。
此外，根據(jù)所需的實(shí)現(xiàn)方式，傳感器可以具有不同級別的復(fù)雜性。在本文中，將考慮兩種輕微的變化：a) 單輸入通道的傳感器；b) 兩個輸入通道之間有設(shè)計(jì)距離的傳感器。在本文的范圍內(nèi)，最簡單的傳感器版本將是一個有線的機(jī)電實(shí)現(xiàn)，具有四個輸出節(jié)點(diǎn)，如圖 2 所示。
兩種方案的工作原理非常相似，唯一的區(qū)別在于基于時間的模型通過單一通道接收輸入信號，而在基于距離的模型中，有兩個輸入通道且它們之間存在一定距離。但在兩種版本中，傳感器沿著物體輪廓的軌跡移動時，都會對連續(xù)的輸入信號進(jìn)行比較。輸入信號應(yīng)為一致的數(shù)據(jù)類型，其值屬于實(shí)數(shù)集 {R} 。然而需要注意的是，布爾值（True，F(xiàn)alse）也是兼容的信號數(shù)據(jù)類型，盡管在這種情況下，傳感器方案會有一些細(xì)微的變化。
在基于時間的模型中，一旦信號到達(dá)輸入節(jié)點(diǎn)，它會被分成三路，分別到達(dá)以下元件：(i) 一個保持器 ( R )，(ii) 一個比較器 ( C1 )，以及一個第二比較器 ( C2 )。保持器是一種機(jī)制，它會持續(xù)保持接收到的信號，直到新的信號到來，然后在那一刻，舊信號被釋放到存儲節(jié)點(diǎn)。換句話說，保持器會創(chuàng)建一個信號延遲。當(dāng)信號被釋放時，它會被分成兩路，分別到達(dá)比較器 ( C1 ) 和 ( C2 )。需要注意的是，在這種設(shè)計(jì)中，無需存儲數(shù)據(jù)；信號以導(dǎo)體允許的速度傳輸，一旦被觸發(fā)就無法停止。因此，保持器可能會通過讓信號通過一段較長的導(dǎo)體或類似技術(shù)來延遲信號，而不是通過物理存儲信號的值來實(shí)現(xiàn)期望的時間跨度。這是一種有意的設(shè)計(jì)選擇，旨在使未來在生物技術(shù)方面的實(shí)施更加容易。
基于距離的模型通過一個更簡單的過程實(shí)現(xiàn)了相同的效果。在每個時間間隔，會同時接收到兩個信號，這些信號分別屬于被感知物體上的兩個不同位置。這種解決方案避免了使用保持器，但缺點(diǎn)是兩個信號之間的距離是固定的，這限制了感知物體的分辨率。此外，它還限制了傳感器沿軌跡移動的速度或信號流的時間間隔，因?yàn)樗鼈兊谋壤仨毰c分離距離相匹配。盡管如此，這是一個更簡單的設(shè)計(jì)，因此在某些情況下可能很有用。在本文的其余部分中，將使用基于時間的傳感器。
一旦信號到達(dá)比較器 ( C1 )，該元件會根據(jù)信號強(qiáng)度是否相等，將信號傳遞到兩個輸出節(jié)點(diǎn)( o1 )，( o2 )中的一個。如果比較結(jié)果是信號強(qiáng)度相等，則感知過程以激活相應(yīng)的輸出節(jié)點(diǎn)結(jié)束。相反，當(dāng)比較結(jié)果是信號強(qiáng)度存在差異時，被激活的輸出節(jié)點(diǎn)會發(fā)送信號，同時激活也接收到這兩個輸入信號的比較器 ( C2 )。然后，該元件會比較兩個信號的強(qiáng)度，判斷哪一個更強(qiáng)。因此，當(dāng)信號強(qiáng)度存在相對增加或減少時，會激活兩個輸出節(jié)點(diǎn)（o3 )，( o4 )中的一個。因此，在任何給定的信號輸入下，傳感器都有三種“緊密”的可能輸出組合：(i) [o1]，(ii) [o2, o3] 和 (iii) [o2, o4]，從而形成一種“精簡”的組合方案。除了這些組合外，還可以提取另外三種“松散”的組合：(iv) [o2]，(v) [o3] 和 (vi) [o4]。實(shí)際上，這三種松散組合在沒有其他兩個相關(guān)組合同時為真時，都不可能為真。但啟用 [o2] 作為獨(dú)立的輸出組合可能是有用的，因?yàn)橛袝r用較少的細(xì)節(jié)來描述一個概念可能更簡單，例如：“厚度變化”（而不具體說明厚度是變薄還是變厚）。相反，[o3] 和 [o4] 作為獨(dú)立組合沒有任何優(yōu)勢，因?yàn)槿绻渲腥魏我粋€為真，那么 [o2] 也必定為真（不存在歧義）。因此，與模型相關(guān)的總共有四種可能的輸出組合：(i) [o1]，(ii) [o2, o3]，(iii) [o2, o4] 和 (iv) [o2]。任何傳感器輸出發(fā)生變化的瞬間，此后將被稱為“關(guān)鍵瞬間”。
這種“貪婪”的組合方案體現(xiàn)在四個節(jié)點(diǎn)中，它們構(gòu)成了認(rèn)知模型的輸入層，如圖3所示。輸入層的節(jié)點(diǎn)是模型生成的最初概念。當(dāng)有多個傳感器協(xié)同工作時，該方案保持不變：輸入層收集每個傳感器的所有設(shè)計(jì)組合輸出，如下一節(jié)中的例子所示。
2.3 多個傳感器
當(dāng)整合多個傳感器時，該模型的工作方式就像只有一個傳感器，但輸出數(shù)量增加了一樣。在這種方案中，組合“松散”和“緊密”組合的概念尤其相關(guān)，并且在更廣泛的范圍內(nèi)展開。不僅每個傳感器可以采用精簡或貪婪的組合方案，而且進(jìn)一步地，每個傳感器的輸出也可以根據(jù)設(shè)計(jì)的便利性“松散”或“緊密”地組合。為了說明這一想法，圖4展示了一個例子，其中兩個傳感器采用精簡組合方案，它們各自的輸出又緊密地組合成一個精簡的多傳感器配置。這種排列產(chǎn)生的輸入層節(jié)點(diǎn)數(shù)量為：3×3=9，如例子所示。然而，在每個單獨(dú)的傳感器都呈現(xiàn)貪婪方案，但傳感器之間的連接仍然遵循精簡方案的情況下，輸入節(jié)點(diǎn)的數(shù)量將是：4×4=16。如果在傳感器內(nèi)部和傳感器之間都采用完全貪婪的方案，那么輸入節(jié)點(diǎn)的數(shù)量將是：4×4+4+4=24。
2.3. 認(rèn)知模型（序列形式概念分析作為一種連接主義結(jié)構(gòu)）
一旦信號按照上述過程確定了傳感器的輸出，它將繼續(xù)沿著上游方向進(jìn)入一個被稱為“認(rèn)知模型”的互聯(lián)結(jié)構(gòu)。該模型負(fù)責(zé)：(i) 形成對被感知世界的概念性表征；(ii) 通過重新組合已有的概念，從先前的感知經(jīng)驗(yàn)中構(gòu)建新的概念；(iii) 將信號從概念傳回傳感器，以便任何概念（無論是之前獲得的還是新構(gòu)建的）都可以被還原到其對應(yīng)的基于感官的經(jīng)驗(yàn)。圖5展示了一個簡化的認(rèn)知模型圖。這種結(jié)構(gòu)可以被視為一個基于來自傳感器的定性（且是序列的）數(shù)據(jù)構(gòu)建的序列形式概念分析（FCA）模型的物理（有線）連接主義概念格。它與常規(guī)的FCA模型的不同之處在于，并非所有對象或感知記錄都被同時考慮，而是每次僅考慮兩個記錄，直到所有記錄都被計(jì)算完畢。另一個重要區(qū)別是，由于這是一個有線模型，所有可能的概念都必須預(yù)先存在于結(jié)構(gòu)中。相比之下，代數(shù)實(shí)現(xiàn)只會計(jì)算由被感知對象觸發(fā)的概念。正如在傳統(tǒng)的FCA中一樣，所有由被感知對象衍生的概念組合都會被計(jì)算和創(chuàng)建。同樣地，就像在FCA中一樣，初始的對象集合和屬性決定了最終的概念格。然而，在這個有線模型中，概念的外延并沒有存儲在內(nèi)存中（這將是未來的發(fā)展方向）。相反，它是通過在傳感器中重現(xiàn)導(dǎo)致該概念形成的相同序列感知記錄（對象）來表達(dá)的。在本文中，這種下游過程被稱為“解碼”，而“編碼”一詞則用于指代從感官數(shù)據(jù)形成概念的上游過程。圖5展示了這兩個過程的有線結(jié)構(gòu)，它們作為兩個平行結(jié)構(gòu)，共享相同的形態(tài)。然而，當(dāng)仔細(xì)觀察時，這兩個結(jié)構(gòu)之間存在重要的差異，如圖7所示，盡管它們?nèi)匀还蚕碇饕慕M成部分。
在圖示的結(jié)構(gòu)中，輸入層之上的概念層收集了信號流下傳感器輸出的差異。類似于傳感器捕捉兩個信號之間的定性差異，概念層以定性轉(zhuǎn)變的形式捕捉“這些差異的差異”。為了說明這一觀點(diǎn)，如果信號流表示物體曲率的角度，那么第一層中的一個概念可以是，例如，從角度值增加到減少的變化（α：(sn-1 > sn) → (sn-1 < sn)），或者用更緊湊的符號表示（α > → α <）?；旧希@一層中的概念節(jié)點(diǎn)將捕捉兩個連續(xù)時刻[tn, tn+1]之間傳感器輸出轉(zhuǎn)變的所有可能組合。每個附加層依次從其前一層的概念的所有可能組合中形成新的概念。因此，概念層中的節(jié)點(diǎn)數(shù)量由其前一層的節(jié)點(diǎn)數(shù)量決定，遵循公式：節(jié)點(diǎn)數(shù) = 2 · m! / (n! · (m-n)!）。其中，m是每層前一層節(jié)點(diǎn)的總數(shù)，n=2，因?yàn)榻M合總是成對進(jìn)行。公式前面的乘數(shù)（2x）反映了在這種模型中，從A到B的轉(zhuǎn)變（A → B）與（B → A）是不同的，因此每個單獨(dú)的節(jié)點(diǎn)組合都有一對潛在的概念。由于這個值可能會迅速增長，可以通過設(shè)計(jì)選擇將前一層的數(shù)量（p）限制為除零以外的任何數(shù)字。例如，當(dāng)p=1時，僅使用緊前一層的節(jié)點(diǎn)進(jìn)行組合，這正是圖5中展示的情況。當(dāng)這個數(shù)字大于1時，新的概念節(jié)點(diǎn)則是通過跨層組合節(jié)點(diǎn)形成的。在圖6中，層n中有一對這樣的節(jié)點(diǎn)是從CLn-1和CLn-2層構(gòu)建的（用黑色突出顯示）。
在所提出的方法中，概念層的數(shù)量在理論上是無限的，盡管可以通過設(shè)計(jì)選擇進(jìn)行限制。模型中的概念層越多，嵌入到相應(yīng)概念節(jié)點(diǎn)中的關(guān)鍵時刻或關(guān)鍵感知記錄就越多。當(dāng)不限制概念層的數(shù)量時，概念節(jié)點(diǎn)的結(jié)構(gòu)將包含所有可能的概念轉(zhuǎn)變組合，且隨著每一層的增加呈指數(shù)增長，形成一種組合爆炸。因此，復(fù)雜性曲線會像前面討論的FCA模型中的復(fù)雜性問題一樣迅速增長。然而，所提出的方法具有重要的優(yōu)勢：（i）可以在有線系統(tǒng)中實(shí)現(xiàn)該模型，從而繞過代數(shù)復(fù)雜性；（ii）模型的順序性極大地限制了生成的信息和概念的數(shù)量。
繼續(xù)描述圖5中的元素，配對激活層是一個簡單的中間節(jié)點(diǎn)集合，其唯一作用是將每對連續(xù)的前一層活躍節(jié)點(diǎn)的信號統(tǒng)一起來。例如，如果輸入層在時間tn活躍的節(jié)點(diǎn)是o1，而在tn+1活躍的節(jié)點(diǎn)是o2，或者反過來（因此稱為“配對”），那么o1和o2的信號將在它們共享的配對激活層節(jié)點(diǎn)中合并。緊接著，這個節(jié)點(diǎn)變得活躍，并將信號向上傳遞到上一層的概念層。從傳感器的輸出一直到最后一層的概念層，這些配對構(gòu)成了模型的基本單元（圖中用以參考的方式突出了配對1,4和配對n,2）。它們負(fù)責(zé)正確激活概念轉(zhuǎn)變，并為每個轉(zhuǎn)變分配方向。為了實(shí)現(xiàn)這些功能，它們的結(jié)構(gòu)需要比簡化圖中所示的結(jié)構(gòu)更復(fù)雜的方案，如圖7中所解釋的那樣。最后，輸入/輸出層在輸入模式下收集前面提到的傳感器輸出組合，而在輸出模式下，它將這些值發(fā)送回執(zhí)行器，以重新產(chǎn)生或執(zhí)行概念的感知記錄（外延）。
2.4 配對解剖學(xué)
配對是該模型的基本構(gòu)建模塊，其詳細(xì)結(jié)構(gòu)如圖7所示。每個配對展開為兩個平行電路，其中一個負(fù)責(zé)從傳感器傳輸?shù)男盘栔芯幋a或形成概念（在左側(cè)），另一個（在右側(cè)）則負(fù)責(zé)解碼或重建這一信號流，將其一路向下還原至傳感器。如圖所示，配對由五個不同的元素組成。連接是單向的邊，信號通過這些邊進(jìn)行傳輸。在此模型中，假設(shè)信號沿邊傳輸?shù)臅r間不會因其長度而顯著變化。模型的一個重要約束是輸入信號流的時間間隔（ti）必須至少是信號沿連接傳輸時間的兩倍。在此模型中，節(jié)點(diǎn)可以有輸入和輸出連接。類似于生物神經(jīng)元，輸入連接在某一時刻可能攜帶信號，也可能不攜帶信號，但只有一種選擇（有信號或無信號）會被傳遞到所有輸出連接?？刹僮鞴?jié)點(diǎn)和虛擬節(jié)點(diǎn)都可以從多個連接收集信號，并且反之亦然（將信號分叉到多個連接）。然而，雖然虛擬節(jié)點(diǎn)會自動傳遞信號，但可操作節(jié)點(diǎn)是否會傳遞信號則取決于某一時刻接收到的信號數(shù)量。如果這個數(shù)量是奇數(shù)，則信號不會繼續(xù)傳播；如果是偶數(shù)，則信號會被傳遞到其所有輸出連接。
2.4. 信號流向（上游） （大概是原文排版錯誤）
在信號流的驅(qū)動下，模型通過構(gòu)成認(rèn)知結(jié)構(gòu)的配對將信號向上游傳遞。當(dāng)傳感器輸出沒有變化時，模型表現(xiàn)出穩(wěn)定的信號流行為，如圖8所示。當(dāng)一個概念節(jié)點(diǎn)在t1被激活（在圖的左側(cè)），它的所有三個輸出連接也會被激活，分別到達(dá)R2、a3和b。然而，重要的是要注意，這三條連接將在該概念節(jié)點(diǎn)所屬的多個配對中分別被激活，而不僅僅是圖中展示的那一對。盡管如此，每個配對中的行為將以完全相同的方式展開，因此，為了便于視覺理解，只展示了一個配對。正如前面解釋的，虛擬節(jié)點(diǎn)a3將在t1+1被激活，因?yàn)檫@些節(jié)點(diǎn)必須始終傳遞它們接收到的信號。相反，可操作節(jié)點(diǎn)b將保持不活躍，因?yàn)樗枰紨?shù)個活躍的輸入連接才能被激活。最后，R2將被抑制，但這沒有效果，因?yàn)楸３制鳑]有被充電。在下一個瞬間t1+1，a3被激活，并激活a1，同時為R1充電。配對激活層的節(jié)點(diǎn)P1,2也被到達(dá)，但由于可操作節(jié)點(diǎn)需要偶數(shù)個活躍的輸入連接才能被激活，因此它不會被激活。需要注意的是，在這個瞬間，信號流無法通過配對的底部傳遞其他信號。這是因?yàn)?，如前面提到的，信號流的時間間隔必須至少是信號沿連接傳輸時間的兩倍。相反，在接下來的瞬間t1+2，信號可以通過配對底部的概念節(jié)點(diǎn)再次進(jìn)入電路。由于傳感器輸出沒有變化（為了更好地解釋信號通過模型的穩(wěn)定流動），新的信號將通過t1時相同的概念節(jié)點(diǎn)進(jìn)入。當(dāng)這個節(jié)點(diǎn)被激活時，a3將在下一個瞬間被激活，b被到達(dá)但仍然保持不活躍，R2將再次被抑制且沒有效果。在頂部，由于前一個信號的影響，a1瞄準(zhǔn)了配對的左上角概念節(jié)點(diǎn)，但由于它只接收到一個活躍的連接（奇數(shù)），因此它不會被激活。
最后，在時間點(diǎn)t1+3，可以觀察到與t1+1相同的狀態(tài)，唯一的區(qū)別是，在后者中，R1沒有被充電，但在兩種情況下，R1都會在各自的下一個瞬間被充電。因此，可以確保t1+2將與t1+4完全相同，隨后，t1+2·x的狀態(tài)將與t1+2·x+2的狀態(tài)完全相同。因此，證明了模型中達(dá)到了信號的穩(wěn)定流動。
在一個穩(wěn)定的信號流動中，當(dāng)傳感器向認(rèn)知模型發(fā)送單一恒定輸出時，在輸入層的水平上只有一個概念被觸發(fā)。然而，當(dāng)感覺輸出發(fā)生變化時，更多的概念開始在輸入層上方的連續(xù)層中出現(xiàn)。這種概念形成的過程有效地將輸入流編碼（并在稍后解碼）為一個概念的層次化網(wǎng)絡(luò)；其中，對（pairs）是促進(jìn)這些過程的基本結(jié)構(gòu)單元。對在各層中（包括輸入層）以一致的方式處理編碼和解碼。在本節(jié)和下一節(jié)中，將分別使用兩個通用且連續(xù)的層，逐步解釋這兩種過程。
2.5 概念形成（編碼）
模型中最初可能形成的概念是輸入層的概念，這些概念要么直接來自感覺輸出，要么由這些感覺輸出的組合形成。在所有其他層中，當(dāng)現(xiàn)有概念之間發(fā)生轉(zhuǎn)換時，會創(chuàng)建新的概念。因此，概念形成的第一步是激活概念層中的一個節(jié)點(diǎn)，第二步是在與前者共享一對的另一個概念節(jié)點(diǎn)中進(jìn)行激活。繼續(xù)使用上面提到的相同對和時間間隔，在t1+2的第一步中，概念C1,1被激活，正如前面提到的，這導(dǎo)致了t1+3的狀態(tài)。第二步是在t1+2·x+2中激活一個不同的概念節(jié)點(diǎn)。在這種情況下，節(jié)點(diǎn)標(biāo)記為C1,3，并在圖9的左側(cè)顯示，為了清晰起見，t1+2·x+2被重新命名為t2。在這個瞬間，有三個傳出連接被激活，分別指向R1、b和a4。在下一個瞬間（t2+1），保持器R1被釋放，將信號傳遞給P1,2，而b保持不活躍，a4變得活躍，將信號傳遞給R2、P1,2和a2。在這個點(diǎn)（t2+2），P1,2接收到兩個連接：一個來自保持器R1，另一個來自a4。由于它接收到偶數(shù)個傳入信號，這個節(jié)點(diǎn)變得活躍，將信號分叉到頂層概念節(jié)點(diǎn)C2,1和C2,6。與此同時，a2將連接向上傳遞，到達(dá)C2,6，該節(jié)點(diǎn)將在t2+3變得活躍，因?yàn)樗邮盏脚紨?shù)個同時活躍的信號：兩個，一個來自P1,2，另一個來自a2。這個節(jié)點(diǎn)（C2,6）的激活完成了新概念的創(chuàng)建，該概念捕捉了從前面的概念C1,1到同樣前面的概念C1,3的定性轉(zhuǎn)換（C1,1→C1,3）。在這個瞬間之后，如果沒有來自感覺輸出的進(jìn)一步變化，對將恢復(fù)到前面描述的穩(wěn)定信號流動。為了支持這一說法，可以注意到t2+3的狀態(tài)反映了t1+3，除了在前者中，概念節(jié)點(diǎn)C2,6是活躍的。然而，很容易看出，在t2+4，這個節(jié)點(diǎn)將把信號向上傳遞并變得不活躍。因此，t2+4將是t1+4的精確鏡像，證明了這個過程是連續(xù)的。
2.6 解碼
當(dāng)系統(tǒng)不處于感知狀態(tài)時，任何概念節(jié)點(diǎn)都可以被外部代理刺激，以解碼該概念中編碼的信息。解碼的過程意味著，構(gòu)成一個概念的所有層次化信息將以相同的順序逐層復(fù)制，一直傳遞到執(zhí)行器。在這一過程的最后階段，執(zhí)行器應(yīng)該能夠在環(huán)境中產(chǎn)生一組動作，將解碼后的概念轉(zhuǎn)化為某種物質(zhì)形式或“打印”。這些“打印”反過來可以通過模型的傳感器被吸收，從而為模擬人工代理之間通信的出現(xiàn)提供了一條有希望的途徑。任何希望在符號接地問題方向上取得進(jìn)展的模型，都需要解決符號及其含義在一個代理群體中的出現(xiàn)。將概念解碼為物質(zhì)“打印”完全繞開了符號計(jì)算或任何需要使用符號（如數(shù)字，例如人工神經(jīng)網(wǎng)絡(luò)）的計(jì)算機(jī)計(jì)算。事實(shí)上，它完全依賴于一個物理連接主義模型，該模型實(shí)現(xiàn)了許多傳統(tǒng)上分配給符號計(jì)算模型以及最近的神經(jīng)符號架構(gòu)的功能。此外，由于在這個模型中符號計(jì)算是通過連接主義架構(gòu)實(shí)現(xiàn)的，該系統(tǒng)也可以用作傳統(tǒng)的符號模型，其中概念在計(jì)算機(jī)內(nèi)部進(jìn)行計(jì)算。簡而言之，本文提出的模型不僅同時是符號的和連接主義的，而且它在連接主義方面不需要任何基于計(jì)算機(jī)的操作。與編碼過程不同，解碼過程不會收斂為一個穩(wěn)定的信號傳輸流。相反，每次刺激一個概念節(jié)點(diǎn)時，整個概念轉(zhuǎn)換鏈都會完整地回放。因此，隨著時間的推移重復(fù)刺激一個概念節(jié)點(diǎn)，只會多次回放概念結(jié)構(gòu)，而不會在其被刺激的時間跨度內(nèi)逐漸表達(dá)該概念。盡管這可能是可取的，但超出了本工作的范圍。當(dāng)解碼電路中的一個概念節(jié)點(diǎn)被刺激時，它會變得活躍。正如前面部分所看到的，盡管概念節(jié)點(diǎn)與其他概念節(jié)點(diǎn)共享多個上游對，但每個概念節(jié)點(diǎn)只有一個下游對。因此，當(dāng)概念層n中的一個節(jié)點(diǎn)變得活躍時，信號只能通過一個可能的對向下傳遞。
概念 C 3 , 7 通過 C 2 , 9 到 C 2 , 6 的轉(zhuǎn)換形成，現(xiàn)在在解碼過程中以相同順序復(fù)制，首先激活 C 2 , 9 ，隨后激活 C 2 , 6 。
解碼過程的一個重要限制是：在編碼過程中，時間間隔 t i 至少需要是信號通過連接所需時間的 2 倍，而在解碼過程中，這個時間還需要包括調(diào)制器的延遲時間。因此，兩個外部刺激概念節(jié)點(diǎn)之間的最小時間需求是：
2 ? ( t connection ) + t modulator
為了直觀展示編碼和解碼的動態(tài)，圖 14 描繪了信號在認(rèn)知模型的多層結(jié)構(gòu)中向上和向下傳播的路徑。
2.7. 執(zhí)行器
當(dāng)信號返回到原始傳感器輸出的執(zhí)行器對應(yīng)部分時，需要恢復(fù)兩個方面的內(nèi)容。一方面，每個傳感器的輸出都是由兩個信號計(jì)算得出的，因此返回的信號也應(yīng)相應(yīng)展開，在執(zhí)行器的輸出信號流中生成兩個連續(xù)的信號。另一方面，認(rèn)知模型中的信號值是二進(jìn)制的（要么有信號，要么沒有信號，即 [0,1]），而傳入傳感器的輸入信號流具有連續(xù)的強(qiáng)度值。因此，執(zhí)行器無法獲取信號強(qiáng)度信息，也無法定義具體的真實(shí)世界數(shù)值來打印或重建某個特定概念。從哲學(xué)角度來看，這非常合理：一個概念本身應(yīng)該包含所有滿足其定義的可能實(shí)例。因此，概念本質(zhì)上是生成性的，但生成具體實(shí)例的過程需要額外的信息，以便從概念下降到具體實(shí)例。就像“三角形”這一概念包含了所有可能的三角形一樣，要生成一個特定的三角形，就需要定義兩個角的度數(shù)和一條邊的長度。
在這種情況下，從概念中重建特定實(shí)例的問題可以通過為執(zhí)行器的輸出強(qiáng)度設(shè)置一個固定值，以最簡單的方式解決。然而，這種方法可能對代理的感知體驗(yàn)相當(dāng)不敏感。如果代理正在感知具有一定大小或顏色的物體，那么執(zhí)行器能夠以至少基于這些物體的大小或顏色范圍來復(fù)制具有相應(yīng)大小或顏色范圍的印記，這是合理的。為此，模型中引入了一個調(diào)節(jié)器機(jī)制。該組件的作用是將信號強(qiáng)度體驗(yàn)輸入到執(zhí)行器中，以便它可以基于先前的感知記錄重建相應(yīng)范圍內(nèi)的強(qiáng)度。圖15中的調(diào)節(jié)器方案展示了這種實(shí)現(xiàn)方式。
當(dāng)傳感器接收到信號sn和sn-1時，這些信號被傳遞到調(diào)節(jié)器，分別到達(dá)節(jié)點(diǎn)r1和r2。從那里，這兩個信號在減法器S1中合并，輸出這兩個值的強(qiáng)度差。在第二步中，所有三個值（兩個信號及其差值）分別輸入到三個平均組件（Av）中。這些組件沿時間軸輸出強(qiáng)度的加權(quán)平均值（最近的信號權(quán)重更大），遵循公式：輸出 = Σ(i·ti) / Σ(i)。最后，來自sn的平均值進(jìn)入另一個減法器（S2），在那里從它中減去平均差值。因此，調(diào)節(jié)器模塊產(chǎn)生了三個重要的值，這些值將被執(zhí)行器用于以物理印記的形式重建和生成概念。這些值是：(i) sn的平均值，(ii) sn-1的平均值，以及(iii) sn與sn和sn-1的平均差值之間的差值。
在執(zhí)行器中，信號首先被受體（(==)，(≠)，(>)，(<)）接收，然后立即分叉為兩個并行連接。這樣做的目的是為了重建傳感器比較器處理的初始信號對（sn, sn-1）。需要注意的是，兩個受體可能同時被激活。例如，很容易理解（≠）可能與（>）或（<）同時激活。然而，同樣可以理解的是，在任何給定時間，可能只有一對信號從執(zhí)行器輸出。因此，當(dāng)兩個兼容的受體共存時，其中一個應(yīng)該抑制另一個。這一約束在圖中通過為受體（≠）提供一個中間節(jié)點(diǎn)“a”來實(shí)現(xiàn)，該節(jié)點(diǎn)被（>）和（<）抑制。盡管如此，最終執(zhí)行器中的每個受體都通向一對節(jié)點(diǎn)。在這些節(jié)點(diǎn)中，信號從調(diào)節(jié)器的輸出中被賦予一個強(qiáng)度值，如圖所示。一旦強(qiáng)度被分配，信號就會進(jìn)入入口i1和i2，然后在C處依次整理，最終將重建的信號對釋放到外部世界。
2.8. Magnitudes
正如前一節(jié)所述，通過傳感器接收到的信號強(qiáng)度在到達(dá)認(rèn)知模塊時已經(jīng)丟失；剩下的是一種簡化的編碼，根據(jù)成對順序比較中的差異來表示這些強(qiáng)度。然而，這種方法可能會過于局限，遺漏了被感知物體的重要特征。幸運(yùn)的是，信號流的大小可以進(jìn)一步編碼，以捕捉這些物體的更多信息。這將使認(rèn)知模塊能夠形成更精細(xì)的概念，或者以更精確的方式區(qū)分物體。正如前面提到的，與其關(guān)注我們通常只能通過測量工具獲得的大小值，這個模型的精神是通過建立與其他物體或記錄的關(guān)系（比例）來形成類似大小的概念。
作為對這些方面的初步嘗試，圖16提出了對初始傳感器方案的兩種不同擴(kuò)展。第一種（在左側(cè)），跟蹤新傳入信號的強(qiáng)度是否是前一個信號強(qiáng)度的兩倍以上（或少于一半）。它通過將其中一個信號分成兩個并通過加法組件將它們相加來實(shí)現(xiàn)。這些新的比較產(chǎn)生了兩個新的輸出[o5, o6]，分別標(biāo)記為“>>”（多于兩倍）和“<<”（少于一半）。
第二種傳感器擴(kuò)展（右側(cè)）實(shí)現(xiàn)了差異的比較。通過使用減法器和一個額外的保持器，該方案允許將當(dāng)前強(qiáng)度差異與前一個進(jìn)行比較。因此，從這種擴(kuò)展派生出的新輸出[o5, o6]表明信號強(qiáng)度差異的大小是否在傳感器的軌跡上增加（>’）或減少（<’）。當(dāng)與比較器中的某個閾值結(jié)合使用時，忽略信號強(qiáng)度差異的小值，這種信息尤其有用。
需要注意的是，這兩種傳感器擴(kuò)展并不是相互排斥的，相反，它們可以根據(jù)目標(biāo)以各種方式重新組合。例如，從圖中可以很容易地推斷出，就像獲得（>>）和（<<）一樣，也可以實(shí)現(xiàn)一種擴(kuò)展，產(chǎn)生（>>>) 和 (<<<) 或 (>>>>) 和 (<<<<) 等輸出。
另一種直接的選擇是通過結(jié)合圖中左側(cè)和右側(cè)的方案，跟蹤信號強(qiáng)度差異是否是前一個的兩倍或一半。這樣，就可以得到諸如 (>>') 和 (<<') 之類的傳感器輸出，從而捕捉信號流的突變。圖 17 展示了本節(jié)建議的擴(kuò)展方案中兩個傳感器輸出組合的示例。第一個示例 (a) 對應(yīng)于前面提到的圖 16 的左側(cè)方案，引入了量化符號 (>>) 和 (<<)。在此示例中，導(dǎo)入輸入層的傳感器輸出遵循了一種簡化方案。第二個示例 (b) 則展示了模型的廣泛可能性，它采用了一種特殊的傳感器設(shè)計(jì)，可以根據(jù)特定目標(biāo)進(jìn)行調(diào)整。該傳感器設(shè)計(jì)結(jié)合了上述兩個擴(kuò)展方案的元素，包含了示例 (a) 的所有六個輸出，以及剛剛描述的兩個附加輸出 (>>') 和 (<<')，但沒有包括它們的自然前驅(qū) (>') 和 (<')。此外，這八個輸出遵循一種“非完整”的簡化方案，其中某些組合（如被有意省略。
最后，大小也可以從一個完全不同的角度來理解。作為人類，我們常常需要將兩個物體放在一起，以便更好地欣賞它們之間的差異。例如，當(dāng)單獨(dú)觀察時，兩條曲線可能看起來呈現(xiàn)出類似的凸起，但當(dāng)它們并排放置或疊放在一起時，可能會發(fā)現(xiàn)實(shí)際上一條曲線的凸起比另一條要大得多。同樣，這個模型允許使用這種技術(shù)，通過某些特征的大小來進(jìn)一步闡明概念并區(qū)分物體。這是通過在被比較的不同物體上并行運(yùn)行傳感器，并將輸出信號輸入到同一個認(rèn)知模型中來實(shí)現(xiàn)的，這將在后面的示例部分中進(jìn)一步詳細(xì)解釋。
2.9 動態(tài)概念分配
如同大多數(shù)認(rèn)知模型和系統(tǒng)一樣，其架構(gòu)的規(guī)?？赡軙杆倥蛎?。例如，人們普遍認(rèn)為人類大腦包含數(shù)十億個神經(jīng)元，因此可以合理假設(shè)系統(tǒng)的規(guī)模與其能力之間存在某種相關(guān)性。然而，本文提出的模型在僅幾層深度的情況下，其規(guī)模就可能遠(yuǎn)遠(yuǎn)超過數(shù)十億個節(jié)點(diǎn)。對于一個輸入層有4個節(jié)點(diǎn)的模型，即使沒有跨層連接（p=1），第5層的概念層已經(jīng)包含2.98億個節(jié)點(diǎn)。而第6層則需要驚人的89千萬億個節(jié)點(diǎn)，這已經(jīng)超過了人類大腦的規(guī)模。
盡管人類的概念在抽象層次上可能非常復(fù)雜，但這些概念，尤其是本文所涉及的空間概念，可能并不在組成它們的部件數(shù)量上表現(xiàn)出如此巨大的復(fù)雜性。人類對空間形式的概念性知識通常集中在描述能夠在許多物體中具有代表性的短序列空間特征上。當(dāng)需要描述或識別特定物體時，概念性知識可以轉(zhuǎn)化為一系列概念和其他特征的記憶。
這意味著，一般來說，創(chuàng)建涉及非常深層認(rèn)知架構(gòu)的長序列概念可能并不高效。相反，為了實(shí)現(xiàn)物體描述和識別的目的，實(shí)施一個與短序列概念的認(rèn)知架構(gòu)相結(jié)合的記憶模型可能更為合適，也更符合人類的認(rèn)知方式。
盡管如此，當(dāng)然希望在實(shí)際應(yīng)用中最大化本文提出的認(rèn)知模型能夠達(dá)到的深度。因此，圖18展示了一個啟發(fā)式方案，允許以一定的代價(jià)減少層的規(guī)模。
這種策略通過在概念節(jié)點(diǎn)中實(shí)現(xiàn)“動態(tài)概念分配”來降低復(fù)雜性。這種方法與前面討論的形式概念分析（FCA）模型的第三種策略一致（Dias和Vieira，2015）：基于相關(guān)性選擇概念、對象或?qū)傩?。具體方法是強(qiáng)制一組概念共享一個節(jié)點(diǎn)，而不是為每個概念都分配一個節(jié)點(diǎn)。當(dāng)模型對某個概念的需求較高時，會為該概念分配一個節(jié)點(diǎn)。在稍后的時間點(diǎn)，如果該概念的需求被另一個概念取代，則將節(jié)點(diǎn)從前者移除并重新分配給后者。需要注意的是，這只是探索復(fù)雜性降低的多種途徑中的一種策略，并被納入此處以提供并測試至少一種這樣的方法。
動態(tài)分配方案圍繞“捆綁”（bundle）的概念構(gòu)建。捆綁是一組被匯聚到一個稱為“捆綁節(jié)點(diǎn)”（bundle node）的概念節(jié)點(diǎn)（見圖中標(biāo)注）。這個節(jié)點(diǎn)是一個特殊節(jié)點(diǎn)，可以接收捆綁中任何一個概念節(jié)點(diǎn)的信號，但一次只能傳遞一個節(jié)點(diǎn)的信號。在某一時刻有權(quán)通過捆綁傳遞其信號的概念節(jié)點(diǎn)被稱為“捆綁所有者”（bundle owner）。原則上，概念節(jié)點(diǎn)的捆綁并沒有特定的順序，但在提出的方案中，有意將成對的概念節(jié)點(diǎn)分配到不同的捆綁中。一個概念節(jié)點(diǎn)在其捆綁中的優(yōu)先級高于其兄弟節(jié)點(diǎn)的機(jī)制基于“累加器節(jié)點(diǎn)”（accumulator node）的作用。累加器是計(jì)數(shù)組件，用于統(tǒng)計(jì)傳入連接的次數(shù)，并且只有在達(dá)到某個設(shè)計(jì)閾值（k）時才會觸發(fā)。如果傳入連接是抑制信號（inhibitor），則計(jì)數(shù)會減少，信號也會停滯。然而，計(jì)數(shù)器的值不能無限增加或減少，存在一個最大值（Kmax）和一個最小值（Kmin），限制了累加器的范圍。此外，所有計(jì)數(shù)器必須從最小值開始，并且閾值k應(yīng)位于范圍的上四分位數(shù)。設(shè)置這些條件的原因是確保在任何給定時刻，只有一個節(jié)點(diǎn)的計(jì)數(shù)超過閾值，并且有足夠的差距。換句話說，如果有一個計(jì)數(shù)器的值超過k，則排名第二的計(jì)數(shù)器必須至少比k低兩個單位。捆綁的詳細(xì)配置在圖19中展示，包括編碼和解碼電路。
與保持器和調(diào)制器節(jié)點(diǎn)類似，累加器和捆綁節(jié)點(diǎn)只需要一個連接即可運(yùn)行。但如前所述，累加器僅在計(jì)數(shù)器值大于某個閾值時才傳遞信號。而捆綁節(jié)點(diǎn)基本上是傳遞任何輸入信號的虛擬節(jié)點(diǎn)，只是它們每次只能接收一個信號。捆綁的大小是底層概念節(jié)點(diǎn)匯聚到單個捆綁節(jié)點(diǎn)的數(shù)量。盡管圖中顯示底部有三個概念節(jié)點(diǎn)，但這個值是模型的設(shè)計(jì)參數(shù)，可以從 1（無捆綁）到底層的全部大小（完全捆綁）不等。
當(dāng)捆綁底部的某個概念節(jié)點(diǎn)被激活時，它會激活自己的累加器，并抑制捆綁中其他累加器的活動（圖 20 的 t1）。在 t1+1 時，累加器 A6 達(dá)到閾值（≥k），而累加器 A2 和 A4 的計(jì)數(shù)器值下降。因此，信號從 A6 傳遞到捆綁節(jié)點(diǎn) B2，同時傳遞到節(jié)點(diǎn) a3。最終，在 t1+2 時，捆綁的頂層概念節(jié)點(diǎn)被激活，有效地接收來自捆綁底部原始概念節(jié)點(diǎn)（Cn,6）的信號。
如果另一個尚未達(dá)到閾值的概念節(jié)點(diǎn)嘗試通過（如 Cn,4），其累加器的計(jì)數(shù)器會增加，并減少其兄弟節(jié)點(diǎn)的計(jì)數(shù)器，但同時會阻止信號前進(jìn)，直到閾值被滿足。
從圖中可以推斷，如果兩個或更多底部節(jié)點(diǎn)同時激活，則它們都無法穿越累加器層，因?yàn)樗鼈儠ハ嘁种?。盡管它們每次觸發(fā)都會增加計(jì)數(shù)器，但在下一時刻會因抑制器的作用而減少計(jì)數(shù)器。為了避免這種多個概念節(jié)點(diǎn)同時激活但無法進(jìn)入捆綁的情況，可以在設(shè)計(jì)時將這些可能同時觸發(fā)的概念節(jié)點(diǎn)分配到不同的捆綁中。識別這些節(jié)點(diǎn)并適當(dāng)引導(dǎo)的具體方法超出了本文的討論范圍，將在未來的研究中進(jìn)一步探討。
相反，當(dāng)捆綁頂層的概念節(jié)點(diǎn)受到刺激時，信號需要在解碼過程中向下傳播（圖 21）。與編碼過程類似，累加器的計(jì)數(shù)器也會受到觸發(fā)或抑制連接的影響。當(dāng)信號到達(dá) B2 時，它會分叉?zhèn)鬟f到捆綁中的所有累加器，增加它們的計(jì)數(shù)值。如前所述，當(dāng)存在一個捆綁所有者時，候選節(jié)點(diǎn)的計(jì)數(shù)器不可能接近閾值 k。因此，盡管整個捆綁的計(jì)數(shù)器值都增加，但不會激活超過一個累加器，也就不會激活超過一個底部概念節(jié)點(diǎn)。于是，由于只有的計(jì)數(shù)器超過閾值，信號最終在時刻通過被引導(dǎo)至概念節(jié)點(diǎn)。同時，的所有兄弟累加器都會在 t2+3 時刻收到來自的抑制信號，從而降低它們的計(jì)數(shù)器值，并在時間點(diǎn)（頂層概念節(jié)點(diǎn) BC受到刺激的時刻）恢復(fù)到最初的狀態(tài)。
總之，這種復(fù)雜性降低的方法具有強(qiáng)大的靈活性，因?yàn)樗梢愿鶕?jù)需要限制模型的規(guī)模。然而，在這樣做的過程中，每次有多個概念爭奪節(jié)點(diǎn)分配的特權(quán)時，認(rèn)知能力都會有所損失。正如已經(jīng)提到的，這僅僅是探索可能的方法以限制本文模型所產(chǎn)生架構(gòu)規(guī)模的初步嘗試。還有許多其他途徑有待探索，它們可能會提供更好且更有效的選擇。
2.10 示例 1
示例 1a
在第一個示例中，如圖 22 所示，搭建了一個簡單的設(shè)置。所選的目標(biāo)形狀由三條直線和兩條曲線組成。方案中僅有一個傳感器。該傳感器在每次讀取時比較形狀的連續(xù)角度對。例如，在比較 時，角度差為 ，依此類推。傳感器的四個輸出按照一個簡潔的方案組合，形成一個包含三個節(jié)點(diǎn)的輸入層。認(rèn)知模型的架構(gòu)設(shè)計(jì)為包含四個層加上輸入層（4 + 1），并且用于生成每層概念的前一層數(shù)量設(shè)置為一層（p = 1）。每層的大小已在圖中標(biāo)明。
認(rèn)知模型能夠從一般化到區(qū)分化之間來回轉(zhuǎn)換是非常重要的。這個例子的目的僅僅是為了提供一個清晰、簡單且易于理解的解釋。盡管如此，即使它提供了對輸入形狀的非常一般化和靈活的概念化，理想情況下，它也應(yīng)該能夠提供更具區(qū)分性的定義。幸運(yùn)的是，可以為這一目的設(shè)計(jì)更具區(qū)分性的傳感器和認(rèn)知模型架構(gòu)。例如，接下來是對同一目標(biāo)形狀的一個變體，使用了三個傳感器和一個更大的認(rèn)知架構(gòu)。
示例1b。采用前一個例子（1a）中的相同目標(biāo)形狀，現(xiàn)在提出了一種不同的傳感方案，并結(jié)合了一個更深的層級結(jié)構(gòu)，利用了前面提出的動態(tài)分配策略。除了角度傳感器外，這次還引入了兩個額外的傳感器：一個X軸傳感器和一個Y軸傳感器。這些坐標(biāo)反映了傳感器在每個傳感瞬間的位置。因此，它們的差值捕捉了兩個連續(xù)記錄之間的X和Y的增量。相應(yīng)地，認(rèn)知模型包含多達(dá)八層。從第2層開始，所有概念層在其各自的捆綁概念層中均減少到702個節(jié)點(diǎn)。這使得模型能夠在保持穩(wěn)定層大小的同時增加深度。
當(dāng)然，動態(tài)分配方案意味著有些概念可能不會立即在結(jié)構(gòu)中向上發(fā)展。因此，那些其概念未能傳遞到更高層次的目標(biāo)形狀部分，需要被足夠多次地感知。通過這種方式，作為把關(guān)者的累加器可以達(dá)到閾值之上，從而使這些概念能夠通過層級向上傳遞。在完成這一迭代感知過程后，獲得了一個完整的概念結(jié)構(gòu)（表1、表2和圖27），確定了關(guān)鍵瞬間的集合，并得到了一個重建的圖形（圖26）?？梢杂^察到，在這種情況下，重建的圖形與原始對象要接近得多。然而，一些方面已經(jīng)被犧牲了，例如，對旋轉(zhuǎn)的獨(dú)立性現(xiàn)在已經(jīng)喪失。在某種程度上，似乎在這種設(shè)置下，結(jié)果略微傾向于目標(biāo)識別，而不是其概念化。這兩方面的界限可能有些模糊，但重要的是要展示，這里介紹的模型能夠相當(dāng)自然地沿著這種身份或概念化譜系的軸線滑動。
為了總結(jié)這個例子，圖28中挑選了來自第4層的概念C28，以提供其層級結(jié)構(gòu)的視覺呈現(xiàn)，一直到傳感器。在表3中，這個層級結(jié)構(gòu)以樹形圖的形式進(jìn)行了總結(jié)?；氐接米匀徽Z言解釋這一概念序列的練習(xí)中，這次的結(jié)果更為復(fù)雜，且遠(yuǎn)不那么模糊：從一條直線到一個在X和Y方向上減小的、角度逐漸增加的曲線，到一個在X方向上增加而在Y方向上減小的、角度逐漸增加的曲線，再到一個在X和Y方向上都增加的、角度逐漸增加的曲線，最后到一條在X和Y方向上都增加的直線。
正如可以注意到的，使用額外的兩個X軸和Y軸傳感器，導(dǎo)致了高度具體的概念的生成，這些概念在區(qū)分相似對象，或辨別它們各自的位置和方向時非常有用。
然而，需要注意的是，隨著這些序列化描述變得越來越長，它們從人類語言的角度來看就顯得越不直觀或“自然”。正如之前討論的，可能需要在概念的深度和其傳達(dá)的簡潔性之間找到一個平衡。因此，在嘗試創(chuàng)建復(fù)雜定義時，或許可以借助一個由記憶模塊通過并置排列的更簡單概念的方案。正如前面提到的，這個模塊的開發(fā)超出了本文的范圍，但應(yīng)該在未來某個階段加以考慮。
原文鏈接：https://files.osf.io/v1/resources/z47jb/providers/osfstorage/654fa6959a300900caedfe1b?format=pdf&action=download&direct&version=1
熱門跟貼