A Bateson-Inspired Model for theGeneration of Semantic Concepts FromSensory Data
https://journals.sagepub.com/doi/pdf/10.1177/30504554251314334
該模型的11個(gè)核心精神：
1. 該模型基于定性差異而非定量大小進(jìn)行操作，與人類認(rèn)知相一致。
2. 無(wú)需大量訓(xùn)練即可生成豐富且可組合的表示。
3. 具備完全的可追溯性，能夠從傳感器數(shù)據(jù)清晰地鏈接到最高級(jí)別的概念。
4. 支持形式推理，允許對(duì)概念進(jìn)行邏輯操作。
5. 天然具備泛化能力，能夠?qū)⒏拍顟?yīng)用于新的情境和背景。
6. 生成類似人類的語(yǔ)義概念結(jié)構(gòu)，捕捉人類理解的本質(zhì)。
7. 為同一物體提供多種概念定義，反映了人類認(rèn)知的靈活性。
8. 具有內(nèi)在的生成性，能夠創(chuàng)造新的概念和表示。
9. 對(duì)外部符號(hào)輸入的需求極小，僅需三個(gè)比較符號(hào)和每個(gè)傳感器變量的一個(gè)符號(hào)。
這使其有利于未來(lái)開發(fā)生物啟發(fā)式實(shí)現(xiàn)，并為解決符號(hào)接地問題（SGP）開辟新的途徑。
10. 采用自下而上的方法，從基本的原子元素構(gòu)建復(fù)雜概念，模仿語(yǔ)言習(xí)得的過(guò)程。
11. 使用簡(jiǎn)單直接的算法，簡(jiǎn)化了其實(shí)現(xiàn)，并使其更容易在未來(lái)挑戰(zhàn)和應(yīng)用中進(jìn)行擴(kuò)展。
本質(zhì)上，該方法的主要貢獻(xiàn)在于，它提供了一種簡(jiǎn)單的算法，能夠無(wú)縫地彌合感知與語(yǔ)義概念結(jié)構(gòu)之間的差距，既不需要（i）像神經(jīng)符號(hào)模型那樣結(jié)合不同人工智能范式中的模型，也不會(huì)（ii）通過(guò)采用自下而上的方式讓模型自主生成自己的“標(biāo)簽”，從而限制其創(chuàng)造豐富概念的能力。
摘要
盡管神經(jīng)符號(hào)技術(shù)在感官數(shù)據(jù)中的符號(hào)接地方面表現(xiàn)出顯著的有效性，但它們?nèi)匀恍枰罅康挠?xùn)練。本文通過(guò)引入一種從空間感官數(shù)據(jù)中創(chuàng)建分層概念結(jié)構(gòu)的新算法，重新審視了純符號(hào)方法。該方法基于貝特森（Bateson）關(guān)于“差異”作為概念形成基本要素的觀點(diǎn)。通過(guò)利用這一原則，算法通過(guò)在多變量數(shù)值流中進(jìn)行基本的順序比較，從原始數(shù)據(jù)中提取原子特征。在一組常見物體上進(jìn)行的實(shí)驗(yàn)表明，該方法能夠在無(wú)需訓(xùn)練的情況下成功區(qū)分和同化類別。結(jié)果表明，該模型優(yōu)于其測(cè)試過(guò)的神經(jīng)網(wǎng)絡(luò)，后者完成相同任務(wù)需要超過(guò)400個(gè)訓(xùn)練樣本。結(jié)果還表明，該模型能夠生成豐富且類似人類的概念結(jié)構(gòu)，這些結(jié)構(gòu)（i）便于高度組合性，（ii）支持形式推理，（iii）本質(zhì)上能夠泛化，（iv）具有生成行為的潛力。因此，這種方法為符號(hào)接地和神經(jīng)符號(hào)研究提供了引人注目的貢獻(xiàn)，通過(guò)提供一種無(wú)縫的算法來(lái)彌合感知與概念知識(shí)之間的差距。
關(guān)鍵詞：貝特森，符號(hào)接地，感官數(shù)據(jù)，空間數(shù)據(jù)，多變量時(shí)間序列，概念涌現(xiàn)，概念提取，概念生成，形式概念分析（FCA）
1 引言
本研究的動(dòng)機(jī)是探索能夠生成豐富且可組合的概念空間對(duì)象概念表示的新符號(hào)方法。人類對(duì)世界的編碼極為復(fù)雜，其特征在于能夠出色地分辨和同化他們所感知的現(xiàn)實(shí)。即使沒有大量的訓(xùn)練，這些編碼也能形成高度靈活且可組合的概念結(jié)構(gòu)，支持邏輯運(yùn)算并展現(xiàn)出生成能力。此外，這些結(jié)構(gòu)可以通過(guò)符號(hào)進(jìn)行語(yǔ)義表達(dá)。因此，彌合感官數(shù)據(jù)與這種內(nèi)部世界模型之間的差距是人工智能（AI）的關(guān)鍵挑戰(zhàn)。符號(hào)化或基于邏輯的 AI 系統(tǒng)通常被認(rèn)為能夠復(fù)制人類思維的某些重要方面，例如組合性、因果性和推理能力（Newell，1980；Simon，1995）。然而，當(dāng)面對(duì)原始空間數(shù)據(jù)時(shí)，它們會(huì)面臨巨大挑戰(zhàn)，包括由 Harnad（1990）提出的符號(hào)接地問題（SGP）（見第 2.2 節(jié)）以及計(jì)算復(fù)雜性的瓶頸。相比之下，從早期控制論學(xué)者 Wiener（1948）和 Pitts & McCulloch（1947）的工作中發(fā)展而來(lái)的聯(lián)結(jié)主義方法，在處理這種輸入時(shí)表現(xiàn)出色，例如基于像素的圖像。這種能力通過(guò)神經(jīng)網(wǎng)絡(luò)范式得到了充分證明，尤其是深度學(xué)習(xí)（Lecun 等，2015），它以誤差優(yōu)化作為其核心學(xué)習(xí)機(jī)制。然而，符號(hào)模型所具有的優(yōu)勢(shì)在聯(lián)結(jié)主義方法中卻成為了重要的局限性。
在這種背景下，神經(jīng)符號(hào)模型（NSMs）（Garcez 等，2015）的出現(xiàn)引起了關(guān)注，被認(rèn)為是一種有希望解決符號(hào)和聯(lián)結(jié)主義 AI 范式局限性的方法。事實(shí)上，近年來(lái)關(guān)于 NSMs 的文獻(xiàn)有了顯著增長(zhǎng)（Hitzler 等，2022；Sarker 等，2021），盡管也可以找到更早的貢獻(xiàn)（Fdez-Riverola & Corchado，2003；Zhou 等，2003）。這些混合模型旨在克服 AI 研究領(lǐng)域中一些重要人物之前識(shí)別出的重要缺陷（Bengio，2017；Cristianini，2014；Lake 等，2015；Xia 等，2021）。然而，盡管 NSMs 非常有前景，但仍存在一些挑戰(zhàn)，尤其是在 SGP 方面。
主要挑戰(zhàn)之一是神經(jīng)網(wǎng)絡(luò)需要在標(biāo)記數(shù)據(jù)上進(jìn)行訓(xùn)練，這引入了外部符號(hào)信息，可能會(huì)危及 SGP 將符號(hào)錨定在感官數(shù)據(jù)中的目標(biāo)。這在用于分類任務(wù)的神經(jīng)網(wǎng)絡(luò)中尤為明顯，標(biāo)記數(shù)據(jù)對(duì)于訓(xùn)練至關(guān)重要。相比之下，某些 NSM 方法似乎可以繞開對(duì)外部符號(hào)信息的依賴。特別是，神經(jīng)自編碼器可以被用來(lái)以無(wú)監(jiān)督或自監(jiān)督的方式從復(fù)雜數(shù)據(jù)中提取聚類。然后，可以為這些聚類分配任意符號(hào)以便進(jìn)一步處理。然而，對(duì)這些工作的更仔細(xì)審查（第 3 節(jié)）表明，它們可能并未完全遵守 Taddeo & Floridi（2005）提出的“零語(yǔ)義承諾條件”（Z 條件）。所謂的“Z 條件”主張，AI 代理應(yīng)自主為其操作的符號(hào)構(gòu)建自己的語(yǔ)義，而不依賴于外部符號(hào)知識(shí)。這些方法的另一個(gè)重要局限性是，即使以自監(jiān)督的方式使用自編碼器（不需要標(biāo)記），它們?nèi)匀恍枰罅康挠?xùn)練集。
本文提出的方法，即貝特森啟發(fā)式接地算法（BIGA），主要面向現(xiàn)實(shí)世界中的物體領(lǐng)域，這一方法的初步版本僅限于多屬性一維實(shí)體。然而，預(yù)計(jì)未來(lái)的工作將擴(kuò)展這一范圍，以納入更高維度和更復(fù)雜的數(shù)據(jù)模態(tài)（例如圖像、視頻、音頻等）。例如，懸浮在流體中的粒子的軌跡，或者更一般地，任何可以從材料形式的空間輪廓中推導(dǎo)出來(lái)的一維幾何形狀都可以被考慮。或者，更抽象地說(shuō)，空間中具有變化的寬度和顏色（或任何其他屬性集合）的曲線也可以被考慮。在所有這些情況下，物體都可以被完整地表示為多變量時(shí)間序列。
該算法采用一種簡(jiǎn)單的方法，通過(guò)基本的特征提取過(guò)程從多變量數(shù)值流中提取符號(hào)。這種操作會(huì)隨著傳感器沿著物體移動(dòng)而持續(xù)進(jìn)行，類似于通過(guò)沿著物體輪廓滑動(dòng)手指來(lái)感知物體的形狀。因此，感知行為總是被建模為一個(gè)動(dòng)態(tài)的順序過(guò)程，這是本工作的一個(gè)重要方面。該方法受到貝特森（Bateson）的觀點(diǎn)啟發(fā)，即觀念本質(zhì)上是一種差異：“一種有差異的差異”（Bateson，1999）。類似于 Cárdenas-García（2022）和 Cárdenas-García & Ireland（2020）提出的方法，本文提出的傳感器通過(guò)比較元件將連續(xù)值的定量方面編碼為定性信息，從而生成符號(hào)。本方法分析的基本特征是流中兩個(gè)連續(xù)值（a1，a2）是否相等（a2 = a1），或者第二個(gè)值是否大于第一個(gè)值（a2 > a1），反之亦然（a2 < a1）。這些基本比較被總結(jié)為 {=，>，<}。例如，曲線的兩個(gè)連續(xù) x 坐標(biāo)值（x1 = 2，x2 = 3）被轉(zhuǎn)換為符號(hào)描述（x >），這意味著比較 x2 和 x1 的結(jié)果是（x2 > x1）。隨后，通過(guò)進(jìn)一步對(duì)先前獲得的符號(hào)進(jìn)行（符號(hào)）比較，遞歸地提取更復(fù)雜的特征。
本文的工作基于這樣一種觀點(diǎn)：感知并不是主要捕捉量值，而是辨別量值之間的差異。人類在檢測(cè)變化和比例方面表現(xiàn)出色，但在精確評(píng)估絕對(duì)量值方面卻存在不足。這種固有局限性促使了精確測(cè)量工具的發(fā)展。生物神經(jīng)元也遵循類似的模式，不是通過(guò)信號(hào)強(qiáng)度傳遞信息，而是以“全有或全無(wú)”的方式（激發(fā)或不激發(fā)）傳遞信號(hào)（Jr，1994）。盡管大多數(shù)聯(lián)結(jié)主義機(jī)器學(xué)習(xí)模型使用浮點(diǎn)值作為輸入，并通過(guò)網(wǎng)絡(luò)傳播其量值，但貝特森的差異觀念為構(gòu)建類似人類的認(rèn)知模型提供了一個(gè)有前景的基礎(chǔ)。與聯(lián)結(jié)主義的誤差優(yōu)化范式不同，本文提出的模型同時(shí)（i）消除了生成高級(jí)概念所需的訓(xùn)練需求，以及（ii）遵循生物神經(jīng)元的“全有或全無(wú)”信號(hào)傳遞特性。這一創(chuàng)新為開發(fā)基于自然激發(fā)模式的生物啟發(fā)式聯(lián)結(jié)主義系統(tǒng)開辟了可能性，使其能夠在無(wú)需訓(xùn)練的情況下構(gòu)建豐富的概念表示。關(guān)于這種系統(tǒng)設(shè)計(jì)的初步構(gòu)想可以在 de Miguel Rodríguez（2023）中找到。
關(guān)于符號(hào)接地問題（SGP），本研究的目標(biāo)并非提出一個(gè)終極解決方案，而是通過(guò)探索替代方法為未來(lái)研究奠定基礎(chǔ)。研究承認(rèn)，本文提出的方法確實(shí)依賴于外部信息，因?yàn)樗鼮楸硎驹颖容^器和傳感器變量的符號(hào)或標(biāo)記分配了語(yǔ)義值。因此，它違反了前面提到的“零語(yǔ)義承諾條件”（Z條件）。然而，值得考慮的是，是否可以將這些語(yǔ)義值保持未分配狀態(tài)，本質(zhì)上使它們成為未標(biāo)記或匿名的。這可以通過(guò)模型的具身實(shí)現(xiàn)來(lái)實(shí)現(xiàn)，即將這些標(biāo)記映射到系統(tǒng)的固有或“硬編碼”的離散化能力上。在這種情況下，可以通過(guò)類似于 Taddeo 和 Floridi（2005）討論的機(jī)制，在一組代理之間達(dá)成關(guān)于這些未指定標(biāo)記含義的共識(shí)。這些機(jī)制可能包括 Vogt 的“猜測(cè)游戲”（Vogt，2003），或 Taddeo 和 Floridi（2007）的后續(xù)嘗試。這種方法具有以下兩個(gè)潛在優(yōu)勢(shì)：
1. 降低復(fù)雜性：該算法基于使用最少數(shù)量的比較器，以實(shí)現(xiàn)傳感器所獲得值之間的最大區(qū)分。例如，在連續(xù)屬性的情況下，使用三個(gè)比較器（<，>，=），這是在屬性域中獲得全序所需的最少數(shù)量。對(duì)于有限域?qū)傩?，可以根?jù)屬性的語(yǔ)義決定是否需要這組比較器，或者是否可以進(jìn)一步減少，其中最小情況只需要一個(gè)比較器。
2. 自下而上的涌現(xiàn)：該模型具有內(nèi)在的生成能力，這種能力源于其從傳感器層面到生成概念最高層面的完全符號(hào)可追溯性。這種生成能力將允許將輸出產(chǎn)生到環(huán)境中，代表對(duì)象內(nèi)部表示的某些方面。這些輸出隨后可以被其他過(guò)程（代理）感知，從而啟動(dòng)一個(gè)互動(dòng)的共識(shí)構(gòu)建循環(huán)。盡管這種多邊協(xié)議過(guò)程的具體細(xì)節(jié)尚不清楚，但有可能在沒有外部干預(yù)的情況下涌現(xiàn)出一種原始的語(yǔ)言或字母表，并且它可能為未來(lái)的工作提供繞開SGP的途徑。
所提出的方法基于對(duì)差異的遞歸計(jì)算，乍一看似乎過(guò)于簡(jiǎn)單，且可能在區(qū)分能力上存在局限性。然而，結(jié)果表明，該方法在處理常見物體時(shí)展現(xiàn)出驚人的潛力，尤其是在整合多模態(tài)數(shù)據(jù)時(shí)。在這方面，例如，當(dāng)通過(guò)機(jī)器人手臂或人類手臂感知一條曲線時(shí)，不僅可以利用位置坐標(biāo)（x，y），還可以利用手臂末端、手腕和肘部關(guān)節(jié)的角度。從這些不同的坐標(biāo)和角度集合中提取的符號(hào)特征的組合可以產(chǎn)生豐富且描述性強(qiáng)的表示。
盡管該方法在某些領(lǐng)域可能面臨局限性，但在其他領(lǐng)域?qū)崿F(xiàn)令人滿意的區(qū)分能力方面具有潛力。在那些模式高度依賴于微妙信號(hào)量值結(jié)構(gòu)的數(shù)據(jù)領(lǐng)域，該方法會(huì)遇到局限性，例如金融時(shí)間序列分析或使用聲音或振動(dòng)頻譜進(jìn)行機(jī)器故障檢測(cè)等領(lǐng)域。相反，那些模式更適合通過(guò)概念或相對(duì)值和比例來(lái)描述的領(lǐng)域是這種方法的理想應(yīng)用場(chǎng)景。例如，設(shè)計(jì)領(lǐng)域、手寫文本識(shí)別以及空間軌跡的特征化（可能涉及速度和加速度曲線等其他屬性）等領(lǐng)域。簡(jiǎn)而言之，如果在區(qū)分日常物體的準(zhǔn)確性上被證明是足夠的，該模型可以利用其固有優(yōu)勢(shì)來(lái)解決當(dāng)代人工智能的幾個(gè)關(guān)鍵問題。
總結(jié)來(lái)說(shuō)，以下幾點(diǎn)捕捉到了該模型的核心精神，即：
1. 該模型基于定性差異而非定量大小進(jìn)行操作，與人類認(rèn)知相一致。
2. 無(wú)需大量訓(xùn)練即可生成豐富且可組合的表示。
3. 具備完全的可追溯性，能夠從傳感器數(shù)據(jù)清晰地鏈接到最高級(jí)別的概念。
4. 支持形式推理，允許對(duì)概念進(jìn)行邏輯操作。
5. 天然具備泛化能力，能夠?qū)⒏拍顟?yīng)用于新的情境和背景。
6. 生成類似人類的語(yǔ)義概念結(jié)構(gòu)，捕捉人類理解的本質(zhì)。
7. 為同一物體提供多種概念定義，反映了人類認(rèn)知的靈活性。
8. 具有內(nèi)在的生成性，能夠創(chuàng)造新的概念和表示。
9. 對(duì)外部符號(hào)輸入的需求極小，僅需三個(gè)比較符號(hào)和每個(gè)傳感器變量的一個(gè)符號(hào)。
這使其有利于未來(lái)開發(fā)生物啟發(fā)式實(shí)現(xiàn)，并為解決符號(hào)接地問題（SGP）開辟新的途徑。
10. 采用自下而上的方法，從基本的原子元素構(gòu)建復(fù)雜概念，模仿語(yǔ)言習(xí)得的過(guò)程。
11. 使用簡(jiǎn)單直接的算法，簡(jiǎn)化了其實(shí)現(xiàn)，并使其更容易在未來(lái)挑戰(zhàn)和應(yīng)用中進(jìn)行擴(kuò)展。
本質(zhì)上，該方法的主要貢獻(xiàn)在于，它提供了一種簡(jiǎn)單的算法，能夠無(wú)縫地彌合感知與語(yǔ)義概念結(jié)構(gòu)之間的差距，既不需要（i）像神經(jīng)符號(hào)模型那樣結(jié)合不同人工智能范式中的模型，也不會(huì)（ii）通過(guò)采用自下而上的方式讓模型自主生成自己的“標(biāo)簽”，從而限制其創(chuàng)造豐富概念的能力。
2 基礎(chǔ)
本研究旨在從感官數(shù)據(jù)中獲取的原子特征生成概念結(jié)構(gòu)。“概念”一詞在眾多學(xué)科中有著多種定義（Goguen，2005）。在計(jì)算機(jī)科學(xué)領(lǐng)域，這些定義從控制論先驅(qū)Wiener（1948）提出的“共相”（universals）概念，到聯(lián)結(jié)主義者處理的“模式”（patterns），不一而足。然而，大多數(shù)概念學(xué)習(xí)方法源自符號(hào)人工智能（AI），并特別強(qiáng)調(diào)語(yǔ)義。關(guān)于這些方法的廣泛綜述可以在Goguen（2005）的工作中找到，其中包括G?rdenfors（1990）的幾何概念空間、Fauconnier的符號(hào)概念空間、Barwise和Seligman的信息流、Wille（1982）的形式概念分析（FCA）、Sowa（2005）的理論格以及Fauconnier和Turner的概念整合。盡管這些理論中的概念仍可以被視為一種“模式”，但它們具有內(nèi)在的符號(hào)結(jié)構(gòu)，便于組合性、通用性、語(yǔ)義性、推理能力、可解釋性和生成能力。因此，人工智能中的“概念”不僅包括模式，還涵蓋了一系列類似人類認(rèn)知的基本能力。由于本研究目標(biāo)中的概念結(jié)構(gòu)與形式概念分析（FCA）中發(fā)現(xiàn)的結(jié)構(gòu)高度相似，因此在方法的初步迭代中選擇了后者。
2.1 形式概念分析
形式概念分析（FCA）為模式學(xué)習(xí)、推理能力以及以形式格表示的概念網(wǎng)絡(luò)的組織化層級(jí)結(jié)構(gòu)提供了一個(gè)強(qiáng)大的引擎（Wille，1982）。
Borrego-Díaz 和 Páez（2022）等研究工作已經(jīng)探索了這些模型在可解釋人工智能領(lǐng)域的潛力。然而，將 FCA 應(yīng)用于詳細(xì)數(shù)據(jù)（如原始傳感器數(shù)據(jù)）一直是一個(gè)持續(xù)的挑戰(zhàn)。由于其組合性質(zhì)，應(yīng)用通常會(huì)導(dǎo)致龐大且復(fù)雜的格結(jié)構(gòu)，這些結(jié)構(gòu)計(jì)算密集且包含大量無(wú)關(guān)概念。許多研究專注于復(fù)雜性降低以解決這一問題。最早的一些方法由 Bˇelohlávek 領(lǐng)導(dǎo)，探索基于屬性依賴公式的約束（Belohlávek 和 Sklenár，2005a）、屬性等價(jià)（Belohlávek 等，2004）、層次化屬性（Belohlavek 等，2004）以及使用修飾詞（Belohlávek 和 Vychodil，2005）降低模糊格結(jié)構(gòu)。
將粒計(jì)算（Yao，2000；Zadeh，1979）引入 FCA 領(lǐng)域（Belohlávek 和 Sklenár，2005b；Wu 等，2009）是復(fù)雜性降低的一個(gè)重要貢獻(xiàn)，通過(guò)依賴無(wú)監(jiān)督機(jī)器學(xué)習(xí)技術(shù)根據(jù)所需的復(fù)雜性水平自動(dòng)生成“粒”或聚類來(lái)處理浮點(diǎn)值。其他策略包括可變閾值模型（Zhang 等，2007）、粗糙概念分析（Kent，1996；Saquer 和 Deogun，1999）以及模糊概念分析（Saquer 和 Deogun，2001），這些成果作為該領(lǐng)域的重要貢獻(xiàn)已被廣泛采用。盡管有這些提議以及最近為提高計(jì)算效率（Mouakher 等，2021）、增強(qiáng)靈活性（Min 和 Kim，2019）和降低概念格復(fù)雜性（Aragón 等，2021；Hao 等，2021）的努力，將 FCA 應(yīng)用于復(fù)雜傳感器數(shù)據(jù)的研究仍然有限，只有少數(shù)例子，如 Boukhetta 等人（2020）的工作，其中 FCA 被用于從基于區(qū)間的序列中提取順序模式。
2.2 符號(hào)接地問題
1990年，Harnad引入了符號(hào)接地問題（SGP）（Harnad，1990），擴(kuò)展了Searle早期的“中文屋論證”（Searle，1980）。Harnad寫道：“……他指出，如果圖靈測(cè)試是以中文進(jìn)行的，那么他自己（Searle，一個(gè)不懂中文的人）可以執(zhí)行計(jì)算機(jī)正在執(zhí)行的相同程序，而不知道他正在處理的任何詞語(yǔ)的含義。因此，如果他在執(zhí)行程序時(shí)內(nèi)部沒有任何意義，那么計(jì)算機(jī)內(nèi)部也不會(huì)有任何意義……”（Harnad，2006）。這一論點(diǎn)揭示了由于符號(hào)的含義大多是任意賦予的，因此操縱這些符號(hào)的模型缺乏對(duì)它們所代表含義的理解。當(dāng)然，符號(hào)可以通過(guò)直接賦值的方式與它們的含義建立聯(lián)系，也就是說(shuō)，創(chuàng)建模型的專家可能會(huì)在程序中硬編碼這些連接。然而，這種選擇顯然存在一些局限性。問題于是變成了：人工智能系統(tǒng)是否能夠獨(dú)立發(fā)展出一套符號(hào)，這些符號(hào)能夠與它們的含義內(nèi)在地聯(lián)系起來(lái)，而無(wú)需任何外部輸入。在他的開創(chuàng)性論文中，Harnad并沒有對(duì)SGP給出一個(gè)形式化的定義。相反，這個(gè)問題是通過(guò)例子和以下問題來(lái)表述的：“如何使形式符號(hào)系統(tǒng)的語(yǔ)義解釋成為系統(tǒng)的內(nèi)在屬性，而不是僅僅寄生于我們頭腦中的含義？?jī)H僅基于它們（任意的）形狀來(lái)操縱的無(wú)意義符號(hào)標(biāo)記的含義，如何能夠不通過(guò)其他無(wú)意義的符號(hào)來(lái)錨定？”
自SGP被提出以來(lái)，已經(jīng)有許多嘗試開發(fā)能夠解決這一問題的模型。其中許多努力早在Taddeo和Floridi（2005）的研究中就被收集并討論過(guò)，他們引入了零語(yǔ)義承諾條件（或Z條件）的概念，作為對(duì)SGP任何有效解決方案的最終要求的總結(jié)。用作者的話來(lái)說(shuō)，（i）“不應(yīng)預(yù)設(shè)人工代理已經(jīng)安裝了某種語(yǔ)義資源（某種語(yǔ)義能力）”，以及（ii）“不應(yīng)從‘外部’通過(guò)某種已經(jīng)具備語(yǔ)義能力的‘救星’上傳語(yǔ)義資源”。這一條件的含義是深遠(yuǎn)的：符號(hào)不僅需要從感官數(shù)據(jù)中涌現(xiàn)出來(lái)，而且人工代理還需要自主學(xué)習(xí)如何識(shí)別這些符號(hào)作為被賦予了某種感知現(xiàn)實(shí)的圖標(biāo)，并理解如何操作它們。否則，就會(huì)假設(shè)語(yǔ)義能力已經(jīng)存在于代理中，從而未能滿足Z條件。在這種背景下，SGP對(duì)于理解人類數(shù)千年前如何僅從感官輸入中發(fā)展出符號(hào)和語(yǔ)義系統(tǒng)可能至關(guān)重要。因此，SGP涉及多個(gè)領(lǐng)域，包括人工智能、語(yǔ)言學(xué)、認(rèn)知科學(xué)、哲學(xué)等。最近的相關(guān)研究可參考Nagoev等人（2023）、Dushkin和Stepankov（2023）、Li（2022）以及Chang等人（2020）。
3 相關(guān)工作
近年來(lái)，神經(jīng)符號(hào)研究的進(jìn)展見證了神經(jīng)和聯(lián)結(jié)主義模型的優(yōu)勢(shì)與符號(hào)化和基于邏輯的人工智能的好處的融合。SATNet（Wang等人，2019）是該領(lǐng)域的一項(xiàng)重要工作，它通過(guò)整合可微的最大可滿足性求解器（MAXSAT），在深度學(xué)習(xí)模型中實(shí)現(xiàn)了邏輯推理。該模型將從數(shù)據(jù)中學(xué)習(xí)邏輯結(jié)構(gòu)的任務(wù)轉(zhuǎn)化為獲取一個(gè)定義良好的問題實(shí)例的MAXSAT解。這一框架進(jìn)一步被Topan等人（2021）完善，他們將從MNIST數(shù)據(jù)集分類數(shù)字的任務(wù)無(wú)縫集成到SATNet中。這一過(guò)程無(wú)需顯式監(jiān)督，同時(shí)學(xué)習(xí)數(shù)獨(dú)的規(guī)則并解決數(shù)獨(dú)棋盤。通過(guò)這種方式，作者聲稱解決了符號(hào)接地問題（SGP），盡管模型解決MAXSAT問題需要復(fù)雜的符號(hào)和邏輯知識(shí)。在他們的研究中，0-9的數(shù)字首先通過(guò)聚類算法識(shí)別，但不對(duì)聚類分配任何數(shù)字標(biāo)簽（無(wú)監(jiān)督）。隨后，通過(guò)示例同時(shí)學(xué)習(xí)數(shù)獨(dú)的規(guī)則和解決方案。在這個(gè)過(guò)程中，數(shù)字的值被揭示出來(lái)，就像模型在解一個(gè)方程組一樣。這一過(guò)程引入了一種隱式監(jiān)督機(jī)制，因?yàn)槌尸F(xiàn)給網(wǎng)絡(luò)的多個(gè)解決方案提供了足夠的信息來(lái)識(shí)別每個(gè)數(shù)字的身份。
Dai等人（2019）采用了類似的方法，他們提出了一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，用于感知圖像中的像素?cái)?shù)據(jù)，并通過(guò)邏輯推理引擎從前者中提取規(guī)則和知識(shí)。為了將網(wǎng)絡(luò)學(xué)到的模式轉(zhuǎn)化為推理引擎可以處理的符號(hào)，模型為這些模式分配偽標(biāo)簽，然后通過(guò)解決邏輯謎題來(lái)確定正確的標(biāo)簽分配。與前面討論的工作一樣，這種方法依賴于一個(gè)具有已知解決方案的特定問題陳述。這種謎題解決方法類似于Asai和Fukunaga（2017）所采用的概念，他們實(shí)際解決了謎題。另一種有趣的混合方法由Garnelo等人（2016）提出，其靈感來(lái)源于強(qiáng)化學(xué)習(xí)。他們的方法也包括一個(gè)神經(jīng)感知模塊和一個(gè)符號(hào)推理引擎。然而，在他們的案例中，兩個(gè)模塊之間的接口是一個(gè)針對(duì)學(xué)習(xí)代理上下文定制的符號(hào)本體。本體是根據(jù)其環(huán)境特征明確上傳到代理中的。這種方法與本文介紹的工作特別相關(guān)，因?yàn)檫@里開發(fā)的新興概念結(jié)構(gòu)可以作為他們工作中提出的本體層，從而消除了對(duì)先驗(yàn)本體建模的需要。
在他們富有洞察力的論文（Evans等人，2021b）中，作者探討了從連續(xù)的感官輸入流中“理解意義”的復(fù)雜性。他們挑戰(zhàn)了當(dāng)前的觀念，即預(yù)測(cè)、回溯和填補(bǔ)缺失值本身足以證明理解能力。相反，他們認(rèn)為構(gòu)建一個(gè)能夠解釋數(shù)據(jù)中潛在模式和關(guān)系的符號(hào)理論才是真正的理解能力的標(biāo)志。這種觀點(diǎn)與先前的研究一致，即構(gòu)建解釋性理論的能力是人類常識(shí)的一個(gè)關(guān)鍵要素。在此基礎(chǔ)上，作者探討了在理解感官輸入時(shí)出現(xiàn)的潛在心理模型的可能定義，并展示了這種心理模型如何隱含地賦予預(yù)測(cè)、回溯和填補(bǔ)的能力。然而，模型當(dāng)前處理的感官數(shù)據(jù)的離散性質(zhì)和有限范圍被認(rèn)識(shí)到是重要的局限性。作者提供的用于展示模型能力的例子，如基本的元胞自動(dòng)機(jī)、鼓點(diǎn)節(jié)奏以及其他相對(duì)簡(jiǎn)單的數(shù)據(jù)流，強(qiáng)調(diào)了對(duì)更廣泛應(yīng)用的需求。為了解決這一不足，作者在后續(xù)工作中引入了神經(jīng)網(wǎng)絡(luò)（Evans等人，2021a），將模型的范圍擴(kuò)展到更復(fù)雜和連續(xù)的數(shù)據(jù)領(lǐng)域。盡管這種神經(jīng)網(wǎng)絡(luò)的整合需要訓(xùn)練，但它也承諾增強(qiáng)模型對(duì)現(xiàn)實(shí)世界感官數(shù)據(jù)流的理解能力。這為能夠真正理解的更復(fù)雜的人工智能系統(tǒng)鋪平了道路。
上述神經(jīng)符號(hào)模型的一個(gè)顯著特點(diǎn)是它們能夠在沒有大量訓(xùn)練的情況下學(xué)習(xí)基于邏輯的規(guī)則。這構(gòu)成了與傳統(tǒng)需要大量監(jiān)督的模式識(shí)別任務(wù)的明顯優(yōu)勢(shì)。此外，它們從數(shù)據(jù)中提取知識(shí)而不出現(xiàn)過(guò)擬合的固有能力特別吸引人，因?yàn)樗c人類學(xué)習(xí)過(guò)程一致，并為更高效和可泛化的AI系統(tǒng)提供了希望。本文介紹的方法進(jìn)一步體現(xiàn)了這一趨勢(shì)，展示了如何從現(xiàn)實(shí)世界數(shù)據(jù)中學(xué)習(xí)概念結(jié)構(gòu)，而無(wú)需大量的標(biāo)記樣本。這有助于開發(fā)更強(qiáng)大和適應(yīng)性強(qiáng)的AI系統(tǒng)，能夠從世界中獲取知識(shí)，而不必承受大量標(biāo)記的負(fù)擔(dān)。
在另一條研究路徑中，2015年Lake等人的一項(xiàng)重要研究探討了兩個(gè)核心問題：（i）人類如何從少量樣本中學(xué)習(xí)新概念？以及（ii）人類如何發(fā)展出如此抽象、豐富且靈活的概念表示？第一個(gè)問題揭示了無(wú)監(jiān)督或弱監(jiān)督概念涌現(xiàn)以及分布外學(xué)習(xí)的領(lǐng)域，而第二個(gè)問題則強(qiáng)調(diào)了自然組合性在概念結(jié)構(gòu)中的關(guān)鍵重要性。他們的方法引入了貝葉斯編程學(xué)習(xí)框架（Bayesian Program Learning, BPL），通過(guò)學(xué)習(xí)簡(jiǎn)單的隨機(jī)程序來(lái)表示概念。這些程序作為概率生成子模型，整個(gè)模型通過(guò)將它們擬合到背景數(shù)據(jù)集（每個(gè)類別僅使用少量樣本）來(lái)學(xué)習(xí)。該實(shí)現(xiàn)使用Omniglot數(shù)據(jù)集作為背景數(shù)據(jù)集，涵蓋了手寫字符的像素和筆畫數(shù)據(jù)。值得注意的是，在該模型中，概念的構(gòu)建塊被預(yù)定義為子部件、部件和空間關(guān)系。子部件代表筆短暫停頓處分開的筆畫，而部件則由筆按下和筆抬起事件定義。盡管該方法具有通用性，但其實(shí)現(xiàn)高度依賴于數(shù)據(jù)集的具體性質(zhì)，數(shù)據(jù)集以庫(kù)的形式提供，而非從原始傳感器數(shù)據(jù)中涌現(xiàn)。盡管如此，這種方法與本文介紹的方法有許多顯著的相似之處。一個(gè)特別有趣的觀察是，能夠?qū)W習(xí)和演化豐富概念表示的模型必須同時(shí)無(wú)縫地展現(xiàn)出生成和學(xué)習(xí)能力。這種雙向特性與本文的核心論點(diǎn)密切相關(guān)。
關(guān)于從感官數(shù)據(jù)中提取符號(hào)知識(shí)的研究也特別關(guān)注概念。一個(gè)重要的貢獻(xiàn)是Bechberger（2021），該研究基于G?rdenfors提出的概念空間（Conceptual Spaces）理論，并結(jié)合了邏輯張量網(wǎng)絡(luò)（Logic Tensor Networks）——一種使用模糊隸屬函數(shù)的神經(jīng)網(wǎng)絡(luò)。概念空間將概念知識(shí)以特征空間中的區(qū)域形式提供向量表示，為處理感官數(shù)據(jù)的符號(hào)接地提供了一種更自然的方法。邏輯張量網(wǎng)絡(luò)與概念空間的結(jié)合使得模型能夠直接從感官數(shù)據(jù)中涌現(xiàn)概念結(jié)構(gòu)，同時(shí)利用神經(jīng)網(wǎng)絡(luò)提供的強(qiáng)大學(xué)習(xí)引擎。然而，這種方法依賴于將符號(hào)知識(shí)映射到基于向量的空間中，導(dǎo)致提取的知識(shí)變得相對(duì)間接且語(yǔ)義透明度降低。
最后，Nevens等人（2020）專門研究了如何在“符號(hào)化”學(xué)習(xí)的背景下，彌合連續(xù)觀察和符號(hào)概念之間的差距，特別是在從CLEVR數(shù)據(jù)集（Johnson等人，2017）中分類體積原語(yǔ)的領(lǐng)域。他們使用計(jì)算機(jī)視覺庫(kù)提取形狀的角點(diǎn)數(shù)量、顏色等連續(xù)值屬性，以及其他復(fù)雜屬性，如目標(biāo)區(qū)域面積與旋轉(zhuǎn)邊界框面積的比值。最終，該模型通過(guò)在導(dǎo)師-學(xué)習(xí)者場(chǎng)景中使用加權(quán)的概念相關(guān)性方案進(jìn)行訓(xùn)練。
表2對(duì)這些工作進(jìn)行了簡(jiǎn)要的對(duì)比。需要注意的是，該總結(jié)僅從作者的角度提供了一個(gè)大致的指導(dǎo)，不應(yīng)過(guò)于嚴(yán)格地解讀；表中列出的大部分內(nèi)容并非“非黑即白”，對(duì)于每項(xiàng)工作的分類可以展開更深入的討論。
本研究旨在從多變量時(shí)間序列中提取符號(hào)特征或模式，而無(wú)需訓(xùn)練過(guò)程。因此，將其置于更廣泛的時(shí)間序列分析領(lǐng)域中是至關(guān)重要的。該領(lǐng)域已經(jīng)涌現(xiàn)出一些重要的方法，包括符號(hào)聚合近似（SAX）（Lin等人，2003），通過(guò)結(jié)合高斯歸一化和離散化，允許以預(yù)定義數(shù)量的符號(hào)提取符號(hào)表示。這項(xiàng)工作的關(guān)鍵貢獻(xiàn)在于，符號(hào)空間中的距離為原始數(shù)據(jù)提供了一個(gè)下界保證。
另一個(gè)顯著的貢獻(xiàn)是在上述方法中引入傅里葉變換，從而建立了符號(hào)傅里葉近似（SFA）方法（Sch?fer和H?gqvist，2012）。近期的文獻(xiàn)主要集中在SAX（Bountrogiannis等人，2023；Imamura和Nakamura，2021；Kloska和Rozinajova，2021；Yu等人，2023）和SFA（Li和Shen，2022）的變體或增強(qiáng)，包括在可解釋深度學(xué)習(xí)領(lǐng)域的努力（Schwenke和Atzmueller，2023）。此外，也出現(xiàn)了替代策略。例如，Nguyen和Ifrim（2023）使用隨機(jī)符號(hào)序列進(jìn)行高效且準(zhǔn)確的分類任務(wù)。Zunino等人（2022）基于Bandt和Pompe（2002）引入的排列熵概念，開發(fā)了一種新的時(shí)間序列表示策略。盡管這些研究主要旨在為時(shí)間序列分析提供高效的機(jī)器學(xué)習(xí)算法，但它們與本研究的核心目標(biāo)不同，即從數(shù)據(jù)中構(gòu)建類似人類的概念和語(yǔ)義結(jié)構(gòu)。
與本研究目標(biāo)一致的密切相關(guān)的研究領(lǐng)域可以在時(shí)間序列的語(yǔ)言總結(jié)中找到。盡管這可能不是最受歡迎的領(lǐng)域，但它無(wú)疑是數(shù)據(jù)總結(jié)（Yager，1982）這一更廣泛領(lǐng)域的研究中一個(gè)已經(jīng)確立的分支。語(yǔ)言總結(jié)涉及從數(shù)據(jù)流中提取相對(duì)簡(jiǎn)單的特征（Aoki和Kobayashi，2016；Aydogan，2023；Castillo-Ortega等人，2011；Kacprzyk等人，2007；?zdogan等人，2021），以便可以用人類可讀的術(shù)語(yǔ)進(jìn)行語(yǔ)義表達(dá)。在這方面，它與本文描述的方法具有顯著的相似性。然而，存在兩個(gè)關(guān)鍵區(qū)別：（i）所提取的特征需要事先理解變量之間的關(guān)系（Baydogan和Runger，2014），以及（ii）當(dāng)前模型從提取的特征中生成形式概念的層級(jí)結(jié)構(gòu)，這可以說(shuō)更類似于人類知識(shí)的表達(dá)方式。
4. 概念與原始序列的對(duì)應(yīng)關(guān)系 4.1 概念的意圖 (Intent)
概念的意圖是由符號(hào)化特征組成的集合，表示該概念的定義或描述。例如：
意圖
{a:>, w:<}表示“角度增大且寬度減小”的特征。
概念的外延是滿足該意圖的所有原始序列片段的集合。例如：
外延
[2,6]表示原始序列中第2到第6個(gè)點(diǎn)滿足該概念的意圖。
- 概念的意圖
：由符號(hào)化特征描述，是從原始序列中提取的基本特征及其遞歸差異。
- 概念的外延
：是原始序列中滿足該意圖的具體片段。
4 方法
在下一段中，將展示該算法應(yīng)用于特定曲線的完整應(yīng)用示例。該方法的流程圖如圖 2 所示。
。。。。。。。。。。。。
與 有重疊，可參考原文
7.1. 未來(lái)工作
本文對(duì)未來(lái)工作提出了許多建議；這些建議要么是模型的形式限制，要么直接表達(dá)為潛在的下一步發(fā)展。雖然其中許多建議已經(jīng)詳細(xì)闡述，但為了清晰起見，下面列出了所有項(xiàng)目的簡(jiǎn)要摘要。它們分為兩部分：（i）一般研究途徑和（ii）模型的具體改進(jìn)。
1. 一般研究途徑：
通過(guò)人工智能代理和共識(shí)建設(shè)研究 SGP 和自主語(yǔ)言的出現(xiàn)。
開發(fā)該模型的生物啟發(fā)式聯(lián)結(jié)主義實(shí)現(xiàn)。
將模型擴(kuò)展到曲線或軌跡之外的更高維度（包括基于像素的數(shù)據(jù)，如圖像和時(shí)空數(shù)據(jù)，如視頻）。
探索模型的生成能力。
將該模型與本文討論的其他神經(jīng)符號(hào)方法相結(jié)合，例如（Evans 等人，2021a、2021b；Garnelo 等人，2016）。
通過(guò)探索模型獲得的概念與 CAM 系列方法提取的區(qū)域和特征的比較來(lái)提高 AI 模型的可解釋性。
2.模型具體改進(jìn)：
訓(xùn)練：開發(fā)一種基于算法提取的概念結(jié)構(gòu)的訓(xùn)練方法是下一步的重要步驟。這種方法將允許利用模型的無(wú)監(jiān)督學(xué)習(xí)能力，也可用于監(jiān)督學(xué)習(xí)。
基準(zhǔn)測(cè)試：通過(guò)對(duì)成熟的數(shù)據(jù)集（例如，曲線的 Omniglot）進(jìn)行嚴(yán)格的基準(zhǔn)測(cè)試來(lái)正式評(píng)估模型的性能至關(guān)重要。如果按照上述方法實(shí)施訓(xùn)練方法，那么就有可能完成這項(xiàng)重要的工作。
將非數(shù)值作為輸入（例如符號(hào)輸入）：例如，這將啟用“從無(wú)感知過(guò)渡到感知”和反之亦然的表達(dá)。例如，在處理斷開的曲線時(shí)，這種編碼很重要。當(dāng)被感知的物體包含多個(gè)不一定按順序相互連接的曲線時(shí)，就會(huì)出現(xiàn)這種情況（例如字母“X”，但不是字母“U”）。
量級(jí)：如圖 10所示，該模型面臨的一個(gè)重大挑戰(zhàn)是生成量化傳感器變量變化的概念。核心困難是在不向模型中引入更多外部符號(hào)信息的情況下實(shí)現(xiàn)這一點(diǎn)。之前已經(jīng)提出了三種策略來(lái)解決這一限制；它們列在下面的三項(xiàng)中。
算術(shù)運(yùn)算：該模型可以對(duì)傳感器值執(zhí)行算術(shù)運(yùn)算，以從中得出符號(hào)屬性。例如，它可以聚合概念范圍內(nèi)區(qū)間的指標(biāo)，例如段數(shù)、總長(zhǎng)度、平均厚度和其他屬性。
比較空間：該模型可以生成對(duì)象之間的比較空間，并從它們的相對(duì)差異中獲取新的傳感器數(shù)據(jù)。例如，在分析車輛運(yùn)動(dòng)時(shí)，它可以隨時(shí)監(jiān)測(cè)兩輛車軌跡之間的距離，并將該距離用作附加傳感器參數(shù)。
記憶：該模型可以結(jié)合記憶模塊來(lái)存儲(chǔ)特定的值和概念，從而允許進(jìn)行超出當(dāng)前方法中使用的成對(duì)比較的回顧性比較。
噪音和總體概念：如圖 11所示，在存在較小嵌套概念的情況下，模型無(wú)法檢測(cè)總體概念。解決這一限制的一個(gè)可行策略可能是采用更具具體性的方法，如本文前面所討論的那樣。
原文鏈接： https://journals.sagepub.com/doi/pdf/10.1177/30504554251314334
熱門跟貼