韩国成人黄色视频,午夜精品免费视频久久久久,九七东京热男人的天堂av,精品亚洲av乱码国产毛片,日日夜夜躁躁

https://journals.sagepub.com/doi/pdf/10.3233/NAI-240675

The blessing of dimensionality Perspectives of reasoning and learning on hyperdimensional computing/vector symbolic architectures

超維計(jì)算/向量符號(hào)架構(gòu)中維度的“祝福”：推理與學(xué)習(xí)的展望

摘要：

本文綜述了超維計(jì)算和向量符號(hào)架構(gòu)的最新研究。這些研究代表了一種與神經(jīng)計(jì)算不同的替代方法，具有多種優(yōu)勢(shì)和一些有趣的獨(dú)特特性，例如透明性、容錯(cuò)性和可持續(xù)性。特別是，研究表明，超維模式非常適合對(duì)復(fù)雜知識(shí)結(jié)構(gòu)進(jìn)行編碼。因此，相關(guān)架構(gòu)為開發(fā)更接近人類大腦認(rèn)知過(guò)程的創(chuàng)新神經(jīng)符號(hào)模型提供了可能性。本文回顧了超維表示的基本原理，并考察了這些方法在類比推理和學(xué)習(xí)任務(wù)中的一些最新應(yīng)用，特別關(guān)注知識(shí)圖譜。然后，我們提出了潛在的擴(kuò)展方向，并勾勒出未來(lái)研究的可能途徑。

關(guān)鍵詞：超維計(jì)算、向量符號(hào)架構(gòu)、類比推理、基于相似性的分類、邏輯公理、知識(shí)圖譜、嵌入模型

1. 引言與動(dòng)機(jī)

人工神經(jīng)網(wǎng)絡(luò)（ANNs）在眾多成功的深度學(xué)習(xí)應(yīng)用開發(fā)中發(fā)揮了重要作用。然而，這些系統(tǒng)的復(fù)雜性不斷增加，也帶來(lái)了一系列挑戰(zhàn)。將它們的內(nèi)部操作映射到調(diào)節(jié)人類大腦推理和學(xué)習(xí)的認(rèn)知機(jī)制上極為困難，尤其是在對(duì)象的底層表示、它們的抽象以及它們之間的關(guān)系方面。因此，由于難以解釋和證明，這些系統(tǒng)所做出決策的透明性受到阻礙 [42]。此外，運(yùn)行這些系統(tǒng)所需的大量且不斷增加的計(jì)算資源已成為可持續(xù)性的一個(gè)重大問(wèn)題 [54,65]。

子符號(hào)方法的局限性早已顯而易見。例如，考慮一個(gè)訓(xùn)練用于識(shí)別不同形狀物體的ANN，其輸出層的神經(jīng)元可能每個(gè)都表示一種不同的形狀。如果要讓ANN還能辨別物體的顏色，就需要更多的輸出神經(jīng)元：每種形狀和顏色的組合都需要一個(gè)。然而，似乎不太可能人類大腦是按照每種組合對(duì)應(yīng)一個(gè)神經(jīng)元的方式來(lái)組織的。相反，神經(jīng)科學(xué)家認(rèn)為，大腦中的信息是由大量（數(shù)千個(gè)）神經(jīng)元的同時(shí)活動(dòng)來(lái)表示的，而且同一組神經(jīng)元可以表示完全不同的概念 [7,26]。

20世紀(jì)90年代出現(xiàn)了依賴于非常高維度和隨機(jī)性的認(rèn)知模型 [26,52]。向量符號(hào)架構(gòu)（VSAs）[9] 實(shí)際上是一系列關(guān)于認(rèn)知表示的理論，它提供了基于高維向量構(gòu)建數(shù)據(jù)結(jié)構(gòu)的操作 [51]，并且結(jié)合神經(jīng)網(wǎng)絡(luò)，為能夠從數(shù)據(jù)中學(xué)習(xí)的符號(hào)計(jì)算系統(tǒng)指明了一條道路。在超維計(jì)算（HDC）[26,28] 中，每一條信息都被表示為一個(gè)超維向量，即超向量，也就是一個(gè)很大的數(shù)字?jǐn)?shù)組，表示高維空間中的一個(gè)點(diǎn)。這些數(shù)學(xué)對(duì)象以及用于操作它們的代數(shù)足夠靈活且強(qiáng)大，可以解決上述局限性，從而為人工智能（AI）提供了一種新方法：一種新的方法，其中高效且穩(wěn)健的計(jì)算可以做出更透明的決策。HDC/VSA起源于將符號(hào)方法在AI中的優(yōu)勢(shì)（如組合性和系統(tǒng)性）與ANNs在AI中的優(yōu)勢(shì)（連接主義）相結(jié)合的提議，例如基于向量的表示、學(xué)習(xí)和基礎(chǔ)（參見 [31,32] 的最新綜合調(diào)查）。

向量被用來(lái)表示特征（變量）以及可以分配給變量的值。這些向量必須是不同的。這種不同性可以通過(guò)它們的正交性來(lái)量化：在超維空間中，存在大量的這種相互正交的向量。但如果考慮也包括幾乎正交的向量，那么這種不同的超向量的數(shù)量就會(huì)呈爆炸式增長(zhǎng)：在104維空間中有數(shù)百萬(wàn)個(gè)幾乎正交的超向量。因?yàn)樵谶@樣的空間中有如此多可能的幾乎正交的向量，所以可以用不同的隨機(jī)向量來(lái)表示上述項(xiàng)目，這些向量幾乎可以保證是幾乎正交的。

鑒于特征和值的超向量，人們已經(jīng)構(gòu)思出使用基本操作來(lái)操縱它們的系統(tǒng)，這些操作對(duì)應(yīng)于符號(hào)操作實(shí)體/概念的方式，并允許構(gòu)建結(jié)構(gòu)化的表示?；谶@些操作，已經(jīng)設(shè)計(jì)出了超向量的形式代數(shù)，從而允許在結(jié)果表示模型上進(jìn)行符號(hào)推理 [28,31]。

這種表示的一個(gè)優(yōu)勢(shì)是對(duì)錯(cuò)誤的容忍性：即使一個(gè)超向量遭受大量隨機(jī)比特翻轉(zhuǎn)，它仍然接近原始向量。因此，使用這些向量進(jìn)行推理在面對(duì)錯(cuò)誤時(shí)不會(huì)受到實(shí)質(zhì)性的影響。這種方法的另一個(gè)優(yōu)勢(shì)是透明性：代數(shù)清楚地說(shuō)明了系統(tǒng)為什么選擇了一個(gè)特定的答案。這為類比推理鋪平了道路，而類比推理是任何人工智能系統(tǒng)所期望的。

HDC似乎也很適合新一代低功耗硬件，并且與內(nèi)存計(jì)算兼容，即在存儲(chǔ)數(shù)據(jù)的同一硬件上進(jìn)行計(jì)算，而不是像標(biāo)準(zhǔn)架構(gòu)那樣低效地在內(nèi)存和CPU之間來(lái)回傳輸數(shù)據(jù)。其中一些新設(shè)備可以是模擬的，在非常低的電壓下運(yùn)行，這使它們節(jié)能，但也容易受到隨機(jī)噪聲的干擾。因此，這種解決方案在物聯(lián)網(wǎng)和邊緣計(jì)算的背景下引起了關(guān)注 [65]。

在過(guò)去十年中，已經(jīng)提出了許多HDC/VSA的應(yīng)用（參見 [32] 的綜合調(diào)查）。針對(duì)這些表示的特定算法已經(jīng)被開發(fā)出來(lái)，以復(fù)制（深度）神經(jīng)模型的典型任務(wù)，例如圖像分類。超維計(jì)算的優(yōu)勢(shì)在于能夠組合和分解超向量以進(jìn)行推理。這種優(yōu)勢(shì)最近在解決一個(gè)經(jīng)典的抽象視覺(jué)推理問(wèn)題時(shí)得到了證明，即Raven漸進(jìn)矩陣問(wèn)題，這個(gè)問(wèn)題對(duì)ANNs甚至人類來(lái)說(shuō)都特別具有挑戰(zhàn)性（它曾被用于智力測(cè)試）[17]。

復(fù)雜的結(jié)構(gòu)，如圖像、場(chǎng)景、事件等，可以被表示為單個(gè)超向量，其中包含有關(guān)所有涉及對(duì)象及其屬性的信息?；旧希粋€(gè)算法使用某種預(yù)定方案分析每個(gè)實(shí)例的特征，并為每張圖像創(chuàng)建一個(gè)超向量。然后，對(duì)于每個(gè)類別，它可以通過(guò)簡(jiǎn)單的操作符（例如加法）將該類別中所有實(shí)例的超向量聚合起來(lái)，創(chuàng)建一個(gè)可以存儲(chǔ)在內(nèi)存中的超向量。給定一個(gè)新的未標(biāo)記案例，為其創(chuàng)建一個(gè)超向量，然后將其與存儲(chǔ)的類別超向量進(jìn)行比較，通過(guò)類比確定最相似的類別。我們的想法是采用這種表示方法用于處理更抽象對(duì)象的人工智能方法，例如知識(shí)圖譜（KGs）[19] 中的個(gè)體及其關(guān)系，以及相關(guān)的模式級(jí)知識(shí)，如類別和屬性。

在本文的其余部分，第2節(jié)回顧了神經(jīng)表示及其屬性的基礎(chǔ)知識(shí)，而第3節(jié)介紹了用于向量空間架構(gòu)的分布式表示。第4節(jié)展示了一個(gè)簡(jiǎn)單的超維（HD）模型，以說(shuō)明如何從原子符號(hào)（超向量）構(gòu)建復(fù)雜結(jié)構(gòu)。然后，在第5節(jié)和第6節(jié)中，我們分別考察了類比推理和學(xué)習(xí)方法的應(yīng)用，并概述了可能的擴(kuò)展，特別關(guān)注知識(shí)圖譜（KGs）。最后，第7節(jié)總結(jié)了本文，并勾勒出進(jìn)一步研究的潛在方向。

2. 神經(jīng)表示及其屬性

符號(hào)表示 [46] 對(duì)人類來(lái)說(shuō)是自然的，并且在人工智能（AI）中被廣泛使用：每個(gè)對(duì)象都由一個(gè)符號(hào)表示（我們所說(shuō)的“對(duì)象”是指各種性質(zhì)和復(fù)雜度的項(xiàng)目，例如物理對(duì)象、特征、關(guān)系、類別等）。更復(fù)雜的表示可以由更簡(jiǎn)單的表示組合而成，它們天然具有組合結(jié)構(gòu)，可以通過(guò)規(guī)則/程序產(chǎn)生無(wú)限多的符號(hào)表達(dá)式（自然語(yǔ)言可以被視為這種表示的一個(gè)例子）。符號(hào)具有明確的0/1相似性：相同的符號(hào)具有最大相似性，而不同的符號(hào)則沒(méi)有相似性，因此被稱為不相似。比較復(fù)合符號(hào)結(jié)構(gòu)需要沿著底層圖的邊進(jìn)行追蹤和/或匹配頂點(diǎn)，以揭示整個(gè)結(jié)構(gòu)并計(jì)算相似性。因此，當(dāng)模型需要復(fù)雜的順序操作時(shí)，相似性搜索和推理中會(huì)出現(xiàn)可擴(kuò)展性問(wèn)題。

連接主義表示主要分為兩種類型：局部化表示和分布式表示 [59]。局部化表示與符號(hào)表示類似，因?yàn)槊總€(gè)對(duì)象在表示中都有一個(gè)單一對(duì)應(yīng)的元素（例如，一個(gè)單一的神經(jīng)元/節(jié)點(diǎn)或一個(gè)單一的向量分量）?？梢酝ㄟ^(guò)創(chuàng)建元素之間的連接來(lái)鏈接局部化表示，這類似于符號(hào)表示中的指針。然而，構(gòu)建包含對(duì)象代表組合的結(jié)構(gòu)可能需要分配潛在的無(wú)限數(shù)量的新附加元素/連接，這在神經(jīng)生物學(xué)上是值得懷疑的。此外，與符號(hào)表示類似，局部化表示缺乏足夠的語(yǔ)義基礎(chǔ)，即表示之間的即時(shí)和明確的相似性。代表不同對(duì)象的不同神經(jīng)元是不相似的，估計(jì)對(duì)象的相似性需要額外的計(jì)算。

分布式表示 [18,51] 是受到全息表示概念的啟發(fā)，全息表示是一種替代性的大腦連接主義模型，其中信息分布在許多神經(jīng)元中。在分布式表示中，一組有限神經(jīng)元的狀態(tài)被建模為一個(gè)向量，其中每個(gè)向量分量代表特定神經(jīng)元的狀態(tài)。它們被定義為向量表示，其中每個(gè)對(duì)象由向量分量的一個(gè)子集表示，而每個(gè)向量分量可以是許多對(duì)象表示的一部分。這適用于各種復(fù)雜度的對(duì)象表示，從基本特征或原子對(duì)象到由（分層）組合結(jié)構(gòu)表示的復(fù)雜場(chǎng)景/對(duì)象。在不知道其他分量狀態(tài)的情況下，無(wú)法解釋表示的各個(gè)分量的狀態(tài)。因此，通常無(wú)法單獨(dú)定義各個(gè)分量的語(yǔ)義。然而，對(duì)于工程應(yīng)用和認(rèn)知建模來(lái)說(shuō)，相似對(duì)象的分布式表示應(yīng)該根據(jù)向量空間上的某種相似性度量而相似。正如 [31] 中指出的，分布式表示應(yīng)該具備一些理想屬性：

高容量：即它們必須允許表示大量的實(shí)體；
明確表示相似性：相似的對(duì)象必須具有可以通過(guò)向量相似性度量高效比較的相似表示；
豐富的語(yǔ)義基礎(chǔ)：由于直接在對(duì)象表示中使用特征，并且可以基于它們的向量定義它們的相似性；
恢復(fù)對(duì)象原始表示的能力；
應(yīng)對(duì)噪聲、故障和不確定性：從而增強(qiáng)其神經(jīng)生物學(xué)合理性；
直接訪問(wèn)對(duì)象表示：在向量中，組合結(jié)構(gòu)的表示可以直接處理，因?yàn)樗恍枰穹?hào)表示那樣追蹤指針，或者像局部化表示那樣跟隨元素之間的連接；
統(tǒng)一格式：無(wú)論是原子對(duì)象還是復(fù)合對(duì)象，每個(gè)對(duì)象都由一個(gè)向量表示，因此實(shí)現(xiàn)操作在向量上進(jìn)行，而無(wú)需明確感知相關(guān)對(duì)象的復(fù)雜性。

使用經(jīng)過(guò)良好驗(yàn)證的數(shù)學(xué)方法進(jìn)行向量處理的可能性。

傳統(tǒng)的類腦符號(hào)計(jì)算實(shí)現(xiàn)也需要可靠的硬件 [61]，因?yàn)槿魏五e(cuò)誤都可能導(dǎo)致致命故障 [31]。神經(jīng)表示受到各種上下文效應(yīng)的影響，這從我們所犯錯(cuò)誤的類型中可以明顯看出，因?yàn)樗鼈儾⑽瘁槍?duì)快速且可靠的算術(shù)運(yùn)算進(jìn)行優(yōu)化。這些上下文效應(yīng)可能反映了大腦為了其基本功能而做出的折衷 [26,28]。

計(jì)算機(jī)采用二進(jìn)制表示：?jiǎn)蝹€(gè)電路元件有兩種可能的狀態(tài)，因?yàn)殡娮釉陔p穩(wěn)態(tài)時(shí)最為可靠。表示必須具有區(qū)分性。不同事物的二進(jìn)制模式必須不同。然而，模式的選擇通常是一種折衷，旨在對(duì)它們執(zhí)行高效的操作（例如，數(shù)字的位值表示）。神經(jīng)表示是通過(guò)非二進(jìn)制元件實(shí)現(xiàn)的。然而，許多上下文效應(yīng)可以通過(guò)二進(jìn)制模式和操作來(lái)證明。

表示的重要屬性來(lái)自于高維度，而不是單個(gè)維度的性質(zhì)。與高維數(shù)據(jù)處理中的標(biāo)準(zhǔn)做法——降維不同，非常高維度實(shí)際上可以促進(jìn)處理：“高維度不是詛咒，而是祝?！?[26]。

超維性 大腦包含大量的神經(jīng)元和突觸。使用非常長(zhǎng)的“單詞”進(jìn)行計(jì)算會(huì)導(dǎo)致高維空間和向量；“超維”一詞將用于表示數(shù)千維度的維度（因此，超空間/超向量是超維空間/向量的簡(jiǎn)寫）。

超空間具有特定的屬性，這些屬性促成了深度學(xué)習(xí)的成功。然而，通過(guò)進(jìn)一步利用超空間的屬性，可以實(shí)現(xiàn)更多。

隨機(jī)性 沒(méi)有兩顆大腦是相同的：它們高度結(jié)構(gòu)化，但許多細(xì)節(jié)是由學(xué)習(xí)決定的，或者留給偶然性。它們?cè)谟布用媸遣患嫒莸模簝?nèi)部模式不能從一個(gè)大腦轉(zhuǎn)移到另一個(gè)大腦。每個(gè)系統(tǒng)都從超空間中隨機(jī)抽取的向量（即隨機(jī)模式）構(gòu)建其對(duì)世界的模型。兼容性更應(yīng)該在每個(gè)系統(tǒng)內(nèi)部模式之間的相互關(guān)系中尋找（例如，在語(yǔ)言的情況下，相同的含義可以采用不同的語(yǔ)法和詞匯來(lái)表達(dá)）。因此，例如，在內(nèi)部編碼層面，同一個(gè)神經(jīng)系統(tǒng)中，“自行車”和“汽車”的模式應(yīng)該比“船”和“汽車”的模式更相似，而不同系統(tǒng)中的“自行車”模式則不需要表現(xiàn)出任何相似性。隨機(jī)性可以被視為一種最少假設(shè)的路徑，使系統(tǒng)易于設(shè)計(jì)。

整體性 即使是簡(jiǎn)單的心理事件也涉及廣泛分散的神經(jīng)元的同時(shí)活動(dòng)。發(fā)現(xiàn)這種活動(dòng)是如何精確組織的極其困難。在整體表示中，為了實(shí)現(xiàn)最大魯棒性，編碼到表示中的信息應(yīng)該均勻分布在整個(gè)超向量上。向量不會(huì)被劃分為不重疊的字段。編碼到向量中的任何內(nèi)容都均勻分布在它的所有分量上。向量的任何一部分都代表與整個(gè)向量相同的事物，只是可靠性較低。當(dāng)比特位失敗時(shí)，信息會(huì)根據(jù)失敗的比特位數(shù)量而降級(jí)，而與其位置無(wú)關(guān)（與二進(jìn)制數(shù)字不同，二進(jìn)制數(shù)字中比特位的位置決定了其值）。位置無(wú)關(guān)性適用于認(rèn)知的抽象層面的表示，在這些層面中，來(lái)自不同感官的信息已經(jīng)被整合，且一些更一般的機(jī)制開始發(fā)揮作用。

魯棒性 神經(jīng)架構(gòu)對(duì)于組件故障具有容錯(cuò)性，因?yàn)榇嬖谌哂啾硎?，其中許多模式被認(rèn)為是等價(jià)的，因?yàn)樗鼈儽硎鞠嗤囊饬x。實(shí)現(xiàn)冗余的一種簡(jiǎn)單方法是復(fù)制，但這并不節(jié)能，并且偏離了與動(dòng)物大腦模型的潛在對(duì)應(yīng)關(guān)系。電信中使用的糾錯(cuò)碼可以容忍一定數(shù)量的錯(cuò)誤。允許的錯(cuò)誤比例隨著維度的增加而增加。在超維表示中，等價(jià)模式可以不同的位置數(shù)量變得非常大。

3. 超維表示模型

超維表示空間主要由向量分量的域（例如，二進(jìn)制、實(shí)數(shù)或復(fù)數(shù)）和其維度決定，維度決定了原子超向量的集合。它們還由稀疏性特征，即由某個(gè)概率分布定義的超向量空間，其分量獨(dú)立地從該分布中抽取。實(shí)際上，不同的表示空間可以在一個(gè)認(rèn)知系統(tǒng)中共存。例如，考慮一個(gè)典型的10?位模式的表示空間，它總共包含個(gè)超向量（點(diǎn)）。這個(gè)空間本質(zhì)上包含了10?維單位（超）立方體的所有頂點(diǎn)，然而，其中只有極小一部分會(huì)被用來(lái)表示有意義的實(shí)體。

基本操作 研究表明 [26,28]，可以使用全息向量的基本操作——疊加和綁定——來(lái)編碼和解碼普通計(jì)算中典型的所有數(shù)據(jù)結(jié)構(gòu)，例如集合、序列、列表以及進(jìn)一步的擴(kuò)展。前者用于形成一個(gè)代表多個(gè)其他向量的超向量（類似于神經(jīng)模式的同時(shí)激活）。后者用于將兩個(gè)（或更多）需要綁定在一起的超向量關(guān)聯(lián)起來(lái)（例如，一個(gè)變量及其值）。

考慮在人工神經(jīng)網(wǎng)絡(luò)（ANNs）研究中常用的實(shí)數(shù)向量上的操作，這些基本操作可以定義為：

逐分量加法操作，結(jié)果是一個(gè)相同維度的向量；通常對(duì)求和向量進(jìn)行歸一化，通過(guò)某種形式的加權(quán)或其他向量分量的變換 [26] 得到一個(gè)均值向量。隨機(jī)向量的和（以及均值）與每個(gè)輸入向量相似，使其成為它們集合的可能表示。

逐分量乘法操作，產(chǎn)生一個(gè)新的向量，具有理想的可逆性屬性，以避免任何信息丟失；對(duì)加法的分配性；保持距離；以及與被乘向量的不相似性。這些屬性使得可以將組合結(jié)構(gòu)編碼到超向量中，并分析組合超向量的內(nèi)容。

置換，即重新排列向量分量，它可以表示為一個(gè)函數(shù)，或者作為將向量與置換矩陣相乘的結(jié)果，即矩陣中除了每行和每列恰好有一個(gè)1之外，其余位置都填充0。

進(jìn)一步相關(guān)的操作包括：用常數(shù)加權(quán)，aX，其中向量X的每個(gè)分量都乘以同一個(gè)數(shù)a，結(jié)果是一個(gè)向量；減法（差值）通過(guò)將第一個(gè)向量與第二個(gè)向量的補(bǔ)碼相加來(lái)實(shí)現(xiàn)，補(bǔ)碼是通過(guò)將每個(gè)分量乘以-1得到的（或者在二進(jìn)制向量的情況下，只需翻轉(zhuǎn)比特位）；兩個(gè)向量可以相乘得到它們的所謂內(nèi)積，可以用作相似性度量（例如，余弦相似度）；它們的外積產(chǎn)生矩陣，這種乘法在擬合人工神經(jīng)網(wǎng)絡(luò)的權(quán)重中被廣泛使用。將向量與矩陣相乘是人工神經(jīng)網(wǎng)絡(luò)中另一種常見操作，結(jié)果是一個(gè)可能需要?dú)w一化的向量。

原子符號(hào)的表示選擇以及基本操作的實(shí)現(xiàn)方式也決定了在超維空間上定義超向量比較的相似性度量。這些度量的例子包括：點(diǎn)積、余弦相似度、皮爾遜相關(guān)系數(shù)以及漢明距離 [28,31]。

例如，考慮一個(gè)二進(jìn)制超向量的空間，它們的相似性可以通過(guò)漢明距離來(lái)衡量，即計(jì)算不同的比特位數(shù)量。那么最大距離是10?，這個(gè)度量可以表示為相對(duì)于維度數(shù)量的比例。距離的（二項(xiàng)）分布使它們高度集中在5000比特左右的中間位置，均值為5000，標(biāo)準(zhǔn)差為50。因此，以均值距離為中心、半徑有限（例如，550比特）的球體將包含大部分空間。如果我們考慮兩個(gè)任意的隨機(jī)超向量，它們很可能在大約5000個(gè)比特位上不同，對(duì)于用于表示的一系列隨機(jī)選擇的超向量也是如此。這使得它們彼此無(wú)關(guān)，并且表示具有魯棒性，因?yàn)樵谝粋€(gè)噪聲向量中必須改變大量比特（超過(guò)1/3）才能使其與原始向量無(wú)關(guān)。從相反的角度來(lái)看，我們可以考慮向量之間的相似性關(guān)系，這種關(guān)系在它們的距離接近0.5（即5000比特）之前一直很強(qiáng)。在3333比特內(nèi)的鄰域體積相對(duì)于整個(gè)空間相當(dāng)有限，而無(wú)關(guān)的向量在距離接近0.5之后大量出現(xiàn)。任意兩個(gè)無(wú)關(guān)向量的鄰域有共同的點(diǎn)：這些點(diǎn)與任意兩個(gè)無(wú)關(guān)的點(diǎn)都非常相似。向量可以通過(guò)變換相關(guān)聯(lián)，即通過(guò)一種方式將一個(gè)向量轉(zhuǎn)換為另一個(gè)向量，或者通過(guò)將幾個(gè)向量組合成一個(gè)新的向量。

4. 一種結(jié)構(gòu)化的知識(shí)表示模型

給定一個(gè)用于超向量的內(nèi)容尋址存儲(chǔ)器和超維算術(shù)，可以設(shè)計(jì)出一種適用于各種實(shí)體的表示模型。這些模型基于原子實(shí)體的表示以及用上述基本操作定義的超向量變換。

為了說(shuō)明，我們將引用基于二進(jìn)制超向量及其相關(guān)操作符和相似性度量的簡(jiǎn)單模型。關(guān)于HDC/VSA模型的詳細(xì)介紹可以參考 [31]（第2.3節(jié)）。

項(xiàng)目存儲(chǔ)器 一個(gè)具有大量地址的理想架構(gòu)將需要存儲(chǔ)海量的位置。一個(gè)模式（超向量）X可以存儲(chǔ)在一個(gè)由模式A（或任何與A相似的模式）尋址的位置。這種解決方案被稱為異聯(lián)想存儲(chǔ)，與自聯(lián)想存儲(chǔ)（autoassociative memory）相對(duì)，后者中每個(gè)X都存儲(chǔ)為以X自身作為其地址（內(nèi)容尋址存儲(chǔ)器），這使得檢索更加容易。當(dāng)用一個(gè)帶有噪聲的模式進(jìn)行搜索時(shí)，存儲(chǔ)器會(huì)檢索出對(duì)應(yīng)的無(wú)噪聲存儲(chǔ)模式（因此得名“清理存儲(chǔ)器”），這類似于在存儲(chǔ)模式中進(jìn)行最近鄰搜索。對(duì)模式進(jìn)行算術(shù)運(yùn)算會(huì)產(chǎn)生近似（帶噪聲）的結(jié)果，需要進(jìn)行清理以恢復(fù)原始模式。某些運(yùn)算會(huì)產(chǎn)生彼此非常相似的有意義模式，使得它們難以檢索。例如，求和模式S = A + B與A和B都相似。因此，在存儲(chǔ)S之前對(duì)其進(jìn)行變換是有益的，將其映射到空間的不同區(qū)域，前提是這種變換是可逆的。

基本實(shí)體的符號(hào) 可以從一組基本原子實(shí)體構(gòu)建一個(gè)形式化系統(tǒng)。認(rèn)知代碼的最小有意義單位是一個(gè)超向量。因此，原子實(shí)體或個(gè)體由超空間中的隨機(jī)點(diǎn)表示。為了表示系統(tǒng)中尚未表示的某種新事物，可以簡(jiǎn)單地隨機(jī)抽取一個(gè)新的向量，并將其存儲(chǔ)在項(xiàng)目存儲(chǔ)器中以便日后參考。這個(gè)新向量將與存儲(chǔ)器中的所有向量無(wú)關(guān)（它與它們的距離都非常接近0.5），即它將與它們近似正交。例如，在10?維空間中，有10?個(gè)正交向量和大量幾乎正交的向量 [26]。

集合與疊加 集合及其元素都可以用超向量表示。最簡(jiǎn)單的交換運(yùn)算（順序無(wú)關(guān)緊要）是向量加法。一個(gè)求和向量（或均值向量）具有與被加向量相似的特性。因此，可以說(shuō)元素在集合的表示中是“可見”的，并且共享元素的集合由相似的向量表示。為了將表示集合的求和向量與元素的向量區(qū)分開來(lái)，在將其存儲(chǔ)到存儲(chǔ)器之前，必須將其映射到不同的區(qū)域。這種映射應(yīng)該是可逆的，以便可以檢索到原始的求和向量，并且應(yīng)該保持距離，以便即使使用部分或帶噪聲的求和向量，也可以在存儲(chǔ)器中進(jìn)行搜索。通過(guò)首先恢復(fù)求和（使用逆映射），然后在存儲(chǔ)器中搜索與其最佳匹配的項(xiàng)，可以從存儲(chǔ)的求和向量中恢復(fù)元素。其他元素可以從減去前者得到的差向量中檢索出來(lái) [26]。通過(guò)累積從恢復(fù)的向量中得到的（部分）求和，并從原始求和中減去它們，可以更好地分析大型集合，從而得到各個(gè)元素。然而，如果未映射的求和向量已經(jīng)存儲(chǔ)在項(xiàng)目存儲(chǔ)器中，這種方法將失敗。還可以通過(guò)用該元素（及其向量）搜索存儲(chǔ)器來(lái)找到包含特定元素的先前存儲(chǔ)的集合（即求和）。然而，在此之前，必須將該元素映射到空間的同一部分，即通過(guò)與存儲(chǔ)求和向量時(shí)相同的映射。此外，多重集（multiset，即允許重復(fù)元素的集合）也可以表示為其元素的求和，并且可以從求和中以相同的方式提取其元素。

乘法及相關(guān)映射 不失一般性，將回顧兩種簡(jiǎn)單的映射形式，用于（0, 1）二進(jìn)制向量的超空間（或（1, -1）二進(jìn)制雙極形式）[26]。第一種是向量的乘法，記作 A?B。在雙極二進(jìn)制系統(tǒng)中，可以使用普通的乘法。對(duì)于二進(jìn)制向量，可以定義為逐分量的異或（XOR）操作（例如，1010...01 XOR 1001...11 = 0011...10）。這也可以被看作是歐幾里得距離的特殊情況，或者模2求和，通常用 ⊕ 表示。異或是交換的，并且每個(gè) A 都是自身的乘法逆元，因?yàn)?A ? A = O，其中 O 是全為0的向量，它是單位元，因?yàn)?A ? O = A。很容易看出，兩個(gè)向量之間的漢明距離僅僅是它們乘積中1的數(shù)量，記作 d(A, B) = |A?B|，其中 |·| 表示計(jì)數(shù)。這種距離通常相對(duì)于維度數(shù)量來(lái)表示。乘法可以被看作是一種映射：將 X 乘以 A 將其映射到向量 XA = X ? A，它與 X 的距離等于 A 中1的數(shù)量（即，d(XA, X) = |A|）。一個(gè)典型的隨機(jī)向量 A 大約有一半的比特位被設(shè)置為1，因此 XA 在空間的那部分中與 X 在距離標(biāo)準(zhǔn)上無(wú)關(guān)。這表明乘法具有隨機(jī)化的作用。此外，它也是保持距離的：

因此，當(dāng)一組點(diǎn)通過(guò)乘以同一個(gè)向量進(jìn)行映射時(shí)，相對(duì)距離得以保持（這組點(diǎn)的簇只是被移動(dòng)到了空間的不同部分）。高級(jí)認(rèn)知功能（例如，類比）可以用這些映射來(lái)定義，其中實(shí)體之間的關(guān)系比實(shí)體本身更為重要。在前面的例子中，A可以被視為應(yīng)用于向量X和Y的特定映射。同樣的論證也適用于我們考慮兩個(gè)映射A和B，并考察它們對(duì)同一個(gè)向量X的影響：X將被映射到XA和XB，它們之間的距離與A和B之間的距離相同。因此，相似的向量會(huì)導(dǎo)致相似的映射。相似的映射將一個(gè)向量映射到相似的向量。

置換是另一種形式的乘法，它重新排列向量的分量。向量A的置換可以用函數(shù)表示法ρ(A)來(lái)表示，或者作為與相應(yīng)的置換矩陣A的乘法?；蛘撸梢员幻枋鰹榘粗脫Q順序排列的整數(shù)（位置）列表。作為一種映射，它具有理想的屬性：它是可逆的，它對(duì)加法（以及XOR乘法）具有分配性，并且結(jié)果與被置換的向量不相似。此外，距離得以保持：

將更多的對(duì)（乘積）添加到記錄向量 E 中，會(huì)得到一個(gè)新的求和向量E' ，它與 E 非常相似，因?yàn)樗鼈冇兴膫€(gè)對(duì)是相同的。人們可能有興趣查詢整個(gè)記錄數(shù)據(jù)庫(kù)的某些屬性，或者處理其中的一些記錄。例如，如果已知某條記錄中某個(gè)角色的填充項(xiàng)（但不知道該角色是什么），就可以獲取另一條記錄中該角色的填充項(xiàng)。結(jié)合標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)操作，可以實(shí)現(xiàn)不同類型的計(jì)算：這些計(jì)算被稱為整體映射或無(wú)分解變換 [32]，可以用于解決比例類比問(wèn)題（參見第5節(jié)）。

圖圖 G由一組通過(guò)?。ɑ蜻叄┻B接的節(jié)點(diǎn)組成?；】梢允菬o(wú)向的，也可以是有向的。在將圖簡(jiǎn)單地轉(zhuǎn)換為超向量的過(guò)程中 [10,31]，圖中的每個(gè)節(jié)點(diǎn)都被分配一個(gè)隨機(jī)向量，而一條弧則被表示為它所連接的節(jié)點(diǎn)向量的綁定，例如，節(jié)點(diǎn)A和 B 之間的邊表示為。整個(gè)圖僅僅被表示為圖中所有邊的超向量的疊加。

5. 類比推理

類比推理依賴于人類的特定能力：概念抽象的能力以及靈活重組原子組件以描述新的未見情境的能力。

比例類比問(wèn)題 以往的研究針對(duì)了所謂的比例類比問(wèn)題，并利用結(jié)構(gòu)相對(duì)簡(jiǎn)單的大型網(wǎng)絡(luò)，將兩個(gè)實(shí)體之間的推斷關(guān)系映射到第三個(gè)實(shí)體上。這些問(wèn)題被描述為以下形式：A : B :: C : ?，讀作“A 之于 B 如同 C 之于 ?”，其中 A 和 B 表示兩個(gè)具有某種關(guān)系的實(shí)體，而 C 是一個(gè)實(shí)體，這種關(guān)系被應(yīng)用到它上面以產(chǎn)生解決方案（另一個(gè)未知實(shí)體）。典型的這類問(wèn)題涉及圖像領(lǐng)域中的視覺(jué)類比問(wèn)題，已在多篇研究中探討（例如，參見 [56]）。

在超維表示中計(jì)算這種關(guān)系極其簡(jiǎn)單，只需從 A 中減去 B 即可。然而，這種計(jì)算未能充分理解類比的本質(zhì)，即嵌入在更大數(shù)據(jù)結(jié)構(gòu)中的原子組件的替換。這種計(jì)算不能簡(jiǎn)單地通過(guò)減法來(lái)完整捕捉。然而，在 HDC/VSA 框架中，如果數(shù)據(jù)結(jié)構(gòu)是通過(guò)綁定構(gòu)建的，那么在復(fù)雜數(shù)據(jù)結(jié)構(gòu)內(nèi)部/之間的原子組件替換可以既優(yōu)雅又非常高效。解綁操作揭示了可以用于各種應(yīng)用的類比關(guān)系，如 [27,52] 中所討論的。

整體變換用于解決這些問(wèn)題，通常以著名的“墨西哥美元”案例 [27] 為例進(jìn)行說(shuō)明，其中考慮了一個(gè)簡(jiǎn)單的比例類比問(wèn)題：美國(guó)：墨西哥 :: 美元：？。這種類比已知可以通過(guò)對(duì)相應(yīng)概念的嵌入向量進(jìn)行加法和減法來(lái)解決 [40,50]。類似地，在 [49] 中，這些類比檢索問(wèn)題通過(guò)淺層人工神經(jīng)網(wǎng)絡(luò)（ANNs）解決，利用句子中術(shù)語(yǔ)之間的關(guān)系依賴路徑。在傳統(tǒng)的符號(hào)操作（利用表示空間的幾何屬性）中，沒(méi)有直接對(duì)應(yīng)于這種整體變換的處理方式。超向量的整體變換可以被視為傳統(tǒng)順序搜索的并行替代方案。

在全息降維表示（Holographic Reduced Representation, HRR）模型 [51] 中，從示例中學(xué)習(xí)系統(tǒng)性變換的研究已在 [44,45] 中進(jìn)行。通過(guò)梯度下降法求解優(yōu)化問(wèn)題，迭代所有示例直至收斂，從多個(gè)訓(xùn)練對(duì)的超向量中獲得一個(gè)變換超向量。經(jīng)驗(yàn)表明，這種學(xué)習(xí)到的變換超向量能夠泛化到新的組合結(jié)構(gòu)中，這些結(jié)構(gòu)的復(fù)雜性高于訓(xùn)練示例中提供的結(jié)構(gòu)。在 [25] 中展示了二進(jìn)制散斑碼（Binary Spatter Code, BSC）表示的類似能力。這種整體變換的缺點(diǎn)是其雙向性，這是由于在 BSC 中解綁等同于綁定。這種復(fù)雜性可以通過(guò)使用置換或額外的聯(lián)想記憶來(lái)解決，類似于綁定操作。學(xué)習(xí)整體變換方法的一個(gè)潛在不足之處在于，假設(shè)對(duì)象（以及關(guān)系）是不相似的。然而，如果用于訓(xùn)練示例的對(duì)象（關(guān)系）之間存在某種相似性結(jié)構(gòu)，學(xué)習(xí)可能無(wú)法按預(yù)期進(jìn)行。這是一個(gè)值得進(jìn)一步研究的方向。

類比推理 在認(rèn)知科學(xué)中，類比推理理論 [13] 處理類比事件（或類比）并通常包括（模型中的）一個(gè)過(guò)程，包含以下四個(gè)基本步驟：

1. 描述步驟：涉及事件的表示，可以建模為由實(shí)體和不同層次關(guān)系組成的層級(jí)關(guān)系系統(tǒng)。實(shí)體通過(guò)屬性和事件中元素之間的關(guān)系進(jìn)行描述。關(guān)系的參數(shù)可以是對(duì)象、屬性和其他關(guān)系。假設(shè)一組（源）基礎(chǔ)事件存儲(chǔ)在記憶中。

2. 檢索步驟：在記憶中搜索與給定查詢事件最接近的事件。

3. 映射步驟：在確定基礎(chǔ)事件后，確定查詢事件與基礎(chǔ)事件元素之間的對(duì)應(yīng)關(guān)系。

4. 推理步驟：將知識(shí)從基礎(chǔ)類比事件轉(zhuǎn)移到目標(biāo)類比事件。例如，可以通過(guò)推斷關(guān)于目標(biāo)的知識(shí)來(lái)解決由查詢事件指定的問(wèn)題。候選推理必須被視為假設(shè)，并進(jìn)行評(píng)估和驗(yàn)證 [12]。

類比事件的處理涉及兩種類型的相似性。結(jié)構(gòu)相似性反映了事件中各個(gè)元素之間的關(guān)系。事件還根據(jù)表面相似性進(jìn)行匹配，這種相似性基于事件中的共同元素，或者根據(jù)更廣泛的語(yǔ)義相似性概念進(jìn)行匹配，這可能基于特征向量的相似性或共同屬于分類學(xué)類別。

HDC/VSA模型已被用于類比檢索（參見 [52] 及其中的參考文獻(xiàn)）。在這些模型中，結(jié)構(gòu)元素的集合及其排列都影響相應(yīng)超向量的相似性：相似的事件產(chǎn)生相似的超向量。在 [32] 中描述了多項(xiàng)研究，證明了基于超向量的相似性估計(jì)結(jié)果與心理學(xué)實(shí)驗(yàn)中的經(jīng)驗(yàn)結(jié)果以及傳統(tǒng)類比檢索的主要模型一致。

關(guān)于類比映射任務(wù)，提出了使用基于整體變換的技術(shù)的映射模型（再次參見 [32]）。這些模型的一個(gè)限制是可擴(kuò)展性?？梢钥紤]類比事件的超向量的相似性來(lái)進(jìn)行它們的映射。然而，到目前為止，這種方法僅被證明適用于直接的映射情況。已經(jīng)提出了幾種替代的映射技術(shù)（包括直接相似性映射、通過(guò)替換相同的超向量進(jìn)行再表示，以及使用更高級(jí)別的角色并行遍歷結(jié)構(gòu)）。其中一些已經(jīng)在復(fù)雜的類比中得到驗(yàn)證。然而，這些技術(shù)相當(dāng)復(fù)雜且使用順序操作。

有趣的是，用于類比推理的超維向量模型與已有的知識(shí)表示格式（如知識(shí)圖譜，KGs）兼容。這有助于統(tǒng)一符號(hào)和子符號(hào)方法，用于認(rèn)知建模和人工智能。在這方面，一項(xiàng)有趣的研究展示了從RDF-Schema本體到HDC/VSA模型的映射的概念驗(yàn)證 [39]。

將原始數(shù)據(jù)轉(zhuǎn)換為超向量，允許為各種應(yīng)用領(lǐng)域構(gòu)建超維模型，同時(shí)保留特定應(yīng)用相關(guān)的相似性形式 [32]。這為使用HDC/VSA進(jìn)行基于相似性的推理提供了工具，包括最簡(jiǎn)單的（無(wú)監(jiān)督）相似性索引/搜索和（有監(jiān)督）分類，以及更高級(jí)的類比推理技術(shù)。

6. 學(xué)習(xí)

分類是超維計(jì)算（HDC）/向量符號(hào)架構(gòu)（VSA）目前最常見的應(yīng)用領(lǐng)域之一，尤其是在圖像、信號(hào)和生物醫(yī)學(xué)數(shù)據(jù)方面的應(yīng)用（詳細(xì)綜述見 [11,32]）?；趯?shí)例向量表示的相似性分類在機(jī)器學(xué)習(xí)中非常普遍。HDC模型的分類方法分類體系可以根據(jù)它們關(guān)注的層次來(lái)構(gòu)建：首先（第一層次），我們有將輸入數(shù)據(jù)轉(zhuǎn)換為超向量的方法。更高層次的標(biāo)題則提出了將HDC應(yīng)用于分類的進(jìn)一步方向，分別關(guān)注輸入數(shù)據(jù)的類型（第二層次）和領(lǐng)域（第三層次）。

在一種基本的分類方法中 [11]，在訓(xùn)練階段，編碼器使用隨機(jī)生成的超向量（存儲(chǔ)在項(xiàng)目存儲(chǔ)器中）將訓(xùn)練數(shù)據(jù)映射到超維空間。然后學(xué)習(xí)并存儲(chǔ) K 個(gè)類別超向量到聯(lián)想存儲(chǔ)器中。在推理階段，編碼器為每個(gè)測(cè)試數(shù)據(jù)生成查詢超向量。然后，在聯(lián)想存儲(chǔ)器中對(duì)查詢超向量和每個(gè)類別超向量進(jìn)行相似性比較，以最終預(yù)測(cè)最相似的類別。

基于質(zhì)心的簡(jiǎn)單模型在泛化能力上已知存在不足 [29]。通過(guò)為分配給質(zhì)心的新實(shí)例加權(quán)可以實(shí)現(xiàn)改進(jìn) [16]。觀察到傳統(tǒng)分類器假設(shè)輸入向量的分量可以獨(dú)立解釋。當(dāng)分量是有意義解釋的特征時(shí)，這是合理的。然而，這并不普遍適用于HDC表示 [32]。稀疏的HDC/VSA表示可能適用于從稀疏性中受益的分類器，例如Winnow [35] 和稀疏支持向量機(jī) [6]。

為好的分類器設(shè)計(jì)合適的編碼是一個(gè)具有挑戰(zhàn)性的任務(wù) [9]，值得進(jìn)行專門的研究：選擇合適的編碼方法對(duì)于準(zhǔn)確分類至關(guān)重要。例如，針對(duì)生物信號(hào)處理的特定高效編碼在 [54] 中進(jìn)行了介紹?；蛘?，可以將不同的編碼方法整合在一起以實(shí)現(xiàn)更高的準(zhǔn)確性 [20]。與單次訓(xùn)練相比，迭代重新訓(xùn)練已被證明可以提高分類模型的準(zhǔn)確性 [21]。這表明了研究編碼器的集成（分層）模型的方向（例如，參見 [62]）。

競(jìng)爭(zhēng)學(xué)習(xí)模型是神經(jīng)方法，其中多個(gè)組/單元競(jìng)爭(zhēng)以獲得代表輸入實(shí)例的責(zé)任。它們通過(guò)神經(jīng)擴(kuò)展實(shí)現(xiàn)在線聚類算法，例如在線 k-Means 和領(lǐng)導(dǎo)者聚類，如自適應(yīng)共振理論 [2] 或自組織映射 [33]。這些可以被視為定義輸入密度的局部模型，可以有趣地轉(zhuǎn)換為HDC表示。概率密度估計(jì)（以及其他任務(wù)，如核平滑）已被證明可以通過(guò)分?jǐn)?shù)冪編碼高效解決 [7]。在這樣的向量空間背景下，一種高效的算法已在 [15] 中提出。

一旦實(shí)例被定位，可以在網(wǎng)絡(luò)架構(gòu)中考慮更高層次的單元來(lái)執(zhí)行監(jiān)督學(xué)習(xí)，從而定義神經(jīng)模型，例如徑向基函數(shù)網(wǎng)絡(luò) [43] 或?qū)＜一旌夏Ｐ?[23]。這一層實(shí)現(xiàn)了輸出（分類/回歸）的局部模型。質(zhì)心已被證明可以輕松地與廣義學(xué)習(xí)向量量化分類器結(jié)合 [5]。此外，從多類別超向量的概念出發(fā)，可以針對(duì)類別構(gòu)建析取或混合的分層表示，以更好地表示它們 [11]。

通過(guò)采用超維（HD）表示，實(shí)例和聚類原型可以用超向量來(lái)體現(xiàn)，而上述聚類以及分類/回歸模型可以在HDC/VSA上實(shí)現(xiàn)。在可解釋人工智能（AI）的精神下，基于局部模型（基函數(shù)）的（概率）規(guī)則歸納方法 [60] 也可以在HDC/VSA上實(shí)現(xiàn)。

結(jié)構(gòu)化數(shù)據(jù)通常更難用傳統(tǒng)學(xué)習(xí)模型處理，因?yàn)榻Y(jié)構(gòu)化數(shù)據(jù)的局部表示可能不適合與向量分類器一起使用，尤其是在涉及層次結(jié)構(gòu)時(shí)。HDC/VSA模型可能非常適合處理結(jié)構(gòu)化數(shù)據(jù)，因?yàn)樗鼈冊(cè)试S表示各種結(jié)構(gòu)（包括層次結(jié)構(gòu)）。與這一任務(wù)相關(guān)的是，我們將在第6.2節(jié)中討論關(guān)于嵌入模型和知識(shí)圖譜的問(wèn)題。

這類方法的一個(gè)應(yīng)用領(lǐng)域是化學(xué)信息學(xué)，在該領(lǐng)域中，已提出分類模型用于預(yù)測(cè)化合物的性質(zhì)，并展示了最先進(jìn)的性能（例如，參見 [24]）。例如，基于二維分子結(jié)構(gòu)表示的MoleHD [37] 在平均性能上與基線藥物發(fā)現(xiàn)方法相當(dāng)，但計(jì)算成本要低得多。更一般地，使用HDC/VSA對(duì)圖進(jìn)行分類是一個(gè)值得進(jìn)一步研究的有前景的方向。在 [48] 中，通過(guò)將圖表示為對(duì)應(yīng)于頂點(diǎn)和邊的超向量的疊加，結(jié)果表明，該方法在六個(gè)圖分類數(shù)據(jù)集中的四個(gè)上能夠達(dá)到與標(biāo)準(zhǔn)基線方法相當(dāng)?shù)慕Y(jié)果，同時(shí)所需的訓(xùn)練時(shí)間要短得多。

6.1. 從示例中歸納規(guī)則

從示例中學(xué)習(xí)邏輯公理，尤其是以規(guī)則的形式，有著悠久的傳統(tǒng) [41]。通過(guò)設(shè)計(jì)一種將這些陳述應(yīng)用于具體案例（斷言）的機(jī)制，可以進(jìn)行演繹推理。這些機(jī)制可以表示為基于超向量算術(shù)的整體映射。

可以將邏輯原子表示為元組。不失一般性，我們將關(guān)注以三元組的形式編碼的二元關(guān)系 p(h, t) （這在知識(shí)圖譜的表示中很常見）：。

這種設(shè)置可以被視為通過(guò)隨機(jī)超向量算術(shù)進(jìn)行類比學(xué)習(xí)的一種形式。

關(guān)于認(rèn)知表示的正向和反向推理過(guò)程已在 [34] 中進(jìn)行了討論。超維（HD）模型已被用于表示包含（命題）子句的知識(shí)庫(kù)，甚至包括否定，從而允許進(jìn)行演繹推理 [58]。通過(guò)擴(kuò)展表示以顯式表示變量，可能會(huì)導(dǎo)致新的方法用于歸納一階邏輯規(guī)則庫(kù)或更近期的統(tǒng)計(jì)關(guān)系模型 [4]。通過(guò)設(shè)計(jì)合適的變換，還可以針對(duì)其他類型的數(shù)據(jù)庫(kù)，例如用描述邏輯（DLs）的公理表示的本體和知識(shí)圖譜。

6.2. 嵌入模型和知識(shí)圖譜

分布語(yǔ)義假設(shè) [14] 認(rèn)為，分布相似的語(yǔ)言項(xiàng)目具有相似的含義，這一假設(shè)是構(gòu)建上下文向量的基礎(chǔ)。后來(lái)，這一假設(shè)被擴(kuò)展到更一般實(shí)體（如概念和關(guān)系）的語(yǔ)義領(lǐng)域。原則上，只要可以定義對(duì)象和上下文，就可以在任何領(lǐng)域中獲得上下文向量。與HDC/VSA相關(guān)的上下文向量方法通常將頻率分布轉(zhuǎn)換為特定的上下文超向量。

基于上下文超向量的成功語(yǔ)義索引方法包括基于謂詞的語(yǔ)義索引（Predication-based Semantic Indexing, PSI）[63]及其擴(kuò)展——語(yǔ)義謂詞嵌入（Embedding of Semantic Predications）[3]，以及BEAGLE [55]。在 [53] 中，作者關(guān)注相似性的表示：對(duì)于每個(gè)單詞，考慮從ConceptNet中借用的最相關(guān)的語(yǔ)義特征。一個(gè)單詞的上下文超向量被定義為其語(yǔ)義特征超向量的疊加，這些超向量由角色-填充項(xiàng)綁定形成。因此，從單詞擴(kuò)展到在語(yǔ)義豐富的知識(shí)庫(kù)（如Web本體）中描述的具體實(shí)體（資源），類似的HDC/VSA方法可以從語(yǔ)言學(xué)領(lǐng)域轉(zhuǎn)移到更一般的領(lǐng)域，以實(shí)現(xiàn)新的下游應(yīng)用。源自 [40] 中提出的思想的眾多*2VEC模型是進(jìn)一步合適轉(zhuǎn)移的自然候選。

我們已經(jīng)在第4節(jié)中看到，圖是一種可以編碼到超維向量表示中的一般數(shù)據(jù)結(jié)構(gòu)。圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks, GNNs）[57] 是處理圖表示的典型模型，它將常規(guī)神經(jīng)網(wǎng)絡(luò)操作擴(kuò)展到能夠處理圖結(jié)構(gòu)?；诔S表示的特定學(xué)習(xí)模型已被提出，其中最新的一種是GraphHD [48]，與當(dāng)前的深度神經(jīng)模型相比，它在較低的計(jì)算成本下實(shí)現(xiàn)了相當(dāng)?shù)男ЧＳ捎诨趫D核的方法已被證明能夠提供相當(dāng)?shù)慕Y(jié)果 [64]，因此將這些方法與HDC結(jié)合進(jìn)行研究似乎是值得的。

知識(shí)圖譜（KGs）是一種特定類型的多圖，旨在用圖結(jié)構(gòu)數(shù)據(jù)模型表示知識(shí)庫(kù)，包括實(shí)體、屬性和屬性及其語(yǔ)義，允許涉及相關(guān)術(shù)語(yǔ)（模式知識(shí)）的推理服務(wù)，這些術(shù)語(yǔ)用描述邏輯（DLs）或相關(guān)本體語(yǔ)言 [1] 表示。通過(guò)利用知識(shí)圖譜自然分解為三元組，已經(jīng)解決了知識(shí)圖譜的構(gòu)建、細(xì)化和推理任務(wù)，這促成了許多嵌入模型的出現(xiàn)，這些模型將實(shí)體和屬性映射到低維空間，在這些空間中，這些復(fù)雜任務(wù)可以通過(guò)對(duì)嵌入向量和矩陣的幾何運(yùn)算來(lái)近似。

鑒于在第6.1節(jié)中討論的從三元組到超向量的合適編碼，針對(duì)基于超維表示的進(jìn)一步類似學(xué)習(xí)模型的發(fā)展似乎很有前景，以執(zhí)行知識(shí)圖譜的上述任務(wù)。在高維向量中對(duì)語(yǔ)義概念（單詞、事實(shí)、物理外觀屬性等）進(jìn)行編碼的向量符號(hào)表示已在知識(shí)圖譜中發(fā)揮了巨大作用（例如，參見 [50]）。如 [47] 中提出的，可以從數(shù)據(jù)中學(xué)習(xí)到的節(jié)點(diǎn)和關(guān)系的超向量構(gòu)建知識(shí)圖譜的超向量，其中采用了HRR模型，因?yàn)樗哂锌晌⑿?。?[38] 中進(jìn)一步研究了知識(shí)圖譜的表示，其中使用柯西分布生成原子超向量作為神經(jīng)網(wǎng)絡(luò)的輸入，已被證明在推斷缺失鏈接的任務(wù)上取得了最先進(jìn)的結(jié)果。

7. 未來(lái)工作的進(jìn)一步展望

盡管基于向量符號(hào)架構(gòu)（VSAs）的超維計(jì)算（HDC）已不再處于初期階段，但它仍然可以提供許多進(jìn)一步改進(jìn)的方向。這些方向包括（但不限于）：

特征提取和編碼方法：這些是必不可少的活動(dòng)，因?yàn)槌S模型如果沒(méi)有適當(dāng)?shù)木幋a，無(wú)法成功處理復(fù)雜數(shù)據(jù)。關(guān)于超向量的密度，應(yīng)根據(jù)應(yīng)用場(chǎng)景選擇密集型和稀疏型方法：稀疏表示需要較少的內(nèi)存。非線性是將數(shù)據(jù)轉(zhuǎn)換為超向量的另一個(gè)重要方面。已認(rèn)識(shí)到缺乏對(duì)通過(guò)組合方法獲得的超向量的非線性屬性的研究（參見 [32]，第4.1.2節(jié)）。
相似性評(píng)估也與這些目標(biāo)相關(guān)。應(yīng)開發(fā)新的度量方法，以在準(zhǔn)確性和復(fù)雜性之間進(jìn)行權(quán)衡（還取決于可能的硬件實(shí)現(xiàn)）?；诤说臋C(jī)器的核函數(shù)選擇也與這一問(wèn)題相關(guān)。核函數(shù)與采用的超維變換有關(guān) [7]。該變換可以被視為優(yōu)化問(wèn)題中的另一個(gè)超參數(shù)，可以使用標(biāo)準(zhǔn)統(tǒng)計(jì)方法（例如交叉驗(yàn)證搜索策略）來(lái)確定。
學(xué)習(xí)策略，如重新訓(xùn)練 [11,22]，應(yīng)進(jìn)一步探索以提高超維分類模型的準(zhǔn)確性。這一目標(biāo)可以通過(guò)混合系統(tǒng)實(shí)現(xiàn)，即結(jié)合傳統(tǒng)學(xué)習(xí)方法與HDC模型（例如，參見 [30]）。
復(fù)雜模型，如與VSAs結(jié)合使用的深度神經(jīng)網(wǎng)絡(luò)，需要特定的可解釋人工智能（XAI）方法，以使這些黑箱模型更加透明和可解釋，使決策更加易于理解。
與其他認(rèn)知任務(wù)的結(jié)合：包括但不限于其他形式的推理（在不確定性下）、關(guān)系表示和語(yǔ)義泛化。例如，溯因推理是一種值得更多關(guān)注的推理形式，因?yàn)樗梢杂糜诟鞣N推理和學(xué)習(xí)任務(wù)，如診斷、假設(shè)生成、相關(guān)性檢測(cè)和解釋。