The Hyperdimensional Transform- a Holographic Representation of Functions2310.16065v1超維變換:函數(shù)的全息表示
https://arxiv.org/abs/2310.16065
相關(guān)論文：
摘要
積分變換是將函數(shù)映射到更容易表征的空間中的寶貴數(shù)學(xué)工具。我們引入超維變換作為一種新型積分變換。它將平方可積函數(shù)轉(zhuǎn)換為抗噪聲、全息、高維表示，稱為超維向量。核心思想是用隨機(jī)函數(shù)的線性組合近似一個(gè)函數(shù)。我們正式引入了一組隨機(jī)的正交基函數(shù)，并定義了超維變換及其逆變換。我們討論了一般變換相關(guān)的屬性，如其唯一性、逆變換的近似性質(zhì)以及積分和導(dǎo)數(shù)的表示。超維變換提供了一個(gè)強(qiáng)大、靈活的框架，與其他積分變換（如傅里葉、拉普拉斯和模糊變換）緊密相連。此外，它為超維計(jì)算領(lǐng)域提供了理論基礎(chǔ)和新見(jiàn)解，這是一種正在迅速引起關(guān)注的計(jì)算范式，用于高效和可解釋的機(jī)器學(xué)習(xí)算法，具有在統(tǒng)計(jì)建模和機(jī)器學(xué)習(xí)中的潛在應(yīng)用。此外，我們提供了簡(jiǎn)單易懂的代碼，可以作為教程，允許重現(xiàn)演示示例，從計(jì)算變換到求解微分方程。
關(guān)鍵詞：積分變換、微分方程、超維計(jì)算、向量符號(hào)架構(gòu)、機(jī)器學(xué)習(xí)、高效計(jì)算
10 結(jié)論
我們正式介紹了超維變換，它允許通過(guò)稱為超維向量的全息、高維表示來(lái)近似函數(shù)。我們討論了一般變換相關(guān)的屬性，如變換的唯一性、逆變換的近似屬性以及內(nèi)積、積分和導(dǎo)數(shù)的表示。超維變換為超維計(jì)算領(lǐng)域的研究提供了理論基礎(chǔ)和見(jiàn)解。
我們還展示了這種變換如何被用來(lái)求解線性微分和積分方程，并討論了它與其它積分變換的聯(lián)系，如拉普拉斯變換、傅里葉變換和模糊變換。由于其處理噪聲數(shù)據(jù)的能力，我們也預(yù)期它在機(jī)器學(xué)習(xí)和統(tǒng)計(jì)建模領(lǐng)域的應(yīng)用。在我們的未來(lái)工作中，我們將在這一方向上進(jìn)一步闡述。明顯的方面包括基于函數(shù)評(píng)估樣本的經(jīng)驗(yàn)估計(jì)變換，以及利用超維計(jì)算快速高效能力的雙極近似變換。此外，變換將整個(gè)信號(hào)、函數(shù)或分布表示為超維空間中的點(diǎn)的能力，開(kāi)辟了新的可能性。
9 與其他積分變換的聯(lián)系
在本節(jié)中，我們首先將超維變換與其它積分變換一般性地聯(lián)系起來(lái)，重點(diǎn)討論諸如拉普拉斯變換和傅里葉變換等突出的例子。其次，我們將更詳細(xì)地討論與模糊變換的緊密聯(lián)系。
9.1 積分變換
如第1節(jié)所介紹，超維變換就像拉普拉斯變換、傅里葉變換和模糊變換一樣，是一種積分變換。雖然拉普拉斯和傅里葉變換得到的是復(fù)數(shù)或?qū)崝?shù)變量的函數(shù)，但超維變換和模糊變換得到的函數(shù)定義域是一個(gè)有限集合。將函數(shù)值向量化后，模糊變換和超維變換可以被解釋為函數(shù)到向量的轉(zhuǎn)換。
一方面，超維變換的有限維度可能意味著表達(dá)能力較低，并可能帶來(lái)一些信息損失，而基函數(shù)的隨機(jī)性質(zhì)引入了隨機(jī)噪聲。然而，隨著向量維度的增加，這些效應(yīng)會(huì)逐漸減弱。因此，假定維度是較大的。
另一方面，轉(zhuǎn)換為有限維向量使得對(duì)更廣泛的函數(shù)集的積分計(jì)算變得可行：變換的每個(gè)分量都可以直接計(jì)算，無(wú)需解析表達(dá)式。注意，超維變換定義于任何具有度量的抽象宇宙，允許例如在集合、序列或圖上表示函數(shù)。
超維變換為求解微分方程開(kāi)辟了一種獨(dú)特的方法。不是解析解，而是可以計(jì)算近似解。由于包含微分和積分的泛函自然表達(dá)，超維變換將線性微分方程和線性積分方程轉(zhuǎn)換為線性矩陣方程，將它們與線性回歸統(tǒng)一起來(lái)。
雖然傅里葉變換將函數(shù)分解為無(wú)限集合的所有可能頻率的波函數(shù)，但超維變換將函數(shù)分解為隨機(jī)的波狀函數(shù)。例如，在例1中，這些波狀函數(shù)在與長(zhǎng)度尺度相關(guān)的某個(gè)“平均頻率”下在1和-1之間隨機(jī)切換。由于可以設(shè)置有限的長(zhǎng)度尺度，超維變換允許整合噪聲數(shù)據(jù)。同樣，對(duì)于模糊變換（見(jiàn)9.2節(jié)），由于有限維度和長(zhǎng)度尺度概念導(dǎo)致的較低表達(dá)能力，允許過(guò)濾噪聲。此外，基于全息表示的超維計(jì)算方法允許在機(jī)器學(xué)習(xí)中進(jìn)行抗噪聲分類。
1 引言 1.1 積分變換
在數(shù)學(xué)中，存在各種類型的積分變換（通常簡(jiǎn)稱為積分變換，強(qiáng)調(diào)變換的結(jié)果），將函數(shù)從其原始空間映射到一個(gè)新的空間，例如拉普拉斯變換、傅里葉變換、小波變換、模糊變換和Z變換，僅舉幾例[1, 5, 17, 21]。其基本思想是，在新空間中某些問(wèn)題可能更容易解決，并且新空間中的解決方案可以（近似地）映射回原始空間。例如，拉普拉斯變換是解決微分方程的著名工具；傅里葉變換是分析頻率域中函數(shù)的工具；模糊變換除了用于解決微分方程外，還可以用于處理噪聲數(shù)據(jù)和數(shù)據(jù)壓縮目的。積分變換通?？梢员硎緸閿?shù)學(xué)算子，形式如下：
在這里，函數(shù)被變換為函數(shù) ，變換的類型由和的定義域以及積分核(, )指定，積分核可以看作是一組基函數(shù)。例如，拉普拉斯變換將實(shí)變量的函數(shù)轉(zhuǎn)換為復(fù)變量的函數(shù)，指數(shù)基函數(shù)?決定了積分核。Z變換將變量的離散時(shí)間信號(hào)轉(zhuǎn)換為復(fù)變量的函數(shù)，積分核為?。最后一個(gè)例子是模糊變換，它將實(shí)變量的函數(shù)轉(zhuǎn)換為定義域?yàn)橛邢藜暮瘮?shù)，積分核由有限模糊劃分{() ∣ = 1, 2,…, }確定。由于在這種情況下的定義域是一個(gè)有限集，因此可以將所有評(píng)估()()堆疊在一個(gè)向量中，并將變換解釋為函數(shù)到向量的變換。
1.2 超維計(jì)算
我們的工作將上述積分變換與超維計(jì)算（HDC）領(lǐng)域聯(lián)系起來(lái)[8, 9, 10]。超維計(jì)算，也稱為向量符號(hào)架構(gòu)（VSA），是一個(gè)高度跨學(xué)科的領(lǐng)域，與計(jì)算機(jī)科學(xué)、電氣工程、人工智能、數(shù)學(xué)和認(rèn)知科學(xué)等領(lǐng)域有關(guān)[9, 10]。特別是在機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)領(lǐng)域，超維計(jì)算最近引起了越來(lái)越多的興趣，作為一種節(jié)能方法的應(yīng)用也在增加[9]。
HDC的基本思想是，任何類型的對(duì)象都可以用高維分布式表示來(lái)表示，稱為超維向量。HDC算法依賴于一組具有特定代數(shù)屬性的關(guān)鍵向量操作：綁定、疊加（也稱為捆綁或聚合）、置換和相似性測(cè)量。這些操作允許快速和穩(wěn)健的計(jì)算。確切的代數(shù)運(yùn)算取決于所選的超維向量類型。由于超維計(jì)算在很大程度上開(kāi)始于各個(gè)領(lǐng)域的實(shí)證領(lǐng)域，已經(jīng)描述和使用過(guò)不同類型的超維向量（例如，雙極、二進(jìn)制、三進(jìn)制、稀疏、實(shí)值或復(fù)值）。然而，以下四個(gè)屬性被認(rèn)為是必不可少的[8]：
（i）超維性：向量應(yīng)該具有大量的維度，例如10,000或更多。
（ii）魯棒性：向量的一小部分損壞不應(yīng)導(dǎo)致信息的顯著丟失。HDC算法的結(jié)果應(yīng)該能夠容忍這種組件故障。這種魯棒性來(lái)自于冗余表示。
（iii）整體或全息表示：信息不應(yīng)該被局部存儲(chǔ)，而是“均勻”分布在整個(gè)向量中。這與計(jì)算機(jī)中數(shù)據(jù)的常規(guī)表示非常不同，在計(jì)算機(jī)中，特定的位具有特定的含義。
（iv）隨機(jī)性：向量應(yīng)該是隨機(jī)繪制的，通常其元素獨(dú)立且同分布。
這些屬性從大腦的功能中汲取靈感，并允許實(shí)現(xiàn)人工智能的各個(gè)方面的實(shí)現(xiàn)，如記憶、推理和學(xué)習(xí)。有關(guān)超維空間的更多詳細(xì)信息，請(qǐng)參閱[8, 9, 10]。
1.3 進(jìn)一步概述
本文介紹了一個(gè)線性算子，將函數(shù)轉(zhuǎn)換為超維向量，如上述四個(gè)屬性所定義。我們注意到最近有一項(xiàng)工作提出了類似的將函數(shù)表示為超維向量的想法。在[7 ]中，作者展示了與核方法的類比，并使用與超維“綁定”操作兼容的核將核分解的函數(shù)映射到超維空間。在我們的工作中，映射到超維空間更為通用。我們將其呈現(xiàn)為一個(gè)正式的積分變換。
具體來(lái)說(shuō)，在第2節(jié)中，我們首先提供了一個(gè)具體的、正式的方法，將對(duì)象表示為超維向量。為此，我們引入了一個(gè)函數(shù)Δ ∶ → ?，稱為歸一化超維編碼，它將的元素映射到超維空間?，其中是一個(gè)大數(shù)。這個(gè)向量值函數(shù)的分量Δ()， = 1, 2,…, ，可以看作是正交基函數(shù)，類似于拉普拉斯變換中的函數(shù)?和模糊變換中的()。
第3節(jié)介紹了超維變換，這是一種線性算子 Δ，它將平方可積函數(shù)從 2() 映射到 ?。與許多積分變換的一個(gè)顯著不同是，這種變換不僅限于以實(shí)數(shù)區(qū)間為定義域的函數(shù)，而是為以更抽象的 為定義域的函數(shù)定義的。
另外請(qǐng)注意，盡管 被假定為較大，但來(lái)自無(wú)限維空間 2() 的函數(shù)被變換為有限維向量空間 ? 中的函數(shù)。因此，這種變換只能表示原始函數(shù)的一個(gè)近似。例如，模糊變換也允許這種行為。
本研究的其余部分討論了超維變換的各種與變換相關(guān)的屬性，如唯一性（第3節(jié)）、逆變換（第4節(jié)）及其近似質(zhì)量（第5節(jié)），以及導(dǎo)數(shù)、積分和內(nèi)積的表示（第6節(jié)）。在第7節(jié)中，我們將理論擴(kuò)展到生活在不同通用的多變量函數(shù)。
第8節(jié)中，作為應(yīng)用，我們展示了線性微分方程和線性積分方程如何自然地在超維空間中表示。最后，在第9節(jié)中，我們討論了與其他積分變換的密切聯(lián)系。我們指出它們與新的超維變換有何不同，以及它可能在哪些類型的應(yīng)用中發(fā)揮作用。
2 超維編碼
在本節(jié)中，我們提供了一種具體的、正式的方法來(lái)將對(duì)象表示為超維向量。給定一個(gè)帶有度量的宇宙universe ，我們定義了一個(gè)基于隨機(jī)過(guò)程的超維編碼，將 的元素映射到超維向量。我們還引入了一種規(guī)范化的概念。相應(yīng)的規(guī)范化超維編碼是將屬于 2() 的函數(shù)映射到超維空間的第一步。
這些向量的個(gè)分量分別是來(lái)自隨機(jī)過(guò)程Φ和ΔΦ的獨(dú)立樣本函數(shù)。如果Δ相對(duì)于是博赫納可積的，那么我們說(shuō)Δ是相對(duì)于隨機(jī)過(guò)程Φ的的規(guī)范化超維編碼。函數(shù)被稱為未規(guī)范化的超維編碼。
備注1. 博赫納積分可以被視為向量值映射的勒貝格積分[2, 12]。隨著被積函數(shù)在向量空間?中取值，相對(duì)于的積分應(yīng)該被解釋為分量式的。在方程(1)中，由于被積函數(shù)在?中取值，勒貝格積分和博赫納積分的解釋是一致的。
備注2. 相對(duì)于隨機(jī)過(guò)程Φ的的規(guī)范化超維編碼Δ只能定義，如果能夠找到規(guī)范化函數(shù)。對(duì)于任意隨機(jī)過(guò)程在任意度量空間(, , )上存在這樣的函數(shù)，一般而言是未知的。例子1-3展示了在不同的度量空間和不同的隨機(jī)過(guò)程中規(guī)范化函數(shù)的一些（不那么）明顯的解決方案。
形容詞“超維”指的是維度是巨大的1。維度為10,000維或更多是相當(dāng)?shù)湫偷腫8]。根據(jù)大數(shù)定律[6]，我們有
在左側(cè)，符號(hào)??, ??接受兩個(gè)?中的向量作為參數(shù)，并表示用維度縮放的歐幾里得內(nèi)積。右側(cè)的期望值也代表內(nèi)積，但是是在隨機(jī)變量之間的。我們可以寫(xiě)作
根據(jù)上下文，可以使用期望值或者內(nèi)積符號(hào)。通過(guò)構(gòu)造，規(guī)范化編碼Δ展現(xiàn)出魯棒性、整體性和隨機(jī)性的特性：每個(gè)向量分量是一個(gè)獨(dú)立的隨機(jī)樣本，而信息是通過(guò)高維內(nèi)積在統(tǒng)計(jì)上編碼的，這些內(nèi)積近似于期望值。
除了需要一個(gè)構(gòu)造來(lái)獲取隨機(jī)過(guò)程的樣本外，還需要一個(gè)歸一化函數(shù)來(lái)實(shí)現(xiàn)具體的歸一化編碼Δ。找到歸一化函數(shù)()的解相當(dāng)于求解非線性積分方程
在超維計(jì)算領(lǐng)域，已經(jīng)描述了構(gòu)建超維表示的方法，這些方法適用于更多的宇宙universes ，代表不同類型的數(shù)據(jù)結(jié)構(gòu)，如圖形、圖像、序列、符號(hào)、集合、樹(shù)和其他結(jié)構(gòu)[18, 10]。這些方法都有一個(gè)共同的隨機(jī)方面。本節(jié)我們的主要貢獻(xiàn)是將其形式化為具有期望值的隨機(jī)過(guò)程和規(guī)范化的概念，這是下一節(jié)中正確制定變換所必需的。
3 超維變換
在本節(jié)中，我們使用規(guī)范化的超維編碼Δ ∶ → ?來(lái)構(gòu)建線性算子Δ，它將2()中的函數(shù)變換到?。來(lái)自隨機(jī)過(guò)程的獨(dú)立樣本的結(jié)果Δ將作為正交基函數(shù)，函數(shù)將被投影到這些基函數(shù)上。
在本節(jié)中，我們遵循以下假設(shè)：(, , )是一個(gè)有限度量空間；{Φ() ∣ ∈ }是一個(gè)取值在有界集合 ? ?中的隨機(jī)過(guò)程；并且Δ是相對(duì)于隨機(jī)過(guò)程Φ的的規(guī)范化超維編碼。除非另有說(shuō)明，這些也是本研究其余部分的持續(xù)假設(shè)。
4 超維變換的逆變換
5逆超維變換的近似性質(zhì)
根據(jù)定理2，這些例子中的規(guī)范化超維編碼因此允許在 → ∞的極限下任意好地近似任何連續(xù)函數(shù)。
離散變量的函數(shù)也可以被任意接近地近似，因?yàn)樗鼈兛偸沁B續(xù)的。人們總是可以定義一個(gè)由長(zhǎng)度尺度參數(shù)化的編碼，以便每個(gè)元素僅在接近0時(shí)與自身相關(guān)。例如，我們接下來(lái)通過(guò)包括一個(gè)長(zhǎng)度尺度來(lái)擴(kuò)展例3，以便滿足長(zhǎng)度尺度的定義和定理2的要求。
對(duì)于 ≥ 2/3，隨機(jī)過(guò)程與例3相比沒(méi)有變化。對(duì)于 < 1/3，的每個(gè)元素的編碼僅與自身相關(guān)。可以為每個(gè)計(jì)算規(guī)范化常數(shù)，并驗(yàn)證是根據(jù)定義5的長(zhǎng)度尺度：如果距離小于，則隨機(jī)變量是正相關(guān)的；否則不相關(guān)。
現(xiàn)在，我們提供了當(dāng) ? ?是一個(gè)實(shí)數(shù)區(qū)間時(shí)，隨著長(zhǎng)度尺度收斂速度的指示，再次假設(shè)極限 → ∞。
例8?？紤]例5的設(shè)置，但我們不是改變，而是將設(shè)為較大（即50,000），并改變，它根據(jù)定理2和3作為長(zhǎng)度尺度。不同長(zhǎng)度尺度下的近似函數(shù)如圖4所示。
6 積分和導(dǎo)數(shù)
在本節(jié)中，我們將描述如何以它們的超維變換的形式表示函數(shù)的積分和導(dǎo)數(shù)。首先，我們考慮積分，不需要額外的假設(shè)。
在超維計(jì)算的背景下，超維表示通常是低內(nèi)存的?？紤]例1，其中隨機(jī)過(guò)程Φ取值為 = {-1, 1}，未規(guī)范化的超維表示() ∈ {-1, 1}可以表示為位向量。在這種情況下，每個(gè)分量作為在一定頻率下在1和-1之間切換的隨機(jī)函數(shù)（見(jiàn)例1），因此不是可微的。在實(shí)踐中，這并不一定是估計(jì)導(dǎo)數(shù)的限制。請(qǐng)注意，編碼假定了一個(gè)有限的長(zhǎng)度尺度 > 0，在該尺度內(nèi)點(diǎn)表示()和(′)是相關(guān)的?？梢哉J(rèn)為，因此的位置相對(duì)于精度是模糊的。因此，可以認(rèn)為用接近長(zhǎng)度尺度的有限差分?來(lái)近似導(dǎo)數(shù)是合理的。?的有限差分導(dǎo)數(shù)作為真實(shí)導(dǎo)數(shù)的近似，可以通過(guò)編碼的有限差分導(dǎo)數(shù)精確計(jì)算。證明類似于定理5。
在圖5(a)中，展示了使用有限差分計(jì)算的一些低階導(dǎo)數(shù)的階梯函數(shù)。階梯函數(shù)說(shuō)明了未規(guī)范化編碼的一個(gè)分量，在一定頻率下在1和-1之間切換。作為替代方案，人們可能會(huì)用基于例如sigmoid函數(shù)的平滑替代方案來(lái)替換中的階梯函數(shù)（見(jiàn)圖5(b)）。后一種方法得到的函數(shù)恢復(fù)?更平滑，導(dǎo)數(shù)表達(dá)式也更精確，但代價(jià)是與簡(jiǎn)單的{1,-1}編碼相比，編碼更復(fù)雜。
7 擴(kuò)展到多變量函數(shù)
7.1 超維表示：乘積編碼
首先，我們引入乘積空間的超維表示。
這是統(tǒng)計(jì)學(xué)中關(guān)于零中心隨機(jī)變量乘積的協(xié)方差的一個(gè)基本結(jié)果。這種一般外積（或張量積）屬性激發(fā)了使用?來(lái)表示逐元素乘積。該屬性適用于無(wú)限維度，并且僅在有限維度下近似成立。這種近似的優(yōu)勢(shì)在于維度是一個(gè)常數(shù)，而實(shí)外積的維度隨著2增加。
考慮乘積度量空間( × , × , )。這里， × 是由和的元素的笛卡爾積生成的-代數(shù)。如果兩個(gè)度量空間都是-有限的，這是標(biāo)準(zhǔn)假設(shè)（有限度量空間也是-有限的），乘積度量被唯一確定為對(duì)于任何 ∈ 和 ∈ ，( × ) = ()()。
作為一個(gè)乘積測(cè)度空間本身又是一個(gè)測(cè)度空間，前面提到的關(guān)于超維變換、逆變換和近似性質(zhì)的理論仍然適用。接下來(lái)，我們將添加一些特別適用于乘積測(cè)度空間的結(jié)果。
7.2 邊緣化
作為多變量的一個(gè)擴(kuò)展，我們描述了如何在固定其他變量的同時(shí)對(duì)一個(gè)變量進(jìn)行積分
備注11. 定理6中的三個(gè)表達(dá)式具有特定的解釋，可以被解釋為復(fù)雜分布的貝葉斯推斷的基礎(chǔ)：
方程(2)：使用超維變換的擴(kuò)展對(duì)度量，可以將表達(dá)式 Δ()? 理解為 *Δ δ ? Δ 1。因此，內(nèi)積代表了在變量 中狄拉克分布的函數(shù)的評(píng)估，并且在變量 中具有恒定密度1。
方程(3)：表達(dá)式 ? Δ() 可以被看作是在變量 中的單變量函數(shù)的表示，條件是 。這個(gè)單變量函數(shù)通過(guò)與 的內(nèi)積被積分。
方程(4)：表達(dá)式 ? 可以被看作是在變量 中的邊際單變量函數(shù)。與 Δ() 的內(nèi)積則是在 處對(duì)這個(gè)函數(shù)的簡(jiǎn)單評(píng)估。因此，在超維空間中對(duì)多變量函數(shù)進(jìn)行邊際化就簡(jiǎn)單地對(duì)應(yīng)于逐元素向量乘法。
7.3 偏導(dǎo)數(shù)和梯度
作為對(duì)多變量的最后一個(gè)擴(kuò)展，我們?cè)黾恿思僭O(shè) ? ? 和 ? ? 是實(shí)數(shù)區(qū)間，并使用（偏）導(dǎo)數(shù)的標(biāo)準(zhǔn)定義。
8 應(yīng)用：表達(dá)線性微分和積分方程
在本節(jié)中，我們展示了如何在超維空間內(nèi)，通過(guò)顯式的內(nèi)積形式自然地表達(dá)函數(shù)評(píng)估、導(dǎo)數(shù)函數(shù)評(píng)估和積分評(píng)估，從而允許表達(dá)線性微分和積分方程。與其他積分變換（例如拉普拉斯變換或傅里葉變換）求解微分方程不同，這里不需要變換或逆變換的解析表達(dá)式。相反，超維變換提供了一種更數(shù)值化的方法，其中無(wú)限維函數(shù)被近似為有限的、大維度的向量。這種方法統(tǒng)一了求解微分方程和執(zhí)行線性回歸，從而與統(tǒng)計(jì)建模和機(jī)器學(xué)習(xí)領(lǐng)域建立了聯(lián)系。
我們保留第3節(jié)的標(biāo)準(zhǔn)假設(shè)，并額外假設(shè) ? ?是一個(gè)實(shí)數(shù)區(qū)間。
8.1 線性微分方程
考慮 ∈ [, ]的線性微分方程的一般形式：
請(qǐng)注意，由于這個(gè)有限的維度，結(jié)果幾乎看起來(lái)一點(diǎn)也不嘈雜。這里，優(yōu)化了?以盡可能好地匹配微分方程。?的導(dǎo)數(shù)的條件和嶺正則化可能確保了一個(gè)更平滑的?。
在超維空間中求解微分方程之所以采取這種簡(jiǎn)單形式，是因?yàn)楹瘮?shù)被表示為向量，而查詢函數(shù)評(píng)估、導(dǎo)數(shù)函數(shù)評(píng)估等功能都表示為與的內(nèi)積。然后，通過(guò)表達(dá)方程必須在哪些個(gè)點(diǎn)上成立，可以簡(jiǎn)單地構(gòu)建一個(gè)個(gè)線性方程組。
8.2 線性積分方程
同樣的推理也適用于積分方程。接下來(lái)，我們將展示如何將求解積分方程轉(zhuǎn)化為求解線性回歸問(wèn)題。一個(gè)著名的非線性積分方程的例子是第二類弗雷德霍姆方程：
9 與其他積分變換的聯(lián)系
在本節(jié)中，我們首先將超維變換與其它積分變換一般性地聯(lián)系起來(lái)，重點(diǎn)討論諸如拉普拉斯變換和傅里葉變換等突出的例子。其次，我們將更詳細(xì)地討論與模糊變換的緊密聯(lián)系。
9.1 積分變換
如第1節(jié)所介紹，超維變換就像拉普拉斯變換、傅里葉變換和模糊變換一樣，是一種積分變換。雖然拉普拉斯和傅里葉變換得到的是復(fù)數(shù)或?qū)崝?shù)變量的函數(shù)，但超維變換和模糊變換得到的函數(shù)定義域是一個(gè)有限集合。將函數(shù)值向量化后，模糊變換和超維變換可以被解釋為函數(shù)到向量的轉(zhuǎn)換。
一方面，超維變換的有限維度可能意味著表達(dá)能力較低，并可能帶來(lái)一些信息損失，而基函數(shù)的隨機(jī)性質(zhì)引入了隨機(jī)噪聲。然而，隨著向量維度的增加，這些效應(yīng)會(huì)逐漸減弱。因此，假定維度是較大的。
另一方面，轉(zhuǎn)換為有限維向量使得對(duì)更廣泛的函數(shù)集的積分計(jì)算變得可行：變換的每個(gè)分量都可以直接計(jì)算，無(wú)需解析表達(dá)式。注意，超維變換定義于任何具有度量的抽象宇宙，允許例如在集合、序列或圖上表示函數(shù)。
超維變換為求解微分方程開(kāi)辟了一種獨(dú)特的方法。不是解析解，而是可以計(jì)算近似解。由于包含微分和積分的泛函自然表達(dá)，超維變換將線性微分方程和線性積分方程轉(zhuǎn)換為線性矩陣方程，將它們與線性回歸統(tǒng)一起來(lái)。
雖然傅里葉變換將函數(shù)分解為無(wú)限集合的所有可能頻率的波函數(shù)，但超維變換將函數(shù)分解為隨機(jī)的波狀函數(shù)。例如，在例1中，這些波狀函數(shù)在與長(zhǎng)度尺度相關(guān)的某個(gè)“平均頻率”下在1和-1之間隨機(jī)切換。由于可以設(shè)置有限的長(zhǎng)度尺度，超維變換允許整合噪聲數(shù)據(jù)。同樣，對(duì)于模糊變換（見(jiàn)9.2節(jié)），由于有限維度和長(zhǎng)度尺度概念導(dǎo)致的較低表達(dá)能力，允許過(guò)濾噪聲。此外，基于全息表示的超維計(jì)算方法允許在機(jī)器學(xué)習(xí)中進(jìn)行抗噪聲分類。
9.2 模糊變換
由于其與超維變換的緊密聯(lián)系，我們將更詳細(xì)地討論模糊變換。關(guān)于模糊變換的全面概述，請(qǐng)參閱[16]。
每個(gè)第個(gè)分量因此可以被解釋為函數(shù)在節(jié)點(diǎn)周圍的局部加權(quán)平均值。然后，逆變換得到的函數(shù)由下式給出：
并且是常數(shù)。這在沒(méi)有邊界的例2中是情況，在例1中，如果可以忽略邊界效應(yīng)（例如，當(dāng)很小時(shí)），也是如此。一般來(lái)說(shuō)，規(guī)范化函數(shù)不是常數(shù)。因此，超維變換和模糊變換之間的一個(gè)主要區(qū)別就是規(guī)范化的方式。
與超維變換類似，模糊變換也可以用來(lái)求解（偏）微分方程和處理噪聲數(shù)據(jù)[17, 15, 20]。導(dǎo)數(shù)是基于模糊變換的分量 Fs之間的有限差分來(lái)計(jì)算的；有關(guān)使用模糊變換求解微分方程的更多細(xì)節(jié)，我們引用[15]。超維變換可以使用有限差分或無(wú)窮小差分，這取決于編碼是否可微。兩種方法都可以被視為使用某種有限長(zhǎng)度尺度/精度求解微分方程的近似方法。
10 結(jié)論
我們正式介紹了超維變換，它允許通過(guò)稱為超維向量的全息、高維表示來(lái)近似函數(shù)。我們討論了一般變換相關(guān)的屬性，如變換的唯一性、逆變換的近似屬性以及內(nèi)積、積分和導(dǎo)數(shù)的表示。超維變換為超維計(jì)算領(lǐng)域的研究提供了理論基礎(chǔ)和見(jiàn)解。
我們還展示了這種變換如何被用來(lái)求解線性微分和積分方程，并討論了它與其它積分變換的聯(lián)系，如拉普拉斯變換、傅里葉變換和模糊變換。由于其處理噪聲數(shù)據(jù)的能力，我們也預(yù)期它在機(jī)器學(xué)習(xí)和統(tǒng)計(jì)建模領(lǐng)域的應(yīng)用。在我們的未來(lái)工作中，我們將在這一方向上進(jìn)一步闡述。明顯的方面包括基于函數(shù)評(píng)估樣本的經(jīng)驗(yàn)估計(jì)變換，以及利用超維計(jì)算快速高效能力的雙極近似變換。此外，變換將整個(gè)信號(hào)、函數(shù)或分布表示為超維空間中的點(diǎn)的能力，開(kāi)辟了新的可能性。
熱門(mén)跟貼