https://www.nature.com/articles/s41598-024-84299-y
A recurrent sigma pi sigma neural network
遞歸 Sigma-Pi-Sigma 神經(jīng)網(wǎng)絡(luò)
摘要
本文提出了一種新型的遞歸 sigma–pi–sigma 神經(jīng)網(wǎng)絡(luò)（RSPSNN），它結(jié)合了高階神經(jīng)網(wǎng)絡(luò)與遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)。為了基于最小均方誤差（MSE）尋找最優(yōu)權(quán)重，使用了批量梯度算法對 RSPSNN 進(jìn)行訓(xùn)練。為了證明 RSPSNN 具有唯一的平衡狀態(tài)，文中證明了其穩(wěn)定收斂特性，這是衡量網(wǎng)絡(luò)有效性并克服訓(xùn)練中不穩(wěn)定性問題的最重要指標(biāo)之一。最后，為了更準(zhǔn)確地評估其有效性，本文進(jìn)行了五個實(shí)證實(shí)驗(yàn)。RSPSNN 成功應(yīng)用于函數(shù)逼近問題、預(yù)測問題、奇偶性問題、分類問題和圖像模擬問題，從而驗(yàn)證了其有效性與實(shí)用性。
過去幾十年里，神經(jīng)網(wǎng)絡(luò)因其諸多優(yōu)勢被廣泛應(yīng)用于多個領(lǐng)域。相比傳統(tǒng)方法，神經(jīng)網(wǎng)絡(luò)的諸多應(yīng)用與研究已充分展示了人工智能的諸多優(yōu)點(diǎn)。那么，為什么神經(jīng)網(wǎng)絡(luò)如此廣泛應(yīng)用且如此具有吸引力？答案在于政府、企業(yè)和個人發(fā)現(xiàn)它們極具價值且使用方便。然而，一旦其輸入層的元素數(shù)量以及訓(xùn)練樣本數(shù)量非常大，訓(xùn)練速度就會下降。為避免此類問題，高階神經(jīng)網(wǎng)絡(luò)（HONNs）被提出。HONNs 不僅包含傳統(tǒng)的 ∑ 層，還引入了新的 ∏ 層，從而降低了網(wǎng)絡(luò)的復(fù)雜性。HONNs 結(jié)合了求和單元和乘積單元，后者可以對輸入進(jìn)行乘積處理。相比僅含有加法單元的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，HONNs 的乘積單元能夠處理非線性信息。
HONNs 在本文所涉及的領(lǐng)域中被廣泛應(yīng)用。Sigma-pi 神經(jīng)網(wǎng)絡(luò)（SPNN）、sigma-pi-sigma 神經(jīng)網(wǎng)絡(luò)（SPSNN）和 pi-sigma 神經(jīng)網(wǎng)絡(luò)（PSNN）均屬于 HONNs。Sun Kim 將 SPNN 應(yīng)用于飛機(jī)速度/高度控制研究。Fan Q.W. 等人證明了 SPSNN 的收斂性，并將其應(yīng)用于函數(shù)逼近和分類問題。Qian Kang 等人結(jié)合平滑 Lasso 正則化與自適應(yīng)動量分析了 SPSNN 的收斂性，并應(yīng)用于類似領(lǐng)域。Nayak S.C. 等人使用 PSNN 構(gòu)建原油價格混沌模型并進(jìn)行時間序列預(yù)測。Zhang Y.Q. 提出一種帶稀疏約束的新型 PSNN，用于克服學(xué)習(xí)過程中的振蕩現(xiàn)象并提升學(xué)習(xí)效率。Pan Wei 等人將 PSNN 應(yīng)用于磁性形狀記憶合金致動器領(lǐng)域。在一本近期出版的著作中，PSNN 被與群體智能元啟發(fā)式算法相結(jié)合，展示了其在數(shù)據(jù)分類方面的有效性。未來，預(yù)計將構(gòu)建新的 HONN 網(wǎng)絡(luò)，廣泛應(yīng)用于多個領(lǐng)域，以避免傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在內(nèi)存需求方面的問題。
對于任何神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來說，穩(wěn)定性與收斂性是衡量其有效性的最重要指標(biāo)之一。因此，許多研究致力于神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性與收斂性。Qinwei Fan 等人證明了 SPSNN 的收斂性，得出誤差函數(shù)在訓(xùn)練過程中單調(diào)遞減并趨近于零。在另一項(xiàng)研究中，作者研究了梯度神經(jīng)網(wǎng)絡(luò)的收斂性，并推廣了基于梯度神經(jīng)網(wǎng)絡(luò)的動態(tài)系統(tǒng)計算的廣義逆方法。為避免耗時的數(shù)值解過程，構(gòu)造的動態(tài)系統(tǒng)可生成狀態(tài)變量的軌跡，成功反映神經(jīng)網(wǎng)絡(luò)的收斂性。Xiao Lin 等人將零點(diǎn)神經(jīng)網(wǎng)絡(luò)方法擴(kuò)展至動態(tài)四元數(shù)數(shù)值矩陣的逆問題求解，并通過新型非線性激活函數(shù)實(shí)現(xiàn)了網(wǎng)絡(luò)的收斂加速及定時收斂。Liu Wei 等人基于郊狼優(yōu)化算法提出了一種新型淺層神經(jīng)網(wǎng)絡(luò)演化方法，展示了該方法在優(yōu)化和更新 BP 神經(jīng)網(wǎng)絡(luò)的權(quán)重與閾值方面的有效性，并在理論上證明網(wǎng)絡(luò)模型可快速收斂至最優(yōu)解。在另一項(xiàng)研究中，作者基于 BP 神經(jīng)網(wǎng)絡(luò)設(shè)計了巖石力學(xué)參數(shù)反演方法，建立了測得應(yīng)力值與巖石力學(xué)參數(shù)之間的非線性映射關(guān)系并進(jìn)行了網(wǎng)絡(luò)訓(xùn)練，改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法易于收斂。2004 年，Chen Bin 從理論上分析了 BP 神經(jīng)網(wǎng)絡(luò)模型的收斂性。2017 年，Wang Jian 在稀疏響應(yīng)調(diào)節(jié)場景下分析研究了 BP 神經(jīng)網(wǎng)絡(luò)的收斂性。由此可見，不同場景下對 BP 神經(jīng)網(wǎng)絡(luò)等的收斂性研究已持續(xù)近二十年。
因此，本文提出了一種新型神經(jīng)網(wǎng)絡(luò) RSPSNN，它不僅可以實(shí)現(xiàn)靜態(tài)映射，還具有徑向基函數(shù)網(wǎng)絡(luò)的功能，并可能構(gòu)建為多層神經(jīng)網(wǎng)絡(luò)。RSPSNN 具備與動態(tài)脊多項(xiàng)式神經(jīng)網(wǎng)絡(luò)（DRPNN）類似的特性，DRPNN 包含脊多項(xiàng)式的遞歸單元，而RSPSNN 使用自生成的合適函數(shù)項(xiàng)來實(shí)現(xiàn)過去時間與當(dāng)前時間之間的信息前饋。憑借其靈活性，RSPSNN 預(yù)計將具有更強(qiáng)的建模能力。因此，本文構(gòu)建了新型網(wǎng)絡(luò) RSPSNN。本文的主要貢獻(xiàn)總結(jié)如下：
構(gòu)建了包含遞歸和高階特性的 RSPSNN 新型網(wǎng)絡(luò)結(jié)構(gòu)；
證明了 RSPSNN 的穩(wěn)定收斂性，這是遞歸網(wǎng)絡(luò)最關(guān)鍵的性質(zhì)之一；
在多個領(lǐng)域中驗(yàn)證了 RSPSNN 的有效性和能力。
本文其余部分組織如下：“新神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)方法”部分提出了 RSPSNN 的新結(jié)構(gòu)；“新結(jié)構(gòu)的穩(wěn)定性收斂性”部分介紹了網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則與訓(xùn)練過程；“新結(jié)構(gòu)在不同應(yīng)用中的評估”部分展示了穩(wěn)定性收斂性的結(jié)果，并提供了詳細(xì)證明；“函數(shù)逼近問題”部分通過數(shù)值實(shí)驗(yàn)驗(yàn)證 RSPSNN 的有效性；最后，“預(yù)測問題”部分給出了簡要結(jié)論。引言部分未設(shè)標(biāo)題，主要擴(kuò)展了該主題的背景，并通常包含文中引用。
新神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)方法
本節(jié)提出了一種新型的遞歸與高階神經(jīng)網(wǎng)絡(luò)，稱為遞歸 sigma-pi-sigma 神經(jīng)網(wǎng)絡(luò)（RSPSNN），它是對普通 sigma-pi-sigma 神經(jīng)網(wǎng)絡(luò)（SPSNN）的前饋函數(shù)的擴(kuò)展，如圖1所示。在圖1中，黑色部分為 SPSNN，通過紅線部分的擴(kuò)展即可得到 RSPSNN 的整體結(jié)構(gòu)。該網(wǎng)絡(luò)同時具有遞歸性和高階特性。在遞歸性方面，當(dāng)前時刻的輸出被用作下一時刻輸入的一部分；在高階特性方面，該結(jié)構(gòu)包含了 ∑ 神經(jīng)元與 ∏ 神經(jīng)元，而傳統(tǒng)神經(jīng)網(wǎng)絡(luò)僅包含 ∑ 神經(jīng)元。
整個網(wǎng)絡(luò)包含六部分：輸入層、∑? 層、∏ 層、∑? 層、輸出層，以及前饋鏈。前五部分為 SPSNN，RSPSNN 在此基礎(chǔ)上引入了最后一部分。SPSNN 的結(jié)構(gòu)可緩解傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中內(nèi)存需求大和學(xué)習(xí)難度高的問題。由于所需內(nèi)存較少，該網(wǎng)絡(luò)極具吸引力。因此，RSPSNN 不僅繼承了 SPSNN 的優(yōu)勢，還引入了新的遞歸特性。就復(fù)雜度而言，在相同迭代次數(shù)條件下，輸入層僅增加一個新元素，其余部分保持不變，因此對復(fù)雜度的影響可忽略不計。
RSPSNN 由多個高階神經(jīng)元構(gòu)成。圖1展示了其拓?fù)浣Y(jié)構(gòu)，包括輸入層、∑? 層、∏ 層、∑? 層、輸出層與遞歸鏈。設(shè) t 為時間步；P+1、N 和 Q 分別為輸入層、∑? 層和 ∏ 層的單元數(shù)；fqnp() 為網(wǎng)絡(luò)訓(xùn)練的激活函數(shù)；y(t?1) 表示上一個時間步的網(wǎng)絡(luò)輸出值。各變量的詳細(xì)符號在表1中列出。
新結(jié)構(gòu)穩(wěn)定性的收斂性
遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network, RNN）能夠建模任意的動態(tài)系統(tǒng)，這是其最有益的特性之一。因此，RSPSNN 中的遞歸鏈預(yù)計會發(fā)揮優(yōu)勢作用。RSPSNN 的屬性中，包括遞歸連接、復(fù)雜性以及訓(xùn)練網(wǎng)絡(luò)的難度，這些特點(diǎn)都存在。與普通的 SPSNN 相比，訓(xùn)練 RSPSNN 更為困難。輸出值與目標(biāo)值之間的誤差可能不會單調(diào)遞減，因此梯度算法與穩(wěn)定性收斂的狀態(tài)可能更加復(fù)雜。其次，損失函數(shù) E(w) 對 W0 和 Wn 的兩個偏導(dǎo)數(shù) ?E(w)/?W0 和 ?E(w)/?Wn，可能與輸出和梯度相關(guān)。因此，梯度和權(quán)重的計算更加困難。
為了解決所提出新網(wǎng)絡(luò)中的收斂性問題，推導(dǎo)了 RSPSNN 的穩(wěn)定性，以說明該網(wǎng)絡(luò)具有穩(wěn)定的收斂性。關(guān)于 RSPSNN 在收斂性方面的穩(wěn)定性，詳述如下。
上述證明的詳細(xì)過程見“補(bǔ)充材料”文件中的附錄部分。對于 RSPSNN，其最終目的是通過權(quán)重的迭代規(guī)則搜索最優(yōu)權(quán)重。期望網(wǎng)絡(luò)能達(dá)到唯一的平衡狀態(tài)，使得實(shí)際輸出值盡可能接近理想輸出值。
新結(jié)構(gòu)在不同應(yīng)用中的評估
為驗(yàn)證 RSPSNN 的有效性，我們使用 MATLAB 2018a 軟件進(jìn)行數(shù)值實(shí)驗(yàn)。首先，我們構(gòu)建了 RSPSNN 的一種新型網(wǎng)絡(luò)結(jié)構(gòu)，其中輸入神經(jīng)元、∑? 層神經(jīng)元、∏ 層神經(jīng)元和 ∑? 層神經(jīng)元的數(shù)量分別為 50、12、3 和 1。對于 ∑? ～ ∏ 層，∑? 層的 12 個節(jié)點(diǎn)被分為三個組（3、4、5），第一組的三個節(jié)點(diǎn)與 ∑? 層的第一個節(jié)點(diǎn)全連接，第二組的四個節(jié)點(diǎn)與 ∑? 層的第二個節(jié)點(diǎn)全連接，第三組的五個節(jié)點(diǎn)與 ∑? 層的第三個節(jié)點(diǎn)全連接。
我們選擇 tanh 函數(shù)作為激活函數(shù)，學(xué)習(xí)率 η = 0.01。W? 和 W? 的初始權(quán)重從區(qū)間 [?0.05, 0.05] 中選取，并從 [?4.0, 4.0] 區(qū)間中隨機(jī)選取 800 個輸入點(diǎn)。訓(xùn)練終止條件為迭代次數(shù)達(dá)到最大值 50,000，或均方誤差 MSE 小于 0.01。
函數(shù)逼近問題
為實(shí)現(xiàn)函數(shù)逼近，我們首先選擇以下正弦函數(shù)來驗(yàn)證所提出 RSPSNN 的逼近能力。
圖2展示了函數(shù)逼近過程中均方誤差（MSE）的曲線。當(dāng)?shù)螖?shù)達(dá)到33924時，MSE值為0.0078，滿足停止迭代的條件。
圖3顯示了RSPSNN的逼近函數(shù)（用“*”表示的線）和實(shí)際函數(shù)（虛線）。從逼近結(jié)果來看，這兩條線非常相似：大部分線條重疊，準(zhǔn)確率為86.7%。RSPSNN表現(xiàn)出良好的逼近性能。
預(yù)測問題
對于預(yù)測問題，我們選擇Mackey-Glass（MG）時間序列來說明RSPSNN的有效性，并驗(yàn)證其能力。因此，本文也使用它來評估RSPSNN的有效性。MG方程如下：
MG方程較為復(fù)雜，因?yàn)闀r間延遲τ是一個變量。為了便于表述，將y(0)的初始值記為1.8。圖4展示了MG時間序列的狀態(tài)空間分布。目標(biāo)是對該時間序列進(jìn)行建模，并預(yù)測時間序列在未來某一時刻的值。
在本實(shí)驗(yàn)中，首先實(shí)現(xiàn)了一步預(yù)測，即通過時間k之前和時間k的值來預(yù)測時間k+1的真實(shí)值。我們生成了500個訓(xùn)練數(shù)據(jù)點(diǎn)和500個測試數(shù)據(jù)點(diǎn)用于實(shí)驗(yàn)。在圖5中，目標(biāo)輸出（1000個數(shù)據(jù)點(diǎn)）以紅線表示，而RSPSNN的預(yù)測輸出結(jié)果以藍(lán)線表示。預(yù)測結(jié)果非常準(zhǔn)確，因?yàn)榧t線和藍(lán)線非常接近，幾乎重合。對于500個測試數(shù)據(jù)點(diǎn)（從501到1000），預(yù)測結(jié)果也非常準(zhǔn)確。在訓(xùn)練和測試過程中，誤差變化如圖6所示。當(dāng)?shù)螖?shù)達(dá)到3033時，均方誤差（MSE）為0.0096。
此外，還進(jìn)行了長期預(yù)測的檢驗(yàn)。對于這種預(yù)測，將輸出值反饋?zhàn)鳛檩斎胫?，用于計算RSPSNN的未來值。正如前面所述，1000個點(diǎn)被劃分為800個訓(xùn)練數(shù)據(jù)點(diǎn)和200個測試點(diǎn)（見圖7）。圖7展示了誤差情況，當(dāng)?shù)螖?shù)達(dá)到567時，MSE為0.0085。圖8展示了長期預(yù)測的有效性。紅線表示目標(biāo)輸出（點(diǎn)1到800表示訓(xùn)練數(shù)據(jù)的目標(biāo)輸出，點(diǎn)801到1000表示測試數(shù)據(jù)的目標(biāo)輸出），而藍(lán)線表示預(yù)測輸出（前800個點(diǎn)表示訓(xùn)練數(shù)據(jù)，接下來的200個點(diǎn)表示測試數(shù)據(jù)）。對于點(diǎn)801到1000，當(dāng)預(yù)測結(jié)果與目標(biāo)結(jié)果進(jìn)行比較時，有190個點(diǎn)滿足誤差小于或等于0.01的條件。因此，預(yù)測準(zhǔn)確率達(dá)到了95%。值得注意的是，RSPSNN具有良好的預(yù)測能力。
此外，將RSPSNN與其他尖端架構(gòu)（如長短期記憶（LSTM）網(wǎng)絡(luò)）進(jìn)行比較，以進(jìn)行全面評估。正如前面所述，整個數(shù)據(jù)（1000個點(diǎn)）也被劃分為80%和20%。圖9展示了LSTM的預(yù)測結(jié)果。對于點(diǎn)1到800，紅線表示訓(xùn)練數(shù)據(jù)的目標(biāo)輸出，而藍(lán)線表示訓(xùn)練數(shù)據(jù)的預(yù)測輸出。紅線中的點(diǎn)801到1000表示測試數(shù)據(jù)的目標(biāo)輸出，相應(yīng)的藍(lán)線中的200個點(diǎn)表示測試數(shù)據(jù)的預(yù)測輸出。圖10展示了MSE的誤差曲線。結(jié)果表明，當(dāng)?shù)螖?shù)達(dá)到115時，MSE降至0.01以下。與RSPSNN的結(jié)果相比，LSTM在處理序列問題方面表現(xiàn)出更好的性能。在相同的誤差精度下，LSTM需要的迭代次數(shù)更少。
奇偶校驗(yàn)問題
對于奇偶校驗(yàn)問題，我們使用分類基準(zhǔn)作為樣本，該樣本位于n維空間中，包含個元素。在本實(shí)驗(yàn)中，以4維奇偶校驗(yàn)問題為例來評估RSPSNN的模型。4維奇偶校驗(yàn)函數(shù)由個不同的向量組成，表2列出了輸入和目標(biāo)輸出的16組數(shù)據(jù)。
對于這個問題，輸出始終為1或0，輸入始終為1或-1。在訓(xùn)練RSPSNN的過程中，我們需要更小的誤差精度值來展示MSE的細(xì)節(jié)。因此，在本實(shí)驗(yàn)中，將誤差精度從0.01提高到0.0001。
學(xué)習(xí)過程中性能的演變特性如圖11和圖12所示。
圖11展示了均方誤差（MSE）的曲線。當(dāng)?shù)螖?shù)達(dá)到2062時，MSE值為9.9998e-05。
在圖12中，目標(biāo)輸出是16個紅點(diǎn)，而訓(xùn)練輸出是16個藍(lán)點(diǎn)，兩者緊密重疊。值得注意的是，RSPSNN能夠解決奇偶校驗(yàn)問題。
分類問題
對于分類問題，具有多層結(jié)構(gòu)的RSPSNN適用于解決此類問題。在本實(shí)驗(yàn)中，我們使用了四個分類器，每個分類器對應(yīng)兩個5變量函數(shù)。這兩個函數(shù)是
我們分別在[0,2.0]范圍內(nèi)隨機(jī)選擇1000個值作為x1和x2，并將它們依次組合成1000個點(diǎn)[x1,x2]。隨后，使用RSPSNN對分類問題進(jìn)行訓(xùn)練。圖14展示了均方誤差（MSE）的曲線，表3展示了分類準(zhǔn)確率。
在圖14中，當(dāng)?shù)螖?shù)達(dá)到1964時，MSE為0.0100。在表2中，最初的1000個點(diǎn)根據(jù)公式（14）和公式（15）被劃分為四個分類器，其中I、II、III和IV類的數(shù)據(jù)量分別為78、31、111和780。此外，這些分類數(shù)據(jù)通過RSPSNN進(jìn)行訓(xùn)練，相應(yīng)的訓(xùn)練結(jié)果是：I類正確分類21個，II類正確分類12個，III類正確分類109個，IV類正確分類770個；總共正確分類912個。因此，最終的準(zhǔn)確率為91.2%，這表明了RSPSNN的分類能力。
圖像模擬
在圖像模擬過程中，我們使用RSPSNN來模擬圖15中的原始圖像。RSPSNN對圖像模擬的效果如圖16所示。圖16展示了經(jīng)過50次迭代后的圖像模擬結(jié)果，其模擬準(zhǔn)確率為62.5%。在迭代次數(shù)較少的情況下，貓的圖像已經(jīng)清晰可見。隨著迭代次數(shù)的增加，模擬效果變得更加清晰。
最后，為了說明所提出方法的效率和準(zhǔn)確性，表4展示了RSPSNN與SPSNN之間的比較結(jié)果。
上表表明，RSPSNN的總體準(zhǔn)確率優(yōu)于SPSNN。對于奇偶校驗(yàn)問題和圖像模擬，兩者的準(zhǔn)確率相似。對于函數(shù)逼近和分類問題，RSPSNN與SPSNN之間存在一些優(yōu)勢。值得注意的是，在預(yù)測問題上，RSPSNN的結(jié)果比SPSNN高出22.8%。也就是說，新結(jié)構(gòu)的有效性和能力通過其遞歸性質(zhì)得到了證明。其最有優(yōu)勢的特性是記憶功能，在預(yù)測問題上表現(xiàn)出色。
結(jié)論
在本工作中，我們提出了一種新的神經(jīng)網(wǎng)絡(luò)。首先，我們成功地利用SPSNN構(gòu)建了RSPSNN。隨后，我們證明了這種新網(wǎng)絡(luò)結(jié)構(gòu)的收斂穩(wěn)定性，這是其最重要的優(yōu)勢特性之一。此外，RSPSNN在四個實(shí)驗(yàn)中均取得了成功：函數(shù)逼近問題、預(yù)測問題、奇偶校驗(yàn)問題、分類問題以及圖像模擬。最后，展示了RSPSNN與SPSNN之間的比較結(jié)果，驗(yàn)證了所提出網(wǎng)絡(luò)的效率和準(zhǔn)確性。在構(gòu)建RSPSNN時，僅在輸入層新增了一個元素，其他部分保持不變，因此對復(fù)雜性的影響可以忽略不計。然而，由于RSPSNN的輸入層比SPSNN多一個元素，計算需要更多的可擴(kuò)展性來應(yīng)對潛在的限制。一次迭代需要增加一個單位的可擴(kuò)展性，N次迭代則需要增加N×1單位的可擴(kuò)展性。
我們期望RSPSNN將在其他領(lǐng)域的理論分析和改進(jìn)中得到更廣泛的應(yīng)用。RSPSNN的卓越應(yīng)用可以擴(kuò)展到全球許多實(shí)際問題中。
在未來的工作中，我們計劃研究所提出網(wǎng)絡(luò)的單調(diào)性這一新特性，并與其他現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行更全面的比較，以更清晰地突出RSPSNN的優(yōu)勢。
熱門跟貼