摘要
復(fù)雜系統(tǒng)的多尺度建模對于理解其內(nèi)在機理至關(guān)重要。近年來，數(shù)據(jù)驅(qū)動的多尺度建模已成為應(yīng)對復(fù)雜系統(tǒng)挑戰(zhàn)的有效途徑。然而目前該領(lǐng)域更聚焦于特定領(lǐng)域的預(yù)測或控制問題，尚缺乏合適的理論框架來推動復(fù)雜系統(tǒng)建模理論的建立。另一方面，自相似性普遍存在于復(fù)雜系統(tǒng)中，這暗示著大規(guī)模復(fù)雜系統(tǒng)的建模成本可能得以降低。本文提出一種將自相似性作為先驗知識的多尺度神經(jīng)網(wǎng)絡(luò)框架，可有效建模自相似動力系統(tǒng)。該框架不僅能判別確定性動力學(xué)是否具有自相似性，對于不確定性動力學(xué)，不僅能判定其是否自相似，還能通過比較確定哪組參數(shù)更接近自相似。通過從動力學(xué)中提取尺度不變核，我們的框架可實現(xiàn)任意尺度的建模。此外，該方法能準確識別自相似系統(tǒng)中的冪律指數(shù)，為復(fù)雜系統(tǒng)建模理論的建立提供了重要依據(jù)。
研究領(lǐng)域：自相似性（self-similarity），機器學(xué)習(xí)，動力學(xué)，復(fù)雜系統(tǒng)建模，多尺度神經(jīng)網(wǎng)絡(luò)
論文題目：Data driven modeling for self-similar dynamics 發(fā)表時間：2024年12月28日 論文地址：https://doi.org/10.1016/j.physd.2024.134505 期刊名稱：Physica D: Nonlinear Phenomena
復(fù)雜系統(tǒng)的自相似性：從理論到數(shù)據(jù)驅(qū)動建模
復(fù)雜系統(tǒng)因其非線性、多尺度特性與涌現(xiàn)行為，始終是科學(xué)建模的難點。傳統(tǒng)方法如降階模型（ROM）和方程無關(guān)方法（EFM）雖能簡化問題，但常忽略物理意義或難以推廣。與此同時，自相似性（self-similarity）作為復(fù)雜系統(tǒng)的普遍特征，暗示了一種可能性：通過尺度不變的動力學(xué)核，以低成本建模大規(guī)模系統(tǒng)。然而，如何將自相似性融入數(shù)據(jù)驅(qū)動的建?？蚣?，仍是一個開放問題。
近期，集智研究中心參與發(fā)表在 Physica D 的一篇研究提出了一種融合自相似性先驗的多尺度神經(jīng)網(wǎng)絡(luò)框架，旨在通過機器學(xué)習(xí)揭示復(fù)雜系統(tǒng)的尺度不變規(guī)律。這一工作不僅為自相似動力學(xué)的識別提供了新工具，還首次實現(xiàn)了動力學(xué)重整化策略的自動化學(xué)習(xí)，為理解臨界現(xiàn)象和相變開辟了新路徑。
自相似動力學(xué)的定義：從微觀到宏觀的一致性
自相似動力學(xué)的核心在于跨尺度的一致性。研究團隊將其形式化定義為：若微觀狀態(tài)X經(jīng)粗粒度映射$$P$$得到宏觀狀態(tài)Y，且兩者的動力學(xué)方程和參數(shù)在形式與數(shù)值上保持一致，則稱系統(tǒng)具有自相似性。這一過程通過一致性指標（consistency）量化：若微觀演化一步后的粗粒度結(jié)果Yt+1 與直接粗粒度微觀狀態(tài) 的均方誤差趨近于零，則系統(tǒng)滿足自相似性。該定義兼容確定性與隨機性系統(tǒng)，還可以比較不同參數(shù)組下的自相似程度。
框架設(shè)計：
動力學(xué)學(xué)習(xí)器與粗粒度學(xué)習(xí)器的協(xié)同
根據(jù)上述形式化定義，研究使用多尺度神經(jīng)網(wǎng)絡(luò)方法，設(shè)計了雙模塊神經(jīng)網(wǎng)絡(luò)架構(gòu)，包括動力學(xué)學(xué)習(xí)器和粗粒度學(xué)習(xí)器兩個主要組成部分（圖 1）。
1. 動力學(xué)學(xué)習(xí)器（Dynamics Learner）：通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）捕捉微觀態(tài)的演化規(guī)則，將神經(jīng)網(wǎng)絡(luò)參數(shù)有效地作為動力學(xué)參數(shù)，優(yōu)化的目標是最小化實際值和預(yù)測值之間的差異?？紤]到微觀和宏觀尺度之間數(shù)據(jù)維度的差異，即宏觀變量通常較少，因此設(shè)計具有時空平移不變性的神經(jīng)網(wǎng)絡(luò)非常重要。只有這樣，才有可能將在微觀動力學(xué)數(shù)據(jù)上訓(xùn)練的動力學(xué)學(xué)習(xí)器應(yīng)用到宏觀動力學(xué)中。
2. 粗粒度學(xué)習(xí)器（Coarse-graining Learner）：學(xué)習(xí)從微觀態(tài)到宏觀態(tài)到映射，保證宏觀動力學(xué)的形式和參數(shù)應(yīng)該與微觀動力學(xué)相同，并且可以據(jù)此實現(xiàn)宏觀動力學(xué)的準確預(yù)測。此外，通過解碼器防止映射坍縮為平凡解。
兩模塊分階段訓(xùn)練：首先優(yōu)化動力學(xué)預(yù)測誤差，再固定動力學(xué)參數(shù)，聯(lián)合優(yōu)化粗粒度與解碼器的重建誤差。這種設(shè)計確保宏觀動力學(xué)與微觀規(guī)則同構(gòu)，同時避免傳統(tǒng)方法中參數(shù)耦合導(dǎo)致的訓(xùn)練不穩(wěn)定。
圖 1.（a）二維晶格系統(tǒng)中動力學(xué)和粗?；氖疽鈭D。藍色區(qū)域表示動力學(xué)相互作用的范圍，此處以最近鄰相互作用為例。藍色虛線箭頭表示xi或yi在動力學(xué)fi或Fi下演進一步。紅色區(qū)域表示微觀狀態(tài)的基本單位，將是粗粒度的宏觀狀態(tài)，在上圖中顯示為紅點。動力學(xué)和粗?；阕涌梢詰?yīng)用于任何其他狀態(tài)和區(qū)域，這意味著算子是均勻的。（b）該框架中使用了卷積神經(jīng)網(wǎng)絡(luò)CNN模型，共有兩個層級的神經(jīng)網(wǎng)絡(luò)框架。第一層級旨在利用圖中底部呈現(xiàn)為藍色的微觀狀態(tài)來捕捉微觀動力學(xué)f，而第二層級則代表宏觀狀態(tài)和動力學(xué)F，在圖中頂部顯示為紅色。兩個動力學(xué)都接收來自各自層級的時間序列數(shù)據(jù)作為輸入，并對未來結(jié)果進行預(yù)測。微觀和宏觀動力學(xué)共享相同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)。鑒于微觀和宏觀層級之間數(shù)據(jù)維度的差異——通常宏觀變量較少——這就需要構(gòu)建具有時空平移不變性的神經(jīng)網(wǎng)絡(luò)。粗粒度學(xué)習(xí)器P(θ2)將兩者連接起來，促進微觀數(shù)據(jù)到宏觀數(shù)據(jù)的轉(zhuǎn)換。為防止在訓(xùn)練過程中宏觀狀態(tài)陷入平凡狀態(tài)，我們在宏觀預(yù)測之后添加了一個解碼器P'(θ3)。該解碼器約束其輸出與微觀狀態(tài)極為相似。訓(xùn)練完成后，解碼器可停用。
實驗驗證：從元胞自動機到活性物質(zhì)系統(tǒng)
研究通過三類系統(tǒng)驗證框架的有效性：
1. 確定性的元胞自動機（CA）：在256種規(guī)則中，框架成功識別出21種自相似規(guī)則（如Rule 60），并自動學(xué)習(xí)其粗粒度策略。例如，Rule 60在空間尺度 S = 2或4 時，宏觀規(guī)則與微觀一致；而Rule 85僅在 S = 3 時滿足自相似性（圖2）。
2. 隨機擴散過程：對連續(xù)時空的擴散方程，框架在Δt0→0時學(xué)習(xí)到高斯型動力學(xué)核，且宏觀擴散系數(shù)與微觀一致（圖3b）。
3. Vicsek模型：在臨界噪聲區(qū)域 η≈2，模型的重建誤差最低（圖4），表明自相似性在相變點附近最強。這與動力學(xué)重整化群理論預(yù)測的臨界指數(shù)z≈2一致，驗證了框架對復(fù)雜臨界行為的捕捉能力。
圖 2. 元胞自動機根據(jù)其自相似性質(zhì)的動力學(xué)粗粒化（規(guī)則60和規(guī)則85）。第一行是規(guī)則 60 的結(jié)果。它們是真實值以及三個不同尺度（分別對應(yīng) S = T = 2、3、4）的粗粒度結(jié)果。第二行是規(guī)則 85 的結(jié)果，同樣也是真實值以及三個不同尺度（分別對應(yīng) S = T = 2、3、4）的粗粒度結(jié)果。我們可以看到，除了 S = T = 3 的情況，規(guī)則 60 在另外兩種情況都可以在宏觀層面重正化為相同的規(guī)則，而規(guī)則 85 只有在 S = T = 3 時才能重正化為自相似的動力學(xué)。
圖 3. 擴散過程動力學(xué)預(yù)測與一致性結(jié)果的可視化。(a)和(b)分別表示Δt0→0時微觀狀態(tài)的真實值和預(yù)測值。子圖是紅色方塊的放大版本，以便獲得更清晰的可視化。(c)為Δt0→0時的動力學(xué)一致性可視化，與之前的CA相同。我們設(shè)置= 2和= 4為例，而= 3和= 9也有類似的結(jié)果。(d)分別驗證了微觀狀態(tài)和宏觀狀態(tài)下時間與平均擴散長度的標度關(guān)系。
圖 4. vicsek模型結(jié)果。(a)為序參數(shù)Φ（左），其標準差（右）在= 32和64中隨噪聲強度η的變化。從圖中我們可以粗略估計臨界區(qū)域在η= 1.6 ~ 2.2的范圍內(nèi)。(b)為五種不同動力學(xué)學(xué)習(xí)器的MSE。(c)為粗粒度學(xué)習(xí)器的解碼器MSE。
意義與展望：邁向自動化的動力學(xué)重整化
該框架的突破在于將自相似性作為顯式約束，首次實現(xiàn)了數(shù)據(jù)驅(qū)動的動力學(xué)重整化。其意義不僅在于跨尺度建模的效率提升，更揭示了復(fù)雜系統(tǒng)在參數(shù)空間中的固定點行為，為臨界現(xiàn)象研究提供了新工具。
未來，這一框架或可結(jié)合有效信息（Effective Information）理論，進一步量化動力學(xué)的因果涌現(xiàn)強度。此外，其在湍流、等離子體等非平衡系統(tǒng)中也具有一定的應(yīng)用潛力，未來將推動物理與機器學(xué)習(xí)更深的交叉融合。
彭晨| 編譯
復(fù)雜網(wǎng)絡(luò)動力學(xué)讀書會
集智俱樂部聯(lián)合合肥工業(yè)大學(xué)物理系教授李明、同濟大學(xué)副教授張毅超、北京師范大學(xué)特聘副研究員史貴元與在讀博士生邱仲普、張章共同發(fā)起 。本次讀書會將探討：同步相變的臨界性、如何普適地刻畫多穩(wěn)態(tài)與臨界點、如何識別并預(yù)測臨界轉(zhuǎn)變、如何通過局部干預(yù)來調(diào)控系統(tǒng)保持或回到期望穩(wěn)態(tài)、爆炸逾滲臨界行為的關(guān)鍵特征、不同類型的級聯(lián)過程對逾滲相變的影響有何異同、高階相互作用的影響能否等效為若干簡單機制的疊加、如何有效地促進人類個體間的合作等問題。
讀書會計劃從3月7日開始，每周五晚19:30-21:30進行，持續(xù)8-10周。誠摯邀請領(lǐng)域內(nèi)研究者、尋求跨領(lǐng)域融合的研究者加入，共同探討。
詳情請見：
集智科學(xué)研究中心
集智科學(xué)研究中心是門頭溝民政局批準成立、門頭溝科信局主管的民辦非企業(yè)，致力于營造跨學(xué)科探索小生境，催化復(fù)雜性科學(xué)新理論。集智研究中心長期關(guān)注復(fù)雜科學(xué)中的核心問題，如涌現(xiàn)、因果、自指、意識、生命起源等等，并充分結(jié)合人工智能機器學(xué)習(xí)技術(shù)嘗試解決這些問題。目前已有15篇文章發(fā)表于國際期刊，其中包括一篇因果涌現(xiàn)的綜述和一篇生命起源的綜述。這里的文章大部分產(chǎn)生于集智社區(qū)讀書會。
部分研究成果報道：
訪問集智科學(xué)研究中心網(wǎng)站了解詳情：www.research.swarma.org/research
1.
2.
3.
4.
5.
6.
熱門跟貼