Figure 2, Representation of local chemical environment in crystal structure.
當前在材料、化學等領域中，用于材料性質(zhì)預測或機器學習勢模型開發(fā)的圖神經(jīng)網(wǎng)絡（GNN）設計，本質(zhì)上都在嘗試對晶體或分子結(jié)構(gòu)所包含的所有信息進行完備表示，從而準確學習結(jié)構(gòu)-組分-性質(zhì)之間的物理規(guī)律，實現(xiàn)從晶體或分子結(jié)構(gòu)到材料性質(zhì)的精準預測。
晶體或分子結(jié)構(gòu)主要包含以下信息：
- 結(jié)構(gòu)中每個組分（元素）的信息；
- 每個元素位點的鄰居的幾何拓撲信息；
- 每個元素位點鄰居的電子相互作用信息；
- 晶體結(jié)構(gòu)的對稱性信息；
- 結(jié)構(gòu)中元素位點之間的遠程相互作用信息。
基于這五點，GNN的設計中應包含相應的組件：首先，節(jié)點的元素嵌入表示通?；陬A訓練的元素周期表知識；其次，為了準確地描述元素位點鄰居的幾何拓撲，從早期的CGCNN通過成鍵二元系統(tǒng)（節(jié)點代表原子，邊代表原子連接）傳播信息，到iCGCNN引入基于Voronoi單元格的脊來確定原子間邊緣，捕捉局部幾何關系，再到ALIGNN采用二面角-角度-成鍵的多層嵌套子圖或Line Graph表示多元相互作用，以及GeoCGNN使用高斯徑向基函數(shù)和Monkhorst Pack特殊點的k點網(wǎng)格平面波編碼局部幾何信息，最后到M3GNet的多體相互作用模塊設計，逐步完善了幾何拓撲的描述；第三，針對位點鄰居的電子相互作用表達，雖然直接引入類似DFT中“贗勢”的策略難以實現(xiàn)，但通過間接方法如DPA-2的多任務預訓練（學習多種化學與材料體系）或構(gòu)建原子特征時引入電負性、電離態(tài)、外層電子數(shù)和氧化態(tài)等高維嵌入，以及CHGNet通過顯式包含磁矩學習電子軌道占據(jù)，增強了對電子相互作用的描述；第四，對于晶體結(jié)構(gòu)的對稱性信息，主要采用等變GNN組件設計，如E(3)等變性組件，確保模型能夠處理晶體結(jié)構(gòu)的對稱性變化，例如Graphormer架構(gòu)中實現(xiàn)SO(3)-等變向量處理以適應旋轉(zhuǎn)對稱性；第五，針對位點之間的遠程相互作用信息，主要通過消息傳遞框架實現(xiàn)，如CHGNet通過圖卷積層傳播信息捕捉長程相互作用，或MEGNet引入全局狀態(tài)信息參與圖更新，以及Graphormer使用Transformer架構(gòu)處理長距離依賴關系，從而實現(xiàn)對結(jié)構(gòu)中遠程相互作用的有效表示。
上海交通大學汪洪和惠健研究團隊的杜紅偉等提出的DenseGNN模型在晶體或分子結(jié)構(gòu)的信息表示方面，針對上述五點信息進行了相應的設計和優(yōu)化，具體如下：
1. 每個組分（元素）信息。DenseGNN通過Local Structure Order Parameters Embedding (LOPE)策略來優(yōu)化原子的嵌入表示。LOPE包括原子嵌入和方向解析嵌入，通過徑向分布函數(shù)（RDF）和高斯窗口函數(shù)的乘積積分來描述局部原子環(huán)境，從而提供關于局部原子環(huán)境的信息，如鄰近原子的密度和分布。
2. 每個元素位點的鄰居的幾何拓撲信息。DenseGNN利用LOPE策略來捕捉原子的局部環(huán)境和配位信息。LOPE通過計算中心原子與鄰近原子之間的距離，并考慮鄰近原子相對于中心原子的方向，提供更詳細的局部原子環(huán)境描述，包括方向和各向異性信息。
3. 每個元素位點鄰居的電子相互作用信息。DenseGNN直接在構(gòu)建原子特征時，引入電負性、外層電子數(shù)和氧化態(tài)，嵌入到高維空間等策略提供電子相互作用信息的表示。雖然沒有直接引入類似DFT中的“贗勢”策略，但DenseGNN通過LOPE和Dense Connectivity Network (DCN)的設計，能夠間接從材料性質(zhì)的反饋中捕捉到電子相互作用的信息，尤其是在多體位點間相互作用的表達上。
4. 晶體結(jié)構(gòu)的對稱性信息。DenseGNN的架構(gòu)中實現(xiàn)了E(3)-等變圖網(wǎng)絡設計，以適應晶體結(jié)構(gòu)的平移，旋轉(zhuǎn)對稱性等。
5. 元素位點之間的遠程相互作用信息。DenseGNN通過和層次節(jié)點-邊-圖殘差網(wǎng)絡（HRN）來構(gòu)建非常深的GNN，這有助于捕捉元素位點之間的遠程相互作用信息。DCN設計使得每個圖卷積層可以直接訪問所有前層的特征信息，從而實現(xiàn)有效的特征重用和信息傳播。
Figure 1, Architecture and components of the DenseGNN.
Figure 3, Comparison of test MAE results on MatBench datasets.
Figure 4, Comparison of test MAE results on JARVIS-DFT datasets.
Figure 5, Test MAE changes after fusing DCN and LOPE strategies.
Figure 6, Comparison of edge connections among models on Matbench datasets.
Figure 7, Extrapolation performance test comparison between DenseGNN and reference models.
論文鏈接：
https://doi.org/10.1038/s41524-024-01444-x
熱門跟貼