人善交XUANWEN200,丁香花完整视频在线观看,小骚包娇喘抽搐喷潮h动态图图片

【AI+材料】JPCA：SLI-GNN新型圖神經(jīng)網(wǎng)絡(luò)框架用于晶體與分子性質(zhì)預(yù)測

研究背景

近年來，許多研究者提出了基于圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）的框架來預(yù)測晶體和分子的性質(zhì)。具有代表性的晶體圖卷積神經(jīng)網(wǎng)絡(luò)（crystal graph convolutional neural network，CGCNN），提供了靈活的框架來預(yù)測晶體材料的性能；后續(xù)發(fā)展的iCGCNN結(jié)合了Voronoi劃分的晶體結(jié)構(gòu)信息，明確了由臨近原子組成的三體之間的相關(guān)性，以及優(yōu)化了原子間鍵的化學(xué)表示，預(yù)測性能得到了進一步的提升。與僅針對晶體或分子開發(fā)的GNN相比，MEGNet是提出的用于分子和晶體性質(zhì)預(yù)測的通用框架，其強調(diào)了結(jié)構(gòu)的全局狀態(tài)屬性。

為了進一步增強GNN對于晶體和分子性質(zhì)預(yù)測的通用能力，蘇州大學(xué)李有勇和紀玉金等人開發(fā)了一個適用于晶體和分子的通用自學(xué)習(xí)輸入GNN框架（self-learning-input GNN，SLI-GNN），該框架加入了動態(tài)的特征嵌入層，利用消息傳遞神經(jīng)網(wǎng)絡(luò)（message passing neural network，MPNN）的迭代來自動更新圖中節(jié)點與邊的特征，并加入了最大信息熵（Infomax）機制來最大化局部特征與全局特征之間的平均交互信息。SLI-GNN的核心優(yōu)勢在于：（i）可以獲得與基準相當?shù)念A(yù)測性能；（ii）加入的MPNN層是動態(tài)可調(diào)的；（iii）僅需少量的原始輸入特征就能實現(xiàn)高性能的模型訓(xùn)練。

結(jié)果與討論

（1）SLI-GNN框架

SLI-GNN的整體框架如圖1a所示。模型訓(xùn)練需要晶體/分子的結(jié)構(gòu)數(shù)據(jù)與目標性質(zhì)數(shù)據(jù)，并將結(jié)構(gòu)轉(zhuǎn)化為圖特征表示，經(jīng)過動態(tài)的特征嵌入層后得到特征向量，并使用MPNN、池化層、全連接層與目標性質(zhì)進行映射。

與大部分GNN類似，圖特征表示由以原子表示的節(jié)點和以鍵表示的邊組成。對于給定的分子或晶體，該模塊首先從輸入文件中讀出結(jié)構(gòu)信息，生成圖特征表示。對于每一個原子，使用原子序數(shù)來表示節(jié)點信息；對于每一條化學(xué)鍵，使用鍵長來表示邊信息。與之前的GNN框架使用靜態(tài)的特征嵌入層不同的是，作者引入了一個動態(tài)的特征嵌入層（圖1b），將MPNN的參數(shù)與節(jié)點信息和邊信息進行迭代乘積，并使節(jié)點信息與邊信息的維度保持固定。

MPNN的參數(shù)更新使用了聚合函數(shù)，在前向傳播過程中，每個原子的信息將與其相鄰原子的信息聚合在一起，形成一個表示局部特征的向量。在MPNN層之后，常見的聚合函數(shù)只利用最后一層的向量，忽略了其他層，而每一層通過聚集前一層的鄰域來增加影響分布的大小。為了解決這個問題，作者引入了Infomax 機制，將前一層的所有向量信息匯總為后一層的輸入，通過這種方式，模型可以適應(yīng)每個節(jié)點的有效鄰域大小，從而準確地獲得所需的適應(yīng)性（圖1c）。晶體/分子的局部特征可以從近鄰中學(xué)習(xí)，而整個晶體/分子的全局特征將傾向于來自高層特征。簡而言之，通過Infomax機制，最大化了節(jié)點和邊之間的交互信息，從而被下游的學(xué)習(xí)任務(wù)重用。在MPNN層之后，特征向量聚合成一個整體的特征向量。全局池化層將一批晶體/分子映射拆分為多個小映射，通過max、mean或add 操作將多個原子矢量轉(zhuǎn)換為一個晶體/分子矢量。作者在MPNN層的輸出上使用了平均池化。

【AI+材料】JPCA：SLI-GNN新型圖神經(jīng)網(wǎng)絡(luò)框架用于晶體與分子性質(zhì)預(yù)測

圖1.（a）SLI-GNN框架（b）動態(tài)特征嵌入層（c）MPNN層

（2）SLI-GNN在晶體材料上的預(yù)測性能

作者使用Materials Project中的晶體數(shù)據(jù)來評估SLI-GNN的性能，從Materials Project收集了大約3萬個無機晶體材料及其性質(zhì)。如圖2a所示，對于形成能，使用SLI-GNN的平均絕對誤差是0.061 eV/atom，處于基準0.04-0.1 eV/atom之間，這表明預(yù)測的形成能與DFT計算的形成能吻合度良好，證明SLI-GNN對晶體性質(zhì)預(yù)測具有較高的預(yù)測精度。在訓(xùn)練過程中的訓(xùn)練/驗證誤差如圖2b所示，這表明在訓(xùn)練過程中，訓(xùn)練集和驗證集的性能匹配良好。也可以看出，經(jīng)過20次 epoch的訓(xùn)練，SLI-GNN達到了理想的精度。在預(yù)測絕對能量和帶隙時，平均絕對誤差分別為0.07 eV和0.32 eV，絕對能量的預(yù)測精度與其他模型接近 (~ 0.07 eV)，而帶隙的預(yù)測精度略高于已有模型（0.33 eV）。

除了SLI-GNN在回歸任務(wù)外，作者還測試了導(dǎo)體和非導(dǎo)體分類的性能。作者將帶隙等于0 eV的晶體歸類為導(dǎo)體并標記為1，而將其他晶體的標記設(shè)置為0。分類任務(wù)的性能通過使用receiver operating characteristic area under the curve （ROC-AUC）來評估，如果ROC-AUC接近1.0，則表明分類性能優(yōu)異。從圖2c的ROC 曲線可以看出，SLI-GNN達到了很高的預(yù)測精度（94%），意味著SLI-GNN的分類效果也是可以接受的。

為了深入理解SLI-CNN學(xué)習(xí)的晶體特征與性質(zhì)之間的聯(lián)系，作者使用了t-distributed stochastic neighbor embedding（t-SNE）來可視化池化層的輸出，如圖2d所示。其中同一簇中的鄰近點在組成或結(jié)構(gòu)上應(yīng)該是相似的。從2D映射中，可以觀察到許多局部團簇都有相似的顏色，這表明它們可能具有相似的形成能，而SLI-GNN可以很好地捕捉到這一點。

圖2.（a）DFT計算的形成能與預(yù)測的形成能對比（b）訓(xùn)練迭代過程（c）ROC曲線（d）t-SNE特征可視化

（3）SLI-GNN在分子上的預(yù)測性能

作者也使用了QM9數(shù)據(jù)集來評估SLI-GNN在分子性質(zhì)預(yù)測中的性能，數(shù)據(jù)集包含133885個有機小分子，其分布如圖3a所示。作者以四種常見的分子性質(zhì)作為訓(xùn)練目標，包括 0 K時的內(nèi)能（U₀）、能隙、最高的已占據(jù)分子軌道（HOMO）的能量和最低的未占據(jù)分子軌道（LUMO）的能量，平均絕對誤差分別為0.032 eV/atom，0.065 eV，0.046 eV，0.045 eV，如圖3b所示。這四個性質(zhì)的預(yù)測性能可以從它們對應(yīng)的誤差分布中很好地反映出來。

從圖3c可以清楚地看出，對能隙的預(yù)測在能隙值的整個范圍內(nèi)都僅有很小的誤差。SLI-GNN的精度與之前的GNN模型接近，表明SLI-GNN可以獲得理想的分子性質(zhì)預(yù)測性能。圖3d中的損失曲線反映了驗證集性能與訓(xùn)練集的性能一致，從而避免了訓(xùn)練過程中的過擬合，而且，訓(xùn)練集和驗證集的平均絕對誤差僅在20個訓(xùn)練周期內(nèi)就降到了一個低值。

圖3.（a）分子中原子數(shù)量的統(tǒng)計直方圖（b）四種性質(zhì)的預(yù)測誤差分布（c）DFT計算的能隙與預(yù)測的能隙對比（d）訓(xùn)練迭代過程

（4）動態(tài)特征嵌入層與Infomax機制的重要性

動態(tài)特征嵌入層的引入使得原子特征和化學(xué)鍵特征隨著神經(jīng)網(wǎng)絡(luò)的迭代而自動更新。為了證明動態(tài)特征嵌入層的優(yōu)勢，作者研究了隨著原子特征數(shù)量的減少，參數(shù)的變化對預(yù)測性能的影響。如圖4a所示，以CGCNN為進行比較，作者嘗試減少原子特征，發(fā)現(xiàn)當只使用一個原子特征時，平均絕對誤差從0.10 eV/atom增加到0.16 eV/atom，預(yù)測性能下降；而使用SLI-GNN時，原子特征數(shù)從9個減少到 1個，平均絕對誤差在0.06 eV/atom和0.07 eV/atom之間波動，預(yù)測性能幾乎沒有變化。由于在訓(xùn)練過程中引入了自更新機制，無論選擇哪一種原子特征，SLI-GNN模型都能獲得理想的精度。這意味著 SLI-GNN不依賴于特征選擇，并且只需要更少的輸入來獲得適當?shù)木取?/strong>

Infomax機制的引入使得SLI-GNN可以擴展到更多的 MPNN層。為了解釋這一優(yōu)勢，作者通過改變MPNN層的數(shù)量來考察模型的性能，并和以前的模型性能進行對比。在圖4b中，當增加一定數(shù)量的MPNN層后，CGCNN的預(yù)測精度下降，當使用10層MPNN層時，平均絕對誤差變?yōu)?.17 eV/atom。相比之下，使用SLI-GNN時，11層MPNN的平均絕對誤差與使用3層MPNN的結(jié)果接近，約為0.065 eV/atom，從而證明了SLI-GNN良好的可擴展性。

圖4.（a）原子特征數(shù)變化對SLI-GNN和CGCNN的性能影響（b）MPNN層數(shù)對SLI-GNN和CGCNN的性能影響

表1. SLI-GNN在晶體和分子數(shù)據(jù)庫上的預(yù)測性能及其與基準的對比

（5）與其他框架的對比

作者總結(jié)了六種先前報道的模型的輸入、算法、特征嵌入和應(yīng)用，以突出SLI-GNN的新穎性。在這些模型中，原子序數(shù)是區(qū)分原子類型的常用輸入（如SpookyNet、AimNet和SLI-GNN）。在SchNet、REANN、PhysNet中，原子序數(shù)用原子核的電荷來代替，它們具有相同的功能來標記不同的元素類型。

此外，還可以引入一些其他與原子相關(guān)的性質(zhì)來豐富原子性質(zhì)的描述，如SpookyNet中的總電荷和自旋態(tài)，CGCNN中的電負性和電子親和性等，但這同時也導(dǎo)致輸入的復(fù)雜性提高以及訓(xùn)練數(shù)據(jù)的適用性降低。由于GNN框架的優(yōu)勢，SLI-GNN的應(yīng)用范圍涵蓋了分子和晶體性質(zhì)，而深度神經(jīng)網(wǎng)絡(luò)框架（PhysNet、SpookyNet、AimNet）僅適用于分子體系。總體而言，SLI-GNN 的新穎之處集中在兩個方面，即動態(tài)特征嵌入層和 MPNN層中的Infomax機制。

表2. SLI-GNN與其他在原子水平建模的神經(jīng)網(wǎng)絡(luò)模型對比

總結(jié)展望

作者開發(fā)了一個通用的GNN框架SLI-GNN，用于分子/晶體的性質(zhì)預(yù)測。SLI-GNN引入動態(tài)特征嵌入層可以對輸入的特征進行優(yōu)化，即在神經(jīng)網(wǎng)絡(luò)迭代過程中對原子特征和鍵特征進行自更新，以獲得原子間和原子內(nèi)的相關(guān)關(guān)系以及鍵的相關(guān)關(guān)系。SLI-GNN中的Infomax機制最大化局部特征和全局特征之間的平均交互信息，并隨著MPNN層數(shù)的增加仍然保持合理的預(yù)測性能。所提出的SLI-GNN具有巨大的潛力來提升材料性能預(yù)測的能力，從而加速新分子和晶體的發(fā)現(xiàn)。

文獻信息

Zhihao Dong, Jie Feng, Yujin Ji, Youyong Li. SLI-GNN: A Self-Learning-Input Graph Neural Network for Predicting Crystal and Molecular Properties. J. Phys. Chem. A (2023)

https://doi.org/10.1021/acs.jpca.3c01558

點擊閱讀原文，報名計算培訓(xùn)！

原創(chuàng)文章，作者：計算搬磚工程師，如若轉(zhuǎn)載，請注明來源華算科技，注明出處：http://www.zzhhcy.com/index.php/2023/10/30/ead626ca48/

末成年小嫩xb,嫰bbb槡bbbb槡bbbb,免费无人区码卡密,成全高清mv电影免费观看

【AI+材料】JPCA：SLI-GNN新型圖神經(jīng)網(wǎng)絡(luò)框架用于晶體與分子性質(zhì)預(yù)測

相關(guān)推薦