亚洲精品一区毛片,欧美成人激情免费播放,亚洲精品久久久久久电影,99只要精品,av不卡的网站在线免费观看

本期閱讀

文章信息

可解釋人工智能在工業(yè)智能診斷中的挑戰(zhàn)和機遇：歸因解釋

嚴如強, 周崢, 楊遠貴, 李亞松, 胡晨燁, 陶治宇, 趙志斌, 王詩彬, 陳雪峰

10.3901/JME.2024.12.021

引用本文：

嚴如強, 周崢, 楊遠貴, 李亞松, 胡晨燁, 陶治宇, 趙志斌, 王詩彬, 陳雪峰. 可解釋人工智能在工業(yè)智能診斷中的挑戰(zhàn)和機遇：歸因解釋[J]. 機械工程學報, 2024, 60(12): 21-40.

YAN Ruqiang, ZHOU Zheng, YANG Yuangui, LI Yasong, HU Chenye, TAO Zhiyu, ZHAO Zhibin, WANG Shibing, CHEN Xuefeng. Challenges and Opportunities of XAI in Industrial Intelligent Diagnosis: Attribution Interpretation[J]. Journal of Mechanical Engineering, 2024, 60(12): 21-40.

原文閱讀（摘要）

摘要：針對目前迅猛發(fā)展的工業(yè)智能診斷方法缺乏可解釋性開展綜述，指出模型無關(guān)的歸因解釋技術(shù)在工業(yè)智能診斷中的研究現(xiàn)狀和潛在研究方向。分析可解釋性技術(shù)的主要觀點和作用，針對工業(yè)智能診斷的兩個特性問題—非線性高維觀測、知識表征精度低，歸因解釋技術(shù)可以提供有效的前向理解智能模型邏輯結(jié)構(gòu)、反向優(yōu)化模型設(shè)計的工具。從注意力機制、顯著性分析、規(guī)則提取、代理模型四個方面，概述其主要觀點與作用，介紹現(xiàn)有方法的研究現(xiàn)狀，并總結(jié)分析不同歸因解釋技術(shù)的優(yōu)勢與不足。通過四個案例分析，闡述不同歸因解釋技術(shù)在智能診斷中的效果。最后展望歸因解釋技術(shù)在工業(yè)智能診斷中的研究方向，包括可解釋性量化、反饋模型設(shè)計、模型復雜性與可解釋性平衡、高維特征的歸因解釋，期望為可解釋人工智能技術(shù)在工業(yè)智能診斷中的發(fā)展提供方向建議。

關(guān)鍵詞：工業(yè)智能診斷；可解釋性；模型無關(guān)；歸因分析

中圖分類號：TH17

前言

人工智能(Artificial intelligence, AI)和深度學習(Deep learning, DL)在機械設(shè)備狀態(tài)監(jiān)測、強弱電設(shè)備管理、化工過程控制等研究領(lǐng)域中都取得了突破，并逐漸賦能融入到工業(yè)應(yīng)用中。雖然AI算法在各種模型設(shè)計(如卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)、圖網(wǎng)絡(luò)、Transformer等)、各種監(jiān)測數(shù)據(jù)(如高頻快變振動信號、低頻緩變狀態(tài)信號、視覺圖像等)、多種子任務(wù)(如異常檢測、故障識別、性能預(yù)測、維修決策等)等方面研究迅速，但由于算法缺乏可解釋性，智能診斷模型在風險敏感工業(yè)領(lǐng)域中的實際應(yīng)用常受到研究人員與運維人員的質(zhì)疑。因此，AI模型的弱解釋性已經(jīng)成為制約智能診斷模型工業(yè)應(yīng)用的瓶頸之一。

可解釋性對智能診斷模型的使用和設(shè)計都具有重要意義。在智能診斷模型的使用方面，解釋來源于工程可靠性的內(nèi)在需求，使用人員通過分析智能診斷模型的底層運行邏輯，對模型的決策結(jié)果進行可信度判讀，同時也增強了用戶對模型決策的信心。在智能診斷模型的設(shè)計方面，解釋可以反饋模型的設(shè)計過程，便于研究人員基于經(jīng)驗驗證模型的有效性，加快研究人員對智能診斷模型的調(diào)試優(yōu)化。通過使用與設(shè)計的反復迭代，智能診斷模型的性能與透明度將持續(xù)提升。

可解釋AI(eXplainable AI, XAI)研究是當前AI領(lǐng)域的重要議題。雖然不同研究背景的學者對AI中可解釋性的精確定義存在差異，但對XAI的理解認知是一致的，即可解釋性技術(shù)是作用在AI模型上、反饋信息給人的技術(shù)。從對模型作用的范圍來看，XAI可分為全局解釋與局部解釋，對于淺層的、維度不高的AI模型而言，其輸入空間與輸出空間中的映射關(guān)系較為清晰，可以通過全局解釋技術(shù)分析淺層AI模型的性質(zhì)，但對于深層的、過參數(shù)化的AI模型而言，高維輸入空間或高維特征空間與輸出空間的映射關(guān)系已經(jīng)難以用線性思維進行分析，通常使用局部解釋技術(shù)分析部分輸入空間或部分特征空間與輸出空間的邊際效益，這也是大部分可解釋性技術(shù)采用的方法，即對模型中的主要特征成分進行分析；從作用的時間維度來看，可以分為模型設(shè)計前作用和模型設(shè)計后作用(通常也被稱為主動解釋與被動解釋、事前解釋與事后解釋、模型相關(guān)與模型無關(guān))，由于XAI技術(shù)主要是通過引入外部知識源來判斷AI模型的決策邏輯是否滿足該外部知識源做出的一些假設(shè)或定義，通過檢驗AI模型對外部知識源的匹配程度，可以定性地評價模型的可解釋性。因此，是否在模型設(shè)計前進行作用取決于以下幾個要素：是否容易獲得外部知識源、該知識源是否容易被形式化到AI模型中、該知識源是否會對AI模型的性能產(chǎn)生負面影響，而上述因素的關(guān)鍵點在于外部知識源的獲取途徑與知識表征的準確性，對于易形式化、精確的知識，推薦使用主動解釋技術(shù)，即在設(shè)計前對模型進行作用，對于難形式化、模糊的知識，推薦使用被動解釋技術(shù)，即不對AI模型的單次設(shè)計進行干預(yù)。對于大多數(shù)為復雜系統(tǒng)的機械設(shè)備而言，監(jiān)測數(shù)據(jù)之外的知識源類型多樣，包括物理場分析、振動信號分析、專家系統(tǒng)等，但都存在高精度知識表征難度高的問題，因此，使用模型設(shè)計后作用的被動解釋技術(shù)，是一項有前景的輔助數(shù)據(jù)驅(qū)動診斷模型的可解釋性技術(shù)。按照上述理解，本文討論的問題可以界定到模型無關(guān)的、被動的、事后的XAI技術(shù)在工業(yè)故障診斷中的挑戰(zhàn)與應(yīng)用，本文將其簡述為歸因解釋技術(shù)。

當前智能診斷領(lǐng)域也越來越重視可解釋性技術(shù)的研究。通過文獻分析統(tǒng)計Web of Science中近十年智能診斷若干主題的發(fā)展趨勢，如圖1所示，雖然當前可解釋性技術(shù)在智能診斷中的研究占較小、仍處于起步階段，但利用多項式擬合發(fā)現(xiàn)，可解釋性診斷的關(guān)注量持續(xù)升高，越來越多的學者注意到可解釋智能診斷的重要性。當前的許多研究都是從主動解釋的角度開展可解釋智能診斷研究，即用外部知識源賦能智能模型，許多學者從物理機理方程、小波信號分析、稀疏編碼理論等角度開展了知識引導的可解釋智能模型構(gòu)建研究，利用故障診斷領(lǐng)域積累幾十年的學科研究賦能智能診斷，旨在提升智能模型泛化性的同時提升模型的可解釋性。但當前研究在歸因解釋方面的關(guān)注遠遠不足，有關(guān)研究相對發(fā)散、尚未形成熱點群體，針對這一問題，本文將對現(xiàn)有歸因解釋技術(shù)在工業(yè)智能診斷中的研究進行綜述，以期為其提供系統(tǒng)性梳理。本文是《可解釋人工智能在工業(yè)智能診斷中的挑戰(zhàn)和機遇》系列的下篇，旨在從特征分析的角度綜述歸因解釋技術(shù)在智能診斷中的應(yīng)用。

本文的邏輯結(jié)構(gòu)如下：首先，從歸因解釋的直覺觀點出發(fā)，分析工業(yè)智能診斷中的特性問題，作為后續(xù)工作綜述的基礎(chǔ)；然后，對現(xiàn)有的研究進展進行總結(jié)，以技術(shù)類別和解釋效果為依據(jù)將現(xiàn)有方法進行分類，分析每個分類的作用目標、作用效果以及優(yōu)缺點；隨后，給出了一個案例分析，說明在工業(yè)智能診斷中歸因解釋技術(shù)的樸素用法；最后，探討歸因解釋技術(shù)應(yīng)用到工業(yè)智能診斷中的挑戰(zhàn)，展望歸因可解釋智能診斷的潛在研究方向，重點從可解釋性的量化評估標準、可解釋性自動化反饋模型設(shè)計、模型復雜度與可解釋性的平衡、工業(yè)診斷中的高維問題四個方向展開。

診斷中歸因解釋技術(shù)的主要觀點

當前AI模型難解釋的原因之一在于人很難理解非線性高維空間中的映射關(guān)系，一些低維空間中的樸素直覺難以適用于高維空間，因此歸因解釋XAI技術(shù)的主要任務(wù)在于將這種非線性高維關(guān)系簡并為線性低維關(guān)系。對于工業(yè)智能診斷而言，非線性高維問題更加突出，監(jiān)測數(shù)據(jù)具有多尺度、跨尺度特性，對同臺設(shè)備可能同時存在高頻快變與低頻緩變兩種響應(yīng)頻率差異跨度大的監(jiān)測信號；此外，監(jiān)測數(shù)據(jù)類型多樣，例如聲音、振動、電信號等演化規(guī)律不同的數(shù)據(jù)。上述情況都使得工業(yè)智能診斷中的非線性高維問題越發(fā)突出。

另一個影響歸因解釋XAI技術(shù)在工業(yè)智能診斷中應(yīng)用的因素是復雜機械系統(tǒng)的知識表征精度低，專家知識大多只能定性地判斷機械系統(tǒng)的狀態(tài)。由于工業(yè)智能診斷大多面向的是運行中無法進行拆解檢查的復雜設(shè)備，間接測量已經(jīng)成為當前的主流測量技術(shù)，這導致數(shù)據(jù)驅(qū)動的智能模型難以描述機械設(shè)備內(nèi)部的健康狀態(tài)；而基于物理建模、信號分析等的知識模型雖然能捕捉復雜系統(tǒng)的主要演化規(guī)律，但在定量分析上存在短板。由于XAI技術(shù)依賴外部知識源評估AI模型的可解釋性，這促使了歸因解釋技術(shù)傾向于利用簡單的、抽象的知識源來反饋可解釋性。

針對上述工業(yè)智能診斷的特性問題，歸因解釋的主要觀點是運用人可以理解的方法來描述AI模型的內(nèi)部特征，尋找AI模型復雜度與可解釋性的權(quán)衡點，前向理解AI模型的邏輯結(jié)構(gòu)，反向優(yōu)化模型的設(shè)計。

基于注意力機制的歸因解釋

2.1 注意力機制的觀點與作用

人類視覺系統(tǒng)在觀察外界信息時，會自動聚焦于感興趣區(qū)域并抑制不相關(guān)的信息?；谏疃葘W習的注意力機制類似于人類視覺系統(tǒng)，可以從輸入信息中篩選出利于模型預(yù)測的特征并賦予其更高的權(quán)重。基于注意力機制的事后可解釋方法通過可視化注意力權(quán)重解釋信號特征對模型決策的貢獻。具體來講，在深度網(wǎng)絡(luò)中融入注意力機制，在訓練過程中通過反向傳播算法優(yōu)化網(wǎng)絡(luò)，注意力權(quán)重會自適應(yīng)為輸入信號的特征分配權(quán)重。注意力權(quán)重越高，則表明相應(yīng)特征對于模型決策貢獻越多，反之則表明貢獻越少。注意力機制是一種通用的思想和技術(shù)，其能與任何模型融合。在預(yù)測與健康管理領(lǐng)域，大量研究在模型中融入注意力機制以增強可解釋性，其中具有代表性的有時序注意力機制、相似注意力機制、通道注意力機制、空間注意力機制、自注意力機制和混合注意力機制等。盡管注意力機制變種很多，但其對特征加權(quán)的核心思想是相同的，區(qū)別主要在于注意力權(quán)重的計算方式。圖2展示了一種通用的注意力架構(gòu)，其中鍵矩陣 K 是網(wǎng)絡(luò)提取的信號特征表示，查詢向量 q 是與模型任務(wù)相關(guān)的向量或矩陣。值矩陣 V 是信號特征的另一種表示，其元素與鍵矩陣一一對應(yīng)。得分函數(shù) f (·) 是計算注意力得分 S 的關(guān)鍵方式，決定了注意力的優(yōu)化方向。注意力權(quán)重 A 可以通過分布函數(shù) h (·) 獲得，即 A = h (S) ，其中最常用的分布函數(shù)是SoftMax函數(shù)。將注意力權(quán)重與值矩陣進行相乘并求和即可獲得加權(quán)后的特征表示。

2.2 注意力機制方面的研究工作

通過更改得分函數(shù)f (·)，不同的注意力變種被設(shè)計用來提高模型可解釋性。時序注意力通過對網(wǎng)絡(luò)特征做線性投影獲得注意力權(quán)重，f (·)可以被寫為

式中， act(·) 為為激活函數(shù)， k 是鍵矩陣 K 中的元素，和是可學習的參數(shù)。時序注意力沒有引入查詢向量，且鍵矩陣K通常是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network，RNN)的輸出。例如，LI等對雙向長短時記憶(Long and short term memory，LSTM)網(wǎng) 絡(luò)的輸出應(yīng)用時序注意力，輔助深度網(wǎng)絡(luò)定位故障信息段，可視化的注意力權(quán)重解釋了模型的決策機制。類似的一些研究更改了RNN網(wǎng)絡(luò)的類型應(yīng)用時序注意力，所設(shè)計的網(wǎng)絡(luò)同樣具備可解釋性。對于相似注意力，得分函數(shù)被定義為

式中， Similarity(·) 是是計算兩個向量相似性的函數(shù)，查詢向量 q 存在多種形式。 YANG等對門控循環(huán)單元的輸出應(yīng)用相似注意力，計算相似性的函數(shù)為，其中 k 是GRU網(wǎng)絡(luò)的輸出。試驗結(jié)果表明對于軸承原始振動信號輸入，高注意力權(quán)重能對應(yīng)故障沖擊段，對于包絡(luò)譜輸入，高注意力權(quán)重對應(yīng)故障頻率段，模型決策邏輯相對透明。上述兩種注意力通常與RNN結(jié)合，可以聚焦于信號時序流中的關(guān)鍵特征并增強可解釋性。

通道注意力、空間注意力和混合注意力通常與卷積神經(jīng)網(wǎng)絡(luò)(Convolution neural network，CNN)相結(jié)合。對于CNN提取的多通道特征，通道注意力旨在對每個通道特征進行加權(quán)，而空間注意力對每個通道的空間特征進行加權(quán)，混合注意力機制則是這兩種注意力機制的融合。對于這三種注意力機制，得分函數(shù)f (·)存在多種形式。既可以根據(jù)輸入信號特點引入查詢向量計算注意力權(quán)重，也可以直接結(jié)合非線性層或者池化層對 K 進行投影獲得注意力權(quán)重。 SHI等結(jié)合多尺度卷積和空間注意力設(shè)計網(wǎng)絡(luò)，并可視化注意力權(quán)重直觀展現(xiàn)多尺度特征的提取過程，提高網(wǎng)絡(luò)的可解釋性。 LIU等利用通道注意力實現(xiàn)多通道之間的信息交互，使用反向梯度可視化任意層注意力權(quán)重，發(fā)現(xiàn)注意力機制重點關(guān)注時域信號的脈沖分量，擁有很好的可解釋性。 WANG等結(jié)合一維CNN系統(tǒng)地探討了上述三種注意力機制在軸承故障診斷領(lǐng)域的可解釋性。通過將注意力權(quán)重向量與輸入信號長度對齊，即使在噪聲干擾下，注意力仍然能聚焦于反映故障類型的判別特征。試驗同樣證明，混合注意力的診斷效果和可解釋性優(yōu)于通道注意力和空間注意力。 FAN等針對離心機故障特點設(shè)計一種新的混合注意力機制，可視化方式與診斷趨勢相結(jié)合展現(xiàn)權(quán)重的校準過程，確定影響模型診斷的因素進而提高可解釋性。

自注意力機制通過計算輸入特征之間的相關(guān)性獲得注意力權(quán)重，進而建模輸入序列的內(nèi)部關(guān)聯(lián)關(guān)系。得分函數(shù)可以寫為

式中， d k 是鍵矩陣的維度。對于自注意力機制，圖2中的鍵矩陣、查詢矩陣和值矩陣是輸入特征的三種不同表示，通常由線形層投影獲得。使用自注意力機制增強網(wǎng)絡(luò)可解釋性的代表模型是Transformer網(wǎng)絡(luò)，其中多頭機制經(jīng)常被引入提高網(wǎng)絡(luò)泛化性。房佳姝等提出一種基于Transformer編碼器的電力系統(tǒng)多階段暫態(tài)穩(wěn)定評估方法，通過自注意力機制實現(xiàn)全局特征的信息交互，高注意權(quán)重能夠聚焦于反映電力系統(tǒng)狀態(tài)的關(guān)鍵特征，提高了模型的決策透明度。 BI等提出變分Transformer模型識別化工過程異常，網(wǎng)絡(luò)通過分配高注意力權(quán)重來關(guān)注異常變量，以獲得更好的可解釋性。 TANG等提出一種名為Signal-Transformer的模型對旋轉(zhuǎn)機械故障進行診斷。具體而言，模型將一維振動信號分割為多個片段并使用自注意力機制建模片段之間的關(guān)聯(lián)關(guān)系。除此之外，他們提出了一種適用于振動信號的注意力可視化方法，通過設(shè)定閾值并將小于閾值的注意力權(quán)重置零。該可視化方法丟棄了部分低權(quán)重，可以更直觀地反映模型的關(guān)注重點，提高了模型可解釋性。 LI等針對旋轉(zhuǎn)機械振動信號故障特點提出注意力權(quán)重應(yīng)該服從稀疏分布的觀點，對Transformer編碼器中的注意力權(quán)重添加稀疏約束，事后的注意力可視化結(jié)果表明注意力權(quán)重可以集中關(guān)注信號的故障脈沖段，相比原始Transformer模型擁有更好的解釋能力。 LI等使用自注意力機制與多種類型網(wǎng)絡(luò)結(jié)合，解釋多變量時間序列在過程監(jiān)控中的貢獻。除上述總結(jié)的工作外，仍然有一些工作針對應(yīng)用對象特點設(shè)計注意力網(wǎng) 絡(luò)，在網(wǎng)絡(luò)可解釋性方面擁有不錯的效果。

除了用注意力機制進行可視化外，有些研究認為可以對模型提取的特征進行可視化，進而解釋模型內(nèi)在決策邏輯。降維技術(shù)可以將高維特征表示投影到低維空間中，經(jīng)常被用作特征分析。例如，BRUSA等使用隨機主成分分析技術(shù)構(gòu)建了一個可解釋的特征空間，通過該空間分解數(shù)據(jù)解釋特征對模型結(jié)果的貢獻。ARELLANO-ESPITIA等結(jié)合CNN和堆疊自編碼器模型構(gòu)建網(wǎng)絡(luò)，隱層特征的降維可視化效果表明模型是基于系統(tǒng)自身特征的學習，而不是基于偏見和隨意性，進而提高可解釋性。MIRZAEI等對提取的特征進行降維從而解釋LSTM網(wǎng)絡(luò)和門控循環(huán)單元(Gated recurrent unit，GRU)網(wǎng)絡(luò)的學習機制。COSTA等設(shè)計網(wǎng)絡(luò)壓縮渦扇發(fā)動機全壽命周期數(shù)據(jù)到一個潛在特征空間，可視化結(jié)果展示了系統(tǒng)連續(xù)的退化軌跡，解釋了模型預(yù)測剩余壽命的邏輯。聚類算法也經(jīng)常被用于解釋模型，如ZHANG等采用模糊C-均值聚類算法處理CNN提取的特征并進行軸承故障分類，聚類效果可以提供可解釋性。同時，也有一些學者設(shè)計特定的網(wǎng)絡(luò)并可視化相關(guān)特征來增強可解釋性。YANG等設(shè)計圖神經(jīng)網(wǎng)絡(luò)進行軸承壽命預(yù)測，通過不同階段信號圖結(jié)構(gòu)的可視化解釋退化演變的過程，展現(xiàn)模型預(yù)測邏輯。ZHANG等改進Shapelet用于軸承故障診斷，每種類型軸承的局部特征可視化的形狀與故障產(chǎn)生的原因存在相關(guān)性，例如外圈故障的特征形狀會出現(xiàn)雙脈沖結(jié)構(gòu)，正是由滾動體經(jīng)過斷層形成的。需要指出的是，這些方法相較于注意力機制的可解釋性較弱，仍有很大的研究空間。

2.3 注意力機制的優(yōu)勢與不足

基于注意力機制的事后可解釋方法是簡單易懂的，只需將學習到的注意力權(quán)重映射到信號生成熱圖即可為決策者提供可解釋性。除此之外，注意力機制增強關(guān)鍵特征并抑制冗余特征的特性使其可以在不增加網(wǎng)絡(luò)參數(shù)的情況下顯著提升模型的預(yù)測表現(xiàn)。同時需要指出的是，注意力權(quán)重是否可解釋仍然存在爭論，高權(quán)重是否就代表模型對相應(yīng)特征關(guān)注度高需要結(jié)合具體對象和問題進行討論，這仍然需要進一步研究。

基于顯著性分析的歸因解釋

3.1 顯著性分析的觀點與作用

顯著性映射又稱為顯著性區(qū)域檢測，是近年來計算機視覺與圖像處理領(lǐng)域中的研究熱點之一，其主要目的是讓計算機如同人眼一樣迅速判斷圖像中的顯著性區(qū)域。顯著性映射類方法是智能診斷領(lǐng)域中應(yīng)用的最多的一種事后可解釋方法。在智能診斷領(lǐng)域中，檢測智能網(wǎng)絡(luò)輸入信號中的顯著性區(qū)域意味著觀察定位出作為判斷故障是否存在的故障特征區(qū)，故也可稱為故障區(qū)域定位。故障區(qū)域定位的事后可解釋方法依賴于輸入信號是否已經(jīng)存在較為明顯的故障特征區(qū)，如時域沖擊、頻域特征譜線與時頻圖特征區(qū)域等。因此，其輸入往往是時域沖擊信號、頻譜圖與短時傅里葉變換(Short time Fourier transform，STFT)圖。這類方法中最為常用的為類激活映射(Class activation mapping，CAM)方法與逐層相關(guān)傳播(Layer-wise relevance propagation，LRP)方法。

3.2 顯著性分析方面的研究工作

3.2.1 類激活映射

CAM可以完美的結(jié)合到CNN中，因此其是智能診斷領(lǐng)域中常用的一種事后可解釋方法。如圖3所示，CAM可以通過卷積層激活映射的線性加權(quán)組合，給單個輸入提供熱力圖可視化的解釋。其可以表示為

式中， ReLU () 為非線性激活函數(shù)， c 為某個感興趣的類，表示給定的第 l ? 1 層的第 k 個通道激活圖，激活圖權(quán)重可以表示為

式中，表示卷積層通道激活圖經(jīng)過全局平均池化層后得到的權(quán)重。

SUN等使用CNN與CAM對水泵運行視頻數(shù)據(jù)圖像進行診斷，類激活熱圖成功定位出松動故障區(qū)域。LIU等將多元互信息與CAM結(jié)合，診斷了液氣分離器，并使用降維可視化的方法提供可解釋性。CHEN等建立了圖神經(jīng)網(wǎng)絡(luò)CAM模型，通過高速列車整流器硬件試驗驗證其診斷能力與可解釋性。雖然CAM方法有以上的應(yīng)用，但CAM對卷積體系結(jié)構(gòu)是非常敏感的，需要一個全局池化層來跟隨感興趣的卷積層。Grad-CAM及其變體則可以完美解決這個問題，其用類置信度關(guān)于激活圖的梯度作為激活圖權(quán)重，即

式中， GP ( · ) 表示全局池化算子。 Grad-CAM可以對任意網(wǎng)絡(luò)卷積層生成類激活熱圖，因此其為最常用的一種。 YU等將時域振動數(shù)據(jù)直接輸入ResNet(Residual network，ResNet)進行訓練，并使用Grad-CAM可視化解釋診斷結(jié)果。

CHEN等利用STFT將振動信號轉(zhuǎn)化為圖像，然后使用Grad-CAM生成模型的注意力，解釋了診斷結(jié)果。BRITO等利用仿真合成數(shù)據(jù)進行遷移學習的訓練，并通過頻譜數(shù)據(jù)與Grad-CAM解釋了診斷結(jié)果。此外，還有其他方法也在激活圖權(quán)重上進行修改。CHEN等使用注意力機制與膠囊網(wǎng)絡(luò)進行訓練，并基于Grad-CAM與Score-CAM改進了激活圖權(quán)重得到梯度分數(shù)激活映射，解釋了故障時域信號上的注意力分布。SUN等使用頻率切片小波變換輸入到CNN中訓練，在Grad-CAM++上改進得到平滑全局漸變CAM，增強了模型抗噪聲能力并可對診斷結(jié)果進行解釋。LI等改進了使用絕對值運算將Grad-CAM的激活圖權(quán)重改進為絕對梯度類激活映射，使暖通空調(diào)故障診斷標準可視化并達到模型可解釋。除了以上數(shù)據(jù)輸入類型外，還有使用包絡(luò)譜、基于模糊的能量模式圖像、聲成像數(shù)據(jù)等作為模型輸入訓練數(shù)據(jù)，并使用類CAM方法達到模型可解釋的目的。

類激活映射的方法可以直接反應(yīng)模型對輸入中不同區(qū)域的關(guān)注程度，是一種簡單而直觀的可解釋方法。其通常與卷積神經(jīng)網(wǎng)絡(luò)一起應(yīng)用，提供的圖像級別的解釋，有助于理解網(wǎng)絡(luò)對不同類別的判斷依據(jù)，幫助對比模型優(yōu)劣，發(fā)現(xiàn)結(jié)構(gòu)問題，選擇或改進模型，從而得到一個更合適的網(wǎng)絡(luò)結(jié)構(gòu)。此外，CAM方法的計算效率高，適用于工業(yè)場景中大規(guī)模數(shù)據(jù)分類任務(wù)。然而，CAM并不直接提供訓練后模型的可信度與置信度度量，僅僅是一種解釋模型行為的可視化工具。

3.2.2 逐層相關(guān)傳播

LRP從模型輸出開始反向傳播到模型輸入，用于探討初始像素級輸入特征對最終預(yù)測結(jié)果的影響，由初始像素級輸入特征與預(yù)測結(jié)果的相關(guān)性來表征。一個神經(jīng)網(wǎng)絡(luò)可以表示為

式中，xj 是神經(jīng)元j的輸出，g為非線性激活函數(shù)，wij為神經(jīng)元i到神經(jīng)元j的連接權(quán)重，b為偏差。

如圖4右側(cè)部分所示，對于LRP來說，第一層是輸出，最后一層是輸入。因此，每一層各個維度(某個維度就是某個神經(jīng)元)的相關(guān)性之和守恒，可以表示為

式中，用于衡量像素級輸入對預(yù)測結(jié)果的影響。 f (

) 為對輸入 x 的預(yù)測結(jié)果。 LRP傳播機制如圖5所示，圖中兩個式子定義為

式(9)表示第 l +1 層神經(jīng)元的相關(guān)性，可將該相關(guān)性分解到第 l 層的所有神經(jīng)元上。式(10) 表示第 l 層神經(jīng)元 i 的相關(guān)性，其可以理解為，第 l +1 層中所有神經(jīng)元的相關(guān)性分解后再進行求和。

實際應(yīng)用中，LRP有兩種改進形式，分別是ε-rule(式(11))和β-rule(式(12))，對于全連接層和卷積層，前一層的相關(guān)性得分計算方式為

式中，為神經(jīng)元 i 乘以神經(jīng)元i與神經(jīng)元 j 之間的權(quán)重，為上一層所有神經(jīng)元到神經(jīng)元 j 的向量，式中的“+”與“-”分別表示正值部分與負值部分，即β-rule將正負加權(quán)激活分開進行處理。

LRP可以通過泰勒展開化簡后應(yīng)用于非線性神經(jīng)網(wǎng)絡(luò)中，通過ε-rule和β-rule進行逐層相關(guān)性的求解，最終計算出第一層的。 LRP類方法也通常將常用時頻分析方法(如小波變換、STFT等)得到的時頻圖作為神經(jīng)網(wǎng)絡(luò)的輸入，量化輸入對深度網(wǎng)絡(luò)輸出的重要性。

LRP常用于CNN后進行分析。GREZMAK等將齒輪箱振動信號經(jīng)過小波變換得到時頻圖像后用DCNN進行分類訓練，并通過LRP度量時頻圖對故障決策的貢獻，很好地解釋了網(wǎng)絡(luò)的分類決策。此外，GREZMAK等進一步使用感應(yīng)電機振動信號數(shù)據(jù)集驗證了LRP類方法的有效性。HAN等將電機振動數(shù)據(jù)頻譜或時頻圖輸入Le-Net進行訓練，并結(jié)合皮爾遜相關(guān)系數(shù)，克服了未訓練時難以使用LRP進行可解釋故障診斷的困難，LRP結(jié)果也很好解釋了訓練決策。

也有作者嘗試將LRP與RNN類方法應(yīng)用結(jié)合。WU等應(yīng)用LRP技術(shù)分析了LSTM網(wǎng)絡(luò)模型，通過軸承試驗驗證了LRP結(jié)果可以提供模型從輸入數(shù)據(jù)中學習到的“見解”。SHI結(jié)合LRP方法設(shè)計了一種可解釋的自適應(yīng)稀疏門結(jié)構(gòu)，提高了軸承智能診斷正確率與有效性。LI等提出一種解釋可靠的特征級時空分層相關(guān)傳播方法，從時間與空間維度獲取多個輸入特征與建筑能耗預(yù)測結(jié)果的相關(guān)性，很好的解釋了LSTM的能耗預(yù)測結(jié)果。

此外，還有作者用LRP分析自編碼器以及完成其他學習任務(wù)的。AGARWAL等使用可解釋的LRP來度量輸入變量的相關(guān)性，丟棄無關(guān)輸入變量，使得模型使用更少樣本量也可以提高模型精度。ZHANG等使用尋優(yōu)方法找到最優(yōu)的自編碼器進行訓練，并將LRP與功率譜分析相結(jié)合解釋診斷結(jié)果。KIM等提出將LRP可解釋方法融入領(lǐng)域泛化框架中，將STFT時頻圖輸入框架中進行訓練，實現(xiàn)了單源域泛化和域解釋。WANG等基于可解釋LRP方法構(gòu)建可解釋性指標，并基于此構(gòu)造了一個可解釋自適應(yīng)稀疏深度網(wǎng)絡(luò)與網(wǎng)絡(luò)的關(guān)聯(lián)圖，然后構(gòu)建了多級聯(lián)邦網(wǎng)絡(luò)，同時解決了網(wǎng)絡(luò)可解釋與數(shù)據(jù)隱私的問題。

逐層相關(guān)傳播方法通過引入總體相關(guān)性的約束，將分類輸出分解為特征和像素的相關(guān)性得分的總和，最終把相關(guān)性可視化為熱圖來衡量輸入像素對預(yù)測的貢獻。逐層相關(guān)傳播方法不像類激活映射方法大多數(shù)情況下與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合，其是模型無關(guān)的，可以應(yīng)用于各種類型的深度學習模型，如卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、自編碼器等，在解釋模型的同時也可以幫助改進和優(yōu)化模型。

3.3 顯著性分析的優(yōu)勢與不足

從以上文獻回顧中可以看出，CAM與LRP目標均為獲取網(wǎng)絡(luò)所關(guān)注的顯著性區(qū)域并可視化出來，供人類專家理解與解釋網(wǎng)絡(luò)決策過程。這類方法思路簡單，易于擴展到現(xiàn)有神經(jīng)網(wǎng)絡(luò)模型中，結(jié)果直觀也容易理解，實現(xiàn)事后可解釋，并在某些輸入圖像中可以直接實現(xiàn)故障定位。然而，此類方法要求輸入數(shù)據(jù)中存在人類專家可以判斷出的顯著性特征，而這依賴于已有的先驗可解釋的特征工程，如時域沖擊、頻域譜線、時頻故障區(qū)域，以及其他領(lǐng)域?qū)＜夜收吓卸ǚ椒?。比如，當微弱故障信號中不存在時域沖擊等明顯故障特征時，很難直接從原始的時間序列信號中挖掘出人類專家可理解的顯著性特征，雖然依然可以得到顯著性區(qū)域，但顯著性區(qū)域不一定與反應(yīng)微弱故障特征的時域沖擊、時頻譜線相對應(yīng)。由于顯著性分析方法是在計算機視覺領(lǐng)域中借鑒過來的，本身對圖像任務(wù)更具有優(yōu)勢，因此，此類方法適用于可以將工業(yè)數(shù)據(jù)轉(zhuǎn)換為相應(yīng)可解釋圖譜作為診斷依據(jù)的場景之中。

基于規(guī)則提取的歸因解釋

4.1 規(guī)則提取的觀點與作用

數(shù)據(jù)驅(qū)動的智能模型(如深度神經(jīng)網(wǎng)絡(luò))在工業(yè)故障診斷中能夠取得高精度和良好性能，然而，其復雜的內(nèi)部結(jié)構(gòu)難以解釋。為了使工業(yè)系統(tǒng)使用者理解和信任“黑箱”模型，基于規(guī)則提取的模型可解釋方法旨在以符號化語言揭示模型中的隱含知識，并解釋智能網(wǎng)絡(luò)模型做出決策的具體過程。具體而言，它以已訓練的復雜模型為基礎(chǔ)，生成可解釋的符號描述或具有可解釋結(jié)構(gòu)的簡單模型(如決策樹)，使其具有與原始模型相近的決策性能，同時易于使用者理解。此外，所提取的符號化規(guī)則可運用于系統(tǒng)運行追溯、容錯控制、系統(tǒng)可靠性和敏感性分析等方面。

所謂規(guī)則，即一種符號化語言，其表示形式易于使用者理解。在現(xiàn)有從智能模型中提取規(guī)則的文獻中，規(guī)則的表示形式主要分為。

(1) if-then規(guī)則：假設(shè)輸入 X 滿足所給定條件 C ( i )，則輸出 Y 將標記為特定類別 y ( i ) ，如式(13)所示

(2) 部分集規(guī)則：當輸入滿足元素個數(shù)為N的條件集合中的M個條件時，布爾表達式Z成立，如式(14)所示。在一定條件下，其形式可轉(zhuǎn)換為if-then規(guī)則

(3) 決策樹規(guī)則：在機器學習和數(shù)據(jù)挖掘中，樹結(jié)構(gòu)被廣泛運用于分類和回歸問題。決策樹采用“白盒”系統(tǒng)，其結(jié)構(gòu)自然具備可解釋性。因此，可利用決策樹規(guī)則提取模型中的隱含知識。一個簡單的決策樹規(guī)則示例如圖6所示，其表示基于方均根值(Root mean square，RMS)和頻譜特征將轉(zhuǎn)子狀態(tài)劃分為三類的決策過程。

利用符號化規(guī)則解釋智能模型的關(guān)鍵在于從已訓練的網(wǎng)絡(luò)中提取規(guī)則。目前，運用于工業(yè)智能故障診斷系統(tǒng)的規(guī)則提取方法尚未取得廣泛研究。根據(jù)所提取規(guī)則是否涉及到具體神經(jīng)元，可將規(guī)則提取方法劃分為結(jié)構(gòu)性規(guī)則提取和功能性規(guī)則提取。

4.2 規(guī)則提取方面的研究工作

4.2.1 結(jié)構(gòu)性規(guī)則提取

結(jié)構(gòu)性規(guī)則提取關(guān)注訓練后神經(jīng)網(wǎng)絡(luò)的具體結(jié)構(gòu)，將整個神經(jīng)網(wǎng)絡(luò)分解為若干神經(jīng)層，并提取各層神經(jīng)元和其后一層神經(jīng)元映射間的符號化規(guī)則描述。最后，對各層間所提取的規(guī)則進行整合，用于表示整個神經(jīng)網(wǎng)絡(luò)的綜合運算邏輯。結(jié)構(gòu)性規(guī)則提取的整體流程如圖7所示。其中，深色的神經(jīng)元和權(quán)重連接表示其處于激活狀態(tài)。輸入層到隱藏層以及隱藏層到輸出層的規(guī)則集合可從激活的神經(jīng)元和權(quán)重連接中提取，融合兩個規(guī)則集合表示整體網(wǎng)絡(luò)。

結(jié)構(gòu)性規(guī)則提取方法通常根據(jù)神經(jīng)元的激活強度、權(quán)重大小或梯度，從多層感知機、深度置信網(wǎng)絡(luò)、極限學習機等機器學習模型中提取模糊規(guī)則集。在工業(yè)故障診斷中，WONG等提出了一種模糊極限學習機模型，將模糊隸屬函數(shù)、規(guī)則組合矩陣和任意項矩陣嵌入極限學習機中的隱藏層。模糊if-then規(guī)則可通過規(guī)則組合矩陣制定，并采用一種任意項技術(shù)最小化規(guī)則集中輸入屬性的數(shù)量。最后，根據(jù)極限學習機的輸出權(quán)重可以形成每一項規(guī)則的目標類別和置信因子。所提取的規(guī)則集在真實水循環(huán)系統(tǒng)的狀態(tài)監(jiān)測問題上取得了91.22%的精度，在不影響精度的條件下產(chǎn)生了可解釋的規(guī)則。YU 等將置信度和分類規(guī)則集嵌入深度置信網(wǎng)絡(luò)，并提出了一種分層知識提取算法，學習受限玻爾茲曼機的特征表示。此外，從數(shù)據(jù)中提取的規(guī)則進一步嵌入網(wǎng)絡(luò)的分類層，從而構(gòu)建振動信號與齒輪箱故障間的復雜映射。WU等針對工業(yè)機器性能退化監(jiān)測問題，提出了一種基于聚類的隱馬爾可夫模型來學習各個關(guān)鍵性能指標與剩余使用壽命之間的映射，并建立了一組可解釋的語義規(guī)則集來分析性能下降的根本原因。方法在航空發(fā)動機數(shù)據(jù)集PHM08上進行了試驗，結(jié)果表明模型在保持高預(yù)測精度下能夠推理出整體性能劣化的根本原因。STEENWINCKEL等結(jié)合知識驅(qū)動和數(shù)據(jù)驅(qū)動的異常檢測模型，以增強模型的表示能力。同時，根據(jù)檢測到的故障或異常反饋，知識驅(qū)動方法利用語義規(guī)則挖掘，將生成新的規(guī)則，用于知識驅(qū)動檢測模型的自動更新。

4.2.2 功能性規(guī)則提取

不同于結(jié)構(gòu)性規(guī)則提取方法，功能性規(guī)則提取方法并不對神經(jīng)網(wǎng)絡(luò)的具體層級結(jié)構(gòu)進行規(guī)則挖掘和綜合規(guī)則整合，而是將神經(jīng)網(wǎng)絡(luò)看作一個整體，更注重所提取的規(guī)則關(guān)于原始神經(jīng)網(wǎng)絡(luò)的復現(xiàn)能力，即提取的規(guī)則在功能上可以替代原始網(wǎng)絡(luò)。具體而言，將一個實例輸入已訓練的神經(jīng)網(wǎng)絡(luò)，將輸出該實例的判別結(jié)果。此判別結(jié)果在一定程度上反映了模型在輸入空間中該實例點的響應(yīng)特性。若輸入實例充分、均勻地分布于整個輸入空間，則從輸入實例-判別結(jié)果集合中提取的規(guī)則能夠近似描述原始網(wǎng)絡(luò)的功能。

南京航空航天大學陳果等深入研究了基于神經(jīng)網(wǎng)絡(luò)的功能性規(guī)則提取方法，并在航空發(fā)動機上提取了多類故障診斷知識。文獻利用首先利用粗糙集理論實現(xiàn)連續(xù)屬性的離散化，然后結(jié)合遺傳算法訓練結(jié)構(gòu)自適應(yīng)神經(jīng)網(wǎng)絡(luò)模型，最后對訓練后的網(wǎng)絡(luò)按屬性數(shù)目由少到多的方式進行分層，在每層中窮舉組合以提取規(guī)則。方法在航空發(fā)動機轉(zhuǎn)子碰磨故障樣本中有效提取了碰磨故障診斷規(guī)則。在此基礎(chǔ)上，文獻在多功能轉(zhuǎn)子試驗臺模擬了不平衡、油膜渦動和碰磨等多類故障樣本，從中提取了各類故障的可解釋診斷規(guī)則。文獻采集了實際航空發(fā)動機油樣光譜樣本，并利用功能性規(guī)則提取方法獲取發(fā)動機磨損故障的診斷規(guī)則，提高了神經(jīng)網(wǎng)絡(luò)的知識挖掘和推理解釋能力。此外，BHALLA等將輸入空間劃分為若干子區(qū)域，對每個子區(qū)域生成一個線性函數(shù)，使得該函數(shù)逼近隱層單元激活函數(shù)，最終獲取簡單和易于解釋的分段線性規(guī)則集合。所提取的規(guī)則在變壓器早期故障診斷案例中取得了與現(xiàn)有診斷標準相當?shù)脑\斷精度。

4.3 規(guī)則提取的優(yōu)勢與不足

規(guī)則提取方法將嵌入在訓練后的神經(jīng)網(wǎng)絡(luò)模型中的知識轉(zhuǎn)換為簡明的符號化規(guī)則，一方面幫助系統(tǒng)用戶明確理解網(wǎng)絡(luò)結(jié)構(gòu)，便于使用者信任模型。另一方面，提取的規(guī)則簡化了深度模型的復雜推理過程，避免模型過擬合于特定場景下的訓練數(shù)據(jù)，有利于提高模型的泛化能力。然而，規(guī)則提取過程復雜多樣，目前已有的規(guī)則提取算法主要應(yīng)用在淺層模型，難以提取深度網(wǎng)絡(luò)的符號化規(guī)則。若將規(guī)則提取方法簡單應(yīng)用于擁有若干隱藏層的深度神經(jīng)網(wǎng)絡(luò)而不施加任何約束條件，將消耗大量時間，且所提取的規(guī)則集仍具有復雜的因果關(guān)系，從而失去了規(guī)則的可解釋性。

基于代理模型的歸因解釋

5.1 代理模型的觀點與作用

為了將深度AI模型中的非線性高維特征空間簡并到線性低維空間中進行理解，代理模型提出了一種逼近的觀點。神經(jīng)網(wǎng)絡(luò)得益于其萬能近似能力，理論上能以任意精度逼近兩個空間上的函數(shù)或算子，代理模型則利用白箱模型(如線性模型、決策樹等淺層模型)再次逼近神經(jīng)網(wǎng)絡(luò)的函數(shù)關(guān)系，實現(xiàn)對原函數(shù)關(guān)系的近似的全局近似或局部近似，邏輯關(guān)系如圖8所示?；谶@種“代理模型近似黑箱模型，黑箱模型近似真實函數(shù)”的逼近觀點，代理模型可以充分利用現(xiàn)有的可解釋機器學習模型，實現(xiàn)對黑箱模型中特征的歸因分析。

當前常用的代理模型有兩類：模型無關(guān)的局部可解釋模型(Local interpretable model-agnostic explanations，LIME)和沙普利加性解釋模型(Shapley additive explanations，SHAP)，這兩種方法從不同的角度建立代理模型。對于LIME方法而言，首先會預(yù)定義一個可解釋的函數(shù)空間(如線性模型、決策樹等)，然后從原數(shù)據(jù)集中挑選一個樣本并對該樣本進行擴充得到攝動分布，最后在該攝動分布的基礎(chǔ)上，從預(yù)定義的函數(shù)空間中選擇出既具有良好逼近性質(zhì)又復雜度低的近似代理模型，其中，局部解釋的含義是對某個樣本的攝動鄰域分布找到近似線性模型，而不是對全體樣本下的黑箱模型尋找其近似模型。LIME的公式表達如下

式中， f : X→ Y 是在全體數(shù)據(jù)集上訓練的黑箱模型， g ∈ G 是可解釋函數(shù)空間 G 中的函數(shù)實例， x 是輸入樣本空間 X 中的一個樣本，是對樣本 x 進行數(shù)據(jù)擴充后得到的攝動分布，衡量了在攝動樣本分布上 g 與 f 的泛函距離，衡量了函數(shù)g的復雜度，為最終構(gòu)建的代理模型。

對于SHAP而言，構(gòu)建了一個特征歸因分析的加性模型，其中 x 是一個樣本， a (

) 是一個加性的可解釋模型(該值等于黑箱模型 f 對樣本 x 的預(yù)測值)，是黑箱模型的基線(通常為所有樣本的預(yù)測值的均值)，， L 是特征向量的長度， l 是特定特征的指標，是特征歸因值，表示一個特征是否被觀測，若表示被觀測，表示不被觀測，該公式可以理解為“一個樣本中各個特征的SHAP值加上基線值等于該樣本的黑箱預(yù)測值 ”。 SHAP的最大優(yōu)勢是能反映出每一個樣本中的特征的影響力，而且還能表達出影響的正負性。

SHAP方法利用沙普利值計算對特征的歸因值，定義了在局部樣本集上的特征子集的邊際貢獻值，公式如下

式中，是所有輸入特征的集合，是的子集，表示去掉特征 l 后的剩余特征集合，表示黑箱模型在輸入特征子集為時的預(yù)測值，可以看出，求某個樣本的某個特征 i 的SHAP值需要遍歷該樣本的所有特征子集的邊際貢獻，再求均值。

5.2 代理模型方面的研究工作

在LIME方法方面，2020年BAPTISTA等利用LIME方法對用于剩余壽命預(yù)測的GRU模型進行局部解釋，首先利用含標簽數(shù)據(jù)對GRU模型進行監(jiān)督訓練，從而得到GRU模型的有效預(yù)測值，將該預(yù)測值與輸入數(shù)據(jù)成對輸入到LIME的生成框架中，利用LIME方法在預(yù)定義的線性函數(shù)空間中選擇出既具有良好逼近性質(zhì)又復雜度低的近似代理模型，最后分析該線性模型的特征重要性。2020年SERRADILLA等結(jié)合ELI5的全局解釋能力和LIME的局部解釋能力，對用于剩余壽命預(yù)測的XGBoost、隨機森林等回歸器模型進行歸因分析，其中ELI5通過對樣本特征進行置換，在全體樣本的情況下對特征重要性進行排序，而LIME通過對局部樣本構(gòu)建攝動鄰域分布，學習出線性代理模型。該工作引申于Zadeh不相容原理，即隨著系統(tǒng)復雜性的增加，對其行為的建模精度與理解程度會逐漸下降，甚至會相互排斥。2022年SANAKKAYALA等利用STFT對軸承振動信號進行預(yù)處理，輸入到CNN中進行故障預(yù)測，并用LIME方法分析輸入信號頻譜圖中的關(guān)鍵故障成分。2022年，PROTOPAPADAKIS等在N-CMAPSS高維數(shù)據(jù)集上驗證了LIME方法的可行性，試驗結(jié)果表明，LIME方法在高維數(shù)據(jù)問題上的可解釋性依舊是困難的，即線性模型難以近似高維數(shù)據(jù)中隱藏的強非線性。

在SHAP方法方面，2022年GUPTA等利用SHAP方法對基于自編碼器的異常檢測模型進行歸因分析，其中，自編碼器的輸入為監(jiān)測變量，輸出為重構(gòu)監(jiān)測變量，通過計算重構(gòu)誤差判斷是否發(fā)生異常，在此基礎(chǔ)上，計算輸出重構(gòu)變量對重構(gòu)誤差的Shapely值，從而分析監(jiān)測變量對機械健康狀態(tài)的邊際貢獻。2022年MARTAKIS等將SHAP方法應(yīng)用于橋梁結(jié)構(gòu)健康監(jiān)測的一分類SVM的歸因分析，首先利用無標簽數(shù)據(jù)訓練SVM一分類模型實現(xiàn)異常檢測，然后利用XGBoost模型近似SVM的預(yù)測值得到含標簽數(shù)據(jù)對，再用SHAP方法對XGboost的決策進行特征重要性排序，并在Shapely值的基礎(chǔ)上計算模型決策軌跡，增強SHAP的解釋能力。2022年BAPTISTA等根據(jù)剩余壽命預(yù)測問題的時序特性，將SHAP方法與預(yù)后問題中常見的單調(diào)性、趨勢性、可預(yù)測性(方差)等性質(zhì)結(jié)合，分析了三種黑箱模型的特征Shapley值在壽命周期的演化規(guī)律，模型復雜度最低的線性模型具有最差的預(yù)測能力但同時具有最單調(diào)的Shapley值軌跡，驗證了可解釋診斷中的一個常見假設(shè)，即黑箱模型的復雜度是影響其可解釋性的重要因素。2021年NOR等將不確定性量化和SHAP方法結(jié)合應(yīng)用于剩余壽命預(yù)測問題中，在實現(xiàn)預(yù)測值分布估計的同時，對特征重要性進行歸因分析，并在的擴展工作中增加了一致性和局部準確率兩個指標評估Shapely值的解釋性。2022年MOVSESSIAN等在風電葉片損傷檢測問題上，利用SHAP方法分析環(huán)境與操作變量對損傷指標的影響，這有助于理解環(huán)境與操作變量引起的假陽性和結(jié)構(gòu)損傷引起的真陽性之間的區(qū)別，進而減少變工況引起的虛警。

有部分工作將LIME方法與SHAP方法進行對比分析或結(jié)合使用。2020年JALALI等對比分析了LIME、SHAP、Attribute-wise三種可解釋性技術(shù)在智能診斷模型中的應(yīng)用，在C-MAPSS上的試驗結(jié)果表明大多數(shù)的黑箱模型在這三種方法下的解釋是一致的，即這三種方法對不同黑箱模型的特征重要性排序是一致的，但只有LIME方法能有效分析LSTM、GRU這種時序預(yù)測模型。2021年ONCHIS等將LIME方法和SHAP方法結(jié)合，對用于橋梁損傷檢測的神經(jīng)網(wǎng)絡(luò)進行特征重要性排序，并針對LIME局部可解釋內(nèi)在的不穩(wěn)定性問題，提出了一種基于條件數(shù)的指標對LIME結(jié)果的可信度進行判斷，若超出閾值則重新調(diào)用LIME方法生成可信的線性代理模型。

5.3 代理模型的優(yōu)勢與不足

代理模型的優(yōu)勢是能充分利用現(xiàn)有淺層模型的可解釋性，但在處理高維輸入或高維特征量方面存在顯著短板。對于LIME方法，其局部解釋能力需要構(gòu)建單個樣本的鄰域分布，但構(gòu)建這種“偽樣本”對于高維數(shù)據(jù)來說是困難的。對于SHAP方法而言，高維問題更加突出：① SHAP需要遍歷特征集合的所有子集，這種指數(shù)計算時間的遍歷，對于高維輸入特征而言，計算成本非常高(當然有很多方法來緩解這個問題，比如TreeSHAP，其計算復雜度為多項式時間)；② 由于SHAP需要計算特征子集的黑箱預(yù)測值，要求黑箱模型接受子集作為輸入，這導致黑箱模型的輸入有“missing”特征，如何對高維數(shù)據(jù)的“missing”值填充也是一個開放問題。

另一個理論問題在于代理模型是否能以任意精度逼近黑箱模型。神經(jīng)網(wǎng)絡(luò)在理論上能以任意精度逼近原函數(shù)，但在實際中逼近精度會受神經(jīng)網(wǎng)絡(luò)設(shè)計的限制，而代理模型通常為線性模型或加性模型，其模型容量有限，對黑箱模型的逼近能力尚缺少堅實的理論支撐。

案例分析

本節(jié)將通過案例分析對上述四種歸因解釋技術(shù)在故障診斷中的效果進行描述，其中，對注意力機制、規(guī)則提取進行了試驗分析，對顯著性分析、代理模型進行了文獻案例分析。

6.1 注意力機制的案例分析

本文通過一個基于注意力可視化的案例展示深度模型的決策邏輯。案例使用的試驗數(shù)據(jù)來源于凱斯西儲大學軸承數(shù)據(jù)中心。試驗臺采集的振動信號數(shù)據(jù)包括四種狀態(tài)，分別是健康狀態(tài)、內(nèi)圈故障、滾動體故障、外圈故障。本案例選擇驅(qū)動端振動傳感器采集的數(shù)據(jù)，采樣頻率為12 000 Hz，軸承信號為SKF6205。為簡化試驗，案例僅使用電動機負荷為0的振動信號，轉(zhuǎn)速為1 797 r/min。為便于對注意力的分布進行解釋，案例應(yīng)用包絡(luò)譜作為模型的輸入。對于四種狀態(tài)的軸承數(shù)據(jù)，使用滑窗選取55段信號，每段信號包含12 000個點，也就是1秒的數(shù)據(jù)。隨后計算段信號的包絡(luò)譜，并把0到2 000 Hz的頻率幅值作為樣本輸入到模型中進行訓練，即輸入維度為1×2 000。80%的樣本被用作訓練集，其余樣本為測試集。本案例使用的模型是Transformer網(wǎng)絡(luò)，前述的研究表明其內(nèi)部的自注意力機制針對振動信號具備良好的可解釋。網(wǎng)絡(luò)的具體設(shè)計參照了LI等的工作中的比較模型標準Transformer，超參數(shù)設(shè)置均與其保持一致。代碼在Python 3.8和PyTorch 1.8環(huán)境下編寫，試驗在Windows 10系統(tǒng)和GeForce RTX 3070 GPU上實現(xiàn)。

由于該數(shù)據(jù)集的四種故障是極易區(qū)分的，所以模型在測試集上的準確率為100%。本案例將注意力權(quán)重映射到輸入振動信號生成熱圖，解釋模型的決策依據(jù)。根據(jù)軸承關(guān)鍵頻率的計算公式，該案例中的轉(zhuǎn)頻、內(nèi)圈故障頻率、外圈故障頻率和滾動體故障頻率大致分別為30 Hz、162 Hz、108 Hz和141 Hz。圖9展示了四種狀態(tài)的注意力熱圖，最右側(cè)是注意力權(quán)重的顏色條。在每張圖中，每段振動信號的顏色由注意力權(quán)重值決定。權(quán)重越高即對應(yīng)振動信號顏色越深，表示越受模型關(guān)注。為便于展示，橫坐標設(shè)置為0到1 000 Hz，振動信號的幅值和注意力權(quán)重均被歸一化在0到1范圍內(nèi)。對于正常信號，圖9標記了旋轉(zhuǎn)頻率及其倍頻的位置，而對于故障信號，圖9標記相應(yīng)的故障頻率及其倍頻的位置。可以發(fā)現(xiàn)，對于正常狀態(tài)的軸承，包絡(luò)譜中僅有明顯的轉(zhuǎn)頻，其無法作為區(qū)別四種故障類別的鑒別特征，因此模型選關(guān)注一些高頻的噪聲段。而對于故障狀態(tài)的軸承，高注意力權(quán)重大多集中在能反映故障類型的頻帶附近。至于滾動體故障，由于包絡(luò)譜相應(yīng)的故障頻率不過明顯，模型不能完全關(guān)注相應(yīng)頻帶，但仍然能關(guān)注附近的頻帶。綜合來看，自注意力機制能夠輔助模型學習可鑒別的故障特征，大致符合人對軸承故障狀態(tài)的判斷規(guī)律，增強了模型的可解釋性。

6.2 顯著性分析的案例分析

圖10為文獻中對凱斯西儲大學軸承數(shù)據(jù)集外圈故障時域信號使用ResNet模型與Grad-CAM方法進行顯著性分析的歸因解釋所得的熱力圖。由于外圈故障信號存在明顯的時域沖擊信號，也即時間序列信號中存在明顯的與故障相關(guān)的顯著性特征，因此，此種類型的信號尤其適用于顯著性方法的歸因解釋。從圖中可以看出，神經(jīng)網(wǎng)絡(luò)對外圈故障信號樣本的激活程度權(quán)重顏色更熱的部分集中在時域信號的沖擊附近，說明網(wǎng)絡(luò)的關(guān)注點在信號的沖擊成分，網(wǎng)絡(luò)也通過此沖擊成分分類出外圈故障，這與人類專家關(guān)于軸承外圈故障特征的認知相符合，進一步闡述了顯著性分析方法對模型分析可以得到正確的歸因解釋。

6.3 規(guī)則提取的案例分析

本文進一步分析了如何應(yīng)用功能性規(guī)則提取方法，以期從已訓練的神經(jīng)網(wǎng)絡(luò)中發(fā)掘可解釋的故障診斷知識。數(shù)據(jù)和模型仍然選用凱斯西儲大學軸承數(shù)據(jù)和上述Transformer網(wǎng)絡(luò)。經(jīng)模型訓練后，在測試階段可獲取該模型對于49個正常樣本、25個內(nèi)圈故障樣本、25個滾動體故障樣本和25個外圈故障樣本的診斷預(yù)測結(jié)果。經(jīng)過頻譜分析和歸一化處理后，可獲得5類特征屬性，即：1/2轉(zhuǎn)頻(1/2X)、轉(zhuǎn)頻(X)、二倍頻(2X)、三倍頻(3X)和四倍頻(4X)。經(jīng)過數(shù)據(jù)離散化分析，5類屬性的斷點如表1所示。其中，三倍頻(3X)的斷點為0.050，表明該斷點將此屬性劃分為兩類。四倍頻(4X)的斷點為0.007和0.022，表明斷點將該屬性劃分為小于0.007、0.008～0.022和大于0.022三類。不考慮其余屬性對故障診斷的影響。因此，所提取的規(guī)則集如表2所示。

從表2可以看出，規(guī)則在一定程度上反映了外圈故障、滾動體故障和內(nèi)圈故障的特征。其中，規(guī)則1表明正常樣本的三倍頻比故障樣本的三倍頻更為明顯，49個示例樣本全部滿足該條規(guī)則，該規(guī)則的置信度為1。規(guī)則2表明，當樣本的三倍頻和四倍頻皆較小時，為外圈故障。在25個示例樣本中，共有23個樣本滿足該規(guī)則，置信度為0.92。規(guī)則3表明當三倍頻較小、四倍頻在0.007和0.022之間時，為內(nèi)圈故障。在25個示例樣本中，共有20個樣本滿足該規(guī)則，置信度為0.8。規(guī)則4表明當三倍頻較小、而四倍頻較大時，為滾動體圈故障。在25個示例樣本中，共有18個樣本滿足該規(guī)則，置信度為0.72。該案例展示了規(guī)則提取方法可以將復雜模型學習到的難以解釋的診斷知識轉(zhuǎn)化為可解釋的規(guī)則，提升了模型的可解釋性。

6.4 代理模型的案例分析

參考文獻將SHAP方法應(yīng)用于凱斯西儲大學軸承故障診斷中，并對高維數(shù)據(jù)問題進行了兩處改進。① 將時域信號轉(zhuǎn)換到頻域或時頻域，在特征相對稀疏的頻域或時頻域計算Shapely值，并且完全可逆的變換保證了信息的完整性；② 相比于計算譜圖的每條譜線的Shapely值，該方法將譜圖進行了劃分，例如將頻譜圖劃分為等距頻帶或自適應(yīng)頻帶，將該頻帶作為計算Shapely值的特征?；谏鲜鰞商幐倪M，該方法在高頻軸承數(shù)據(jù)上進行SHAP分析的流程如下：① 將時域信號轉(zhuǎn)換為譜域信號，然后將譜域信號進行譜帶劃分，每個譜帶賦予獨立編號、并被視為特征屬性；② 隨機置換譜帶、并進行拼接，構(gòu)成待分析樣本集；③ 將置換、拼接后的譜域信號再變換為時域信號，輸入到神經(jīng)網(wǎng)絡(luò)中，計算相應(yīng)的Shapely值。該方法的好處是可以對譜帶進行自適應(yīng)劃分，細化Shapely值的分析粒度。如圖11所示，將時域信號轉(zhuǎn)變?yōu)轭l域信號，計算自適應(yīng)頻帶的SHAP，絕對值越大表明該頻帶的邊際貢獻越大，正號表明正相關(guān)，負號表明負相關(guān)。其中，圖11上圖為神經(jīng)網(wǎng)絡(luò)輸入信號，左下圖是完整頻域及對應(yīng)SHAP值圖，右下圖是感興趣頻帶及SHAP值圖。

潛在研究方向

可解釋性是工業(yè)智能診斷領(lǐng)域必然面臨的問題。雖然當前已有部分工作針對該問題開展研究，但總體仍處于起步階段，如何賦能實際工業(yè)應(yīng)用依然是一個開放性的問題。下列關(guān)鍵方向可能有助于解決上述問題。

7.1 可解釋性的量化評估標準

可解釋性反映了訓練后的模型以人類可理解的方式解釋其決策過程的能力。因此，可解釋性的量化有利于比較和評估模型在工業(yè)故障診斷等安全關(guān)鍵領(lǐng)域的適用性，以選擇便于用戶信任的模型。然而，可解釋性在不同的任務(wù)和應(yīng)用場景下難以進行統(tǒng)一描述?，F(xiàn)有可解釋性量化方法主要應(yīng)用于規(guī)則提取方法，即根據(jù)模型所提取規(guī)則集的復雜度和語義關(guān)系進行可解釋量化。文獻假設(shè)模型的可解釋性與規(guī)則集的復雜性呈負相關(guān)關(guān)系，并通過計算規(guī)則數(shù)量和約束條件量化可解釋性。文獻認為可解釋規(guī)則應(yīng)在語義上具有高度一致性和較小的冗余性，并構(gòu)造語義指標衡量可解釋性。此外，顯著性分析方法可通過計算響應(yīng)與真實標簽間的交并比衡量模型可解釋性。然而，現(xiàn)有模型可解釋性的量化方法只適用于特定領(lǐng)域，建立一套統(tǒng)一的模型可解釋性的量化評估標準對于工業(yè)系統(tǒng)模型選擇具有重要意義。

7.2 可解釋反饋模型設(shè)計的自動化

要求模型可解釋的一個本質(zhì)目的是反饋人類專家進行模型設(shè)計。因此，如何將模型可解釋見解反饋至模型的自動化設(shè)計是一個重大挑戰(zhàn)。雖然事后方法可以幫助解釋模型的內(nèi)部工作原理，但它們并不能提供有關(guān)如何提高模型性能的見解。因此，需要能夠從一開始就向模型設(shè)計者提供有關(guān)如何使其模型更具可解釋性的反饋的方法，這需要更深入地了解使模型可解釋的原因。此外，模型的自動化設(shè)計過程涉及到基準和評估指標，以量化模型的可解釋性來提供自動化優(yōu)化設(shè)計方向。

7.3 模型復雜度和可解釋性的平衡

理想情況下，工業(yè)系統(tǒng)要求模型做出準確決策的同時具備可解釋性。然而，這兩項目標是相互矛盾的。一方面，若一昧追求性能，模型結(jié)構(gòu)將過于復雜，使其難以被人們理解。另一方面，增加模型的可解釋性通常會導致模型的性能下降。例如，基于規(guī)則提取和代理模型的模型可解釋方法往往將復雜的深度模型簡化為簡單的規(guī)則集合或淺層模型。因此，如何平衡模型性能和可解釋性是工業(yè)故障診斷領(lǐng)域的關(guān)鍵挑戰(zhàn)。研究者應(yīng)根據(jù)實際應(yīng)用，在可解釋性和模型性能之間提取出最佳的平衡原則，在滿足精度要求的條件下解釋模型的工作原理。

7.4 工業(yè)智能診斷歸因解釋分析中的高維特征工程

對于事后XAI的特征貢獻分析，輸入數(shù)據(jù)的特征工程也是一個重大挑戰(zhàn)。從本文中也可以看出，故障診斷領(lǐng)域中，使用頻譜或時頻圖的數(shù)據(jù)更容易實現(xiàn)事后的XAI。因此，在特征工程方面，了解需要什么類型的輸入數(shù)據(jù)才能實現(xiàn)良好的可解釋性至關(guān)重要。這需要對數(shù)據(jù)和模型有很好的理解，以及設(shè)計合適的算法來提取相關(guān)特征。通過這樣做，可以提高模型的可解釋性，同時提高其準確性。一個好的特征可以很好地幫助人類專家進行重要性的分析和解釋，以便更好地理解深度學習模型的行為。

結(jié)論

本文以工業(yè)智能診斷中的可解釋性問題為中心，從全局-局部解釋、主動-被動解釋出發(fā)，分析了歸因解釋技術(shù)在工業(yè)智能診斷中的應(yīng)用前景，并對現(xiàn)有工作進行總結(jié)。首先討論了工業(yè)智能診斷中XAI技術(shù)面臨的問題，概述了歸因解釋技術(shù)的主要觀點；然后，從注意力機制、顯著性分析、規(guī)則提取、代理模型四個方面分析了當前工作的主要貢獻，概述了實現(xiàn)歸因解釋技術(shù)的不同方法視角，總結(jié)每個分類的優(yōu)勢與不足。當前工業(yè)智能診斷中的歸因解釋技術(shù)處于基礎(chǔ)階段，依然存在很多值得研究的方向，本文探討分析了可解釋性的量化評估標準、可解釋性自動化反饋模型設(shè)計、模型復雜度與可解釋性的平衡、工業(yè)診斷中的高維問題四個方向，是值得重視的研究領(lǐng)域。

作　　者：嚴如強

責任編輯：趙子祎

責任校對：惲海艷

審　　核：張　強

JME學院簡介

JME學院是由《機械工程學報》編輯部2018年創(chuàng)建，以關(guān)注、陪伴青年學者成長為宗旨，努力探索學術(shù)傳播服務(wù)新模式。

歡迎各位老師掃碼添加小助理-暖暖為好友，由小助理拉入JME學院官方群！

歡迎關(guān)注JME學院視頻號~

尋覓合作伙伴

有一種合作叫做真誠，有一種發(fā)展可以無限，有一種伙伴可以互利共贏，愿我們合作起來流連忘返，發(fā)展起來前景可觀。關(guān)于論文推薦、團隊介紹、圖書出版、學術(shù)直播、招聘信息、會議推廣等，請與我們聯(lián)系。

感謝關(guān)注我們！《機械工程學報》編輯部將努力為您打造一個有態(tài)度、有深度、有溫度的學術(shù)媒體！