（中國(guó)民航大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300300）
0 引言
得益于傳感器及監(jiān)控技術(shù)的進(jìn)步，現(xiàn)代工業(yè)設(shè)備的生產(chǎn)運(yùn)行狀態(tài)和運(yùn)行環(huán)境能夠被實(shí)時(shí)記錄和感知，積累并產(chǎn)生了海量多維時(shí)間序列（MTS,multivariate time series）數(shù)據(jù)[1]。例如，云服務(wù)器的CPU利用率、內(nèi)存占用率、網(wǎng)絡(luò)流量等監(jiān)測(cè)數(shù)據(jù)，航空器的速度、高度、俯仰角度等傳感器數(shù)據(jù)，反映航天器運(yùn)行狀態(tài)的遙測(cè)信號(hào)，工廠生產(chǎn)機(jī)器的溫度、轉(zhuǎn)速等監(jiān)測(cè)數(shù)據(jù)。這些MTS 數(shù)據(jù)的異常取值片段往往意味著設(shè)備故障、操作人員失誤等特殊情況的發(fā)生，也可能表示生產(chǎn)環(huán)境中存在隱性安全隱患。這些異常如不能被有效識(shí)別，很可能造成經(jīng)濟(jì)損失。工業(yè)領(lǐng)域MTS 數(shù)據(jù)有如下特點(diǎn)：體量大、連續(xù)采樣、價(jià)值密度低、動(dòng)態(tài)性強(qiáng)；MTS 各維度之間具有復(fù)雜的時(shí)空耦合關(guān)系；工業(yè)設(shè)備通過(guò)其軟件控制邏輯往往與其運(yùn)行環(huán)境、操作人員及相關(guān)設(shè)備系統(tǒng)有復(fù)雜交互，反映其運(yùn)行狀態(tài)的MTS 取值具有隨機(jī)性[2]。另外，由于工業(yè)領(lǐng)域MTS 異常樣本相對(duì)較少、標(biāo)注異常代價(jià)較高，研究者大多關(guān)注基于無(wú)監(jiān)督的MTS異常檢測(cè)方法。傳統(tǒng)的主成分分析、高斯混合模型、一類支持向量機(jī)等機(jī)器學(xué)習(xí)方法無(wú)法很好地建模工業(yè)領(lǐng)域MTS 數(shù)據(jù)的復(fù)雜性質(zhì)。由于深度學(xué)習(xí)強(qiáng)大的數(shù)據(jù)表征能力，近年來(lái)，基于深度學(xué)習(xí)的無(wú)監(jiān)督MTS 異常檢測(cè)研究得到了廣泛關(guān)注。MTS 異常檢測(cè)包括序列級(jí)和瞬時(shí)級(jí)異常發(fā)現(xiàn)。序列級(jí)異常[3-5]是指MTS 樣本整個(gè)序列或其子序列區(qū)別于多數(shù)樣本。瞬時(shí)級(jí)異常是指在某個(gè)時(shí)間點(diǎn)或短時(shí)間窗內(nèi)的異常。本文模型屬于瞬時(shí)級(jí)異常檢測(cè)模型。
圍繞如何建模工業(yè)領(lǐng)域MTS 時(shí)序依賴性和隨機(jī)性，研究者提出了一些深度學(xué)習(xí)模型[2,6-10]。這些模型的訓(xùn)練目標(biāo)均為學(xué)習(xí)正常MTS 樣本集的時(shí)序分布。其中，大部分方法均結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN,recurrent neural network）和變分自編碼器（VAE,variational autoencoder）建模MTS 數(shù)據(jù)的時(shí)序依賴性和隨機(jī)性。但已有模型存在如下問題。
1) 采用RNN 的隱向量實(shí)現(xiàn)VAE 隱空間中隨機(jī)變量間的時(shí)序依賴性，然而RNN 難以捕獲序列數(shù)據(jù)的長(zhǎng)時(shí)依賴性，這降低了學(xué)習(xí)序列數(shù)據(jù)分布的能力。
2) 計(jì)算隨機(jī)變量的近似后驗(yàn)分布和先驗(yàn)分布的網(wǎng)絡(luò)結(jié)構(gòu)相同，這使2 種分布KL 散度（Kullback-Leibler divergence）距離較小，增加了模型的訓(xùn)練難度�；诰�性高斯?fàn)顟B(tài)空間模型（LGSSM,linear Gaussian state space model）計(jì)算隨機(jī)變量的先驗(yàn)分布無(wú)法實(shí)現(xiàn)隨機(jī)變量間的非線性轉(zhuǎn)換。
3) 基于RNN 的生成網(wǎng)絡(luò)僅依賴于隨機(jī)變量的采樣值，沒有利用RNN 推斷網(wǎng)絡(luò)的確定性隱向量。
針對(duì)以上問題，本文提出一種面向工業(yè)領(lǐng)域MTS 異常檢測(cè)的隨機(jī)Transformer（ST-MTS-AD,stochastic Transformer for MTS anomaly detection）模型。該模型由Transformer 編碼器輸出的表示各時(shí)刻MTS 長(zhǎng)時(shí)依賴特征和上一時(shí)刻隨機(jī)變量的采樣值生成當(dāng)前時(shí)刻隨機(jī)變量的近似后驗(yàn)分布，使ST-MTS-AD 可借用Transformer 編碼器輸出的長(zhǎng)時(shí)依賴特征在隱空間中傳播隨機(jī)變量間的長(zhǎng)時(shí)依賴性，采用門控轉(zhuǎn)換函數(shù)（GTF,gated transition function）生成隨機(jī)變量的先驗(yàn)分布并實(shí)現(xiàn)隨機(jī)變量間的非線性轉(zhuǎn)換，通過(guò)將Transformer 編碼器輸出的長(zhǎng)時(shí)依賴特征和隨機(jī)變量采樣值輸入多層感知器（MLP,multilayer perceptron）重構(gòu)MTS 各時(shí)刻取值分布。在4 個(gè)工業(yè)領(lǐng)域公開MTS 數(shù)據(jù)集上的實(shí)驗(yàn)表明ST-MTS-AD 具有較好的異常檢測(cè)效果。
1 相關(guān)研究現(xiàn)狀
多維時(shí)間序列異常檢測(cè)是時(shí)間序列分析領(lǐng)域中的重要任務(wù)之一，旨在尋找不符合規(guī)則的或出現(xiàn)偏差的序列片段[11]。目前，基于深度學(xué)習(xí)的MTS瞬時(shí)級(jí)異常檢測(cè)方法如下。
1) 基于預(yù)測(cè)和重構(gòu)的確定性方法。Hundman等[12]設(shè)計(jì)了基于長(zhǎng)短時(shí)記憶（LSTM,long short-term memory）網(wǎng)絡(luò)的航天器遙測(cè)信號(hào)異常檢測(cè)方法，通過(guò)預(yù)測(cè)誤差確定異常，其還提出了一種非參數(shù)動(dòng)態(tài)異常檢測(cè)閾值確定方法，能在誤報(bào)率和漏報(bào)率之間達(dá)到平衡。Zhang 等[13]提出了面向多傳感器MTS 異常檢測(cè)的深度卷積自編碼記憶網(wǎng)絡(luò)，將MTS 的時(shí)空嵌入表示和重構(gòu)誤差輸入線性自回歸模型和基于注意力機(jī)制的雙向LSTM 網(wǎng)絡(luò)，由重構(gòu)損失和預(yù)測(cè)損失確定MTS 異常。Malhotra 等[14]提出了一種基于LSTM 的自編碼器模型，旨在重建正常時(shí)間序列，使用重構(gòu)誤差進(jìn)行異常檢測(cè)。Zhang等[15]提出了一種多尺度卷積循環(huán)自編碼器（MSCRED），首先構(gòu)建能表征MTS 不同變量間相關(guān)性的多尺度簽名矩陣；然后采用卷積編碼器對(duì)簽名矩陣進(jìn)行編碼，使用基于注意力的卷積LSTM 捕獲MTS 時(shí)序依賴性；最后基于卷積解碼器重建簽名矩陣，并利用簽名矩陣的重構(gòu)誤差診斷異常。Audibert 等[16]設(shè)計(jì)了包含一個(gè)編碼器和2 個(gè)解碼器的自編碼器網(wǎng)絡(luò)結(jié)構(gòu)，采用對(duì)抗學(xué)習(xí)策略訓(xùn)練網(wǎng)絡(luò)，避免自編碼器無(wú)法通過(guò)重構(gòu)誤差區(qū)分正常樣本與異常樣本的現(xiàn)象，該方法沒有使用循環(huán)神經(jīng)網(wǎng)絡(luò)從而獲得了較快的訓(xùn)練效率，但無(wú)法建模MTS 的時(shí)序依賴關(guān)系。上述方法以預(yù)測(cè)或重構(gòu)為訓(xùn)練目標(biāo)刻畫正常MTS 樣本的特征，由重構(gòu)誤差和預(yù)測(cè)誤差檢測(cè)MTS 異常，無(wú)法建模MTS 的隨機(jī)性。
2) 基于重構(gòu)的隨機(jī)性方法。Zong 等[6]提出一種用于無(wú)監(jiān)督異常檢測(cè)的深度自編碼高斯混合模型（DAGMM,deep autoencoding Gaussian mixture model），通過(guò)自編碼器獲得訓(xùn)練樣本的低維表示，將低維表示和樣本重構(gòu)誤差拼接形成的向量輸入用來(lái)訓(xùn)練GMM 參數(shù)的估計(jì)網(wǎng)絡(luò)，由GMM 模型計(jì)算的樣本能量值確定樣本是否異常。Deng 等[7]采用圖卷積網(wǎng)絡(luò)捕獲MTS 變量間交互特征，由自注意力機(jī)制提取MTS 長(zhǎng)時(shí)依賴特征，基于VAE 的重構(gòu)能力進(jìn)行MTS 異常檢測(cè)。Park 等[8]提出了基于LSTM 和VAE 的多模態(tài)MTS 異常檢測(cè)方法，以LSTM 網(wǎng)絡(luò)結(jié)構(gòu)作為VAE 中的生成網(wǎng)絡(luò)和推斷網(wǎng)絡(luò)表示MTS 的隨機(jī)性和時(shí)序依賴性。文獻(xiàn)[7-8]通過(guò)自注意力機(jī)制或RNN 捕獲MTS 的時(shí)序依賴性，并且每個(gè)時(shí)間點(diǎn)通過(guò)重參數(shù)化采樣得到的隨機(jī)變量具有隨機(jī)性，但隨機(jī)變量之間沒有時(shí)序依賴性。
為此，研究者提出了基于VAE 的序列數(shù)據(jù)生成模型[17-19]，這些方法均采用變分推斷技術(shù)學(xué)習(xí)時(shí)序數(shù)據(jù)分布，并且可以表示隨機(jī)變量間的時(shí)序依賴性。Chung 等[18]提出一種變分循環(huán)神經(jīng)網(wǎng)絡(luò)（VRNN,variational recurrent neural network）模型。VRNN的推斷網(wǎng)絡(luò)由時(shí)序數(shù)據(jù)當(dāng)前時(shí)刻輸入值和上一時(shí)刻RNN 隱向量生成當(dāng)前時(shí)刻隨機(jī)變量的近似后驗(yàn)分布。VRNN 通過(guò)RNN 隱向量的迭代更新實(shí)現(xiàn)隨機(jī)變量間的時(shí)序依賴性。VRNN 的生成網(wǎng)絡(luò)由當(dāng)前時(shí)刻隨機(jī)變量采樣值和上一時(shí)刻RNN 隱向量生成時(shí)序數(shù)據(jù)取值分布。Dai 等[9]提出了面向內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)多元關(guān)鍵性能指標(biāo)時(shí)序數(shù)據(jù)的異常檢測(cè)方法SDFVAE（static and dynamic factorized VAE），將VRNN 中的隨機(jī)變量分解為動(dòng)態(tài)和靜態(tài)隨機(jī)變量，其中，靜態(tài)隨機(jī)變量刻畫內(nèi)容分發(fā)網(wǎng)絡(luò)系統(tǒng)性能指標(biāo)取值的時(shí)序不變性。SDFVAE 由雙向LSTM網(wǎng)絡(luò)學(xué)習(xí)靜態(tài)隨機(jī)變量的近似后驗(yàn)分布，動(dòng)態(tài)隨機(jī)變量的近似后驗(yàn)分布生成方式與VRNN 相同。Li等[10]提出了基于VRNN 的MTS 異常檢測(cè)方法，在損失函數(shù)中引入使相鄰時(shí)刻點(diǎn)時(shí)序取值生成分布相近的正則化項(xiàng)，使模型具有更好的抗噪能力。Fraccaro 等[19]提出了一種融合狀態(tài)空間模型（SSM,state space model）和RNN 的隨機(jī)循環(huán)神經(jīng)網(wǎng)絡(luò)（SRNN,stochastic recurrent neural network）。SRNN模型通過(guò)依賴于RNN 隱向量和SSM 隨機(jī)變量采樣值的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)SSM 隨機(jī)狀態(tài)之間的非線性轉(zhuǎn)換，使SSM 可以利用RNN 表示時(shí)序依賴關(guān)系的隱向量在隱空間中傳播隨機(jī)性。SRNN 與VRNN 的區(qū)別在于RNN 隱向量的更新不依賴于各時(shí)刻的隨機(jī)變量，能直接建模每個(gè)時(shí)刻隨機(jī)變量間的時(shí)序依賴性，實(shí)現(xiàn)了RNN 確定性隱變量和SSM 隨機(jī)變量的分離。文獻(xiàn)[19]表明SRNN 能夠比VRNN 更好地學(xué)習(xí)時(shí)序數(shù)據(jù)的分布。Su 等[2]提出基于SRNN 的MTS異常檢測(cè)模型，該模型的推斷網(wǎng)絡(luò)結(jié)構(gòu)與SRNN 相同，在此基礎(chǔ)上采用平面歸一化流技術(shù)學(xué)習(xí)各時(shí)刻非高斯分布的近似后驗(yàn)分布。在生成網(wǎng)絡(luò)中，該模型由依賴于隨機(jī)變量采樣值的RNN 生成時(shí)序數(shù)據(jù)取值分布，采用LGSSM 計(jì)算隨機(jī)變量的先驗(yàn)分布并實(shí)現(xiàn)隨機(jī)變量間的時(shí)序依賴性。
2 ST-MTS-AD 模型設(shè)計(jì)
2.1 相關(guān)符號(hào)定義及ST-MTS-AD 網(wǎng)絡(luò)結(jié)構(gòu)
MTS 數(shù)據(jù)集記為k=[k1,k2,…,kN] ∈RM×N，N為k的持續(xù)時(shí)間長(zhǎng)度，每個(gè)觀測(cè)值kτ∈RM是在時(shí)間點(diǎn)τ(τ≤N)的M維向量。使用窗口大小為w、滑動(dòng)步幅為l的滑動(dòng)窗口對(duì)k進(jìn)行預(yù)處理，每個(gè)滑動(dòng)窗口為
本文設(shè)計(jì)的ST-MTS-AD 模型基于VAE 的變分推斷技術(shù)學(xué)習(xí)MTS 時(shí)序分布，其主要優(yōu)勢(shì)在于使用Transformer 編碼器中的多頭自注意力機(jī)制生成MTS各個(gè)時(shí)刻點(diǎn)的隨機(jī)分布，實(shí)現(xiàn)了VAE 隱空間中隨機(jī)變量間的長(zhǎng)時(shí)依賴關(guān)聯(lián)。而且ST-MTS-AD 的生成網(wǎng)絡(luò)為MLP，降低了模型的復(fù)雜性。ST-MTS-AD 模型結(jié)構(gòu)如圖1 所示。在推斷網(wǎng)絡(luò)中，Transformer 編碼器將觀測(cè)序列x1:T∈RP×T映射為特征e1:T=[e1,…,et,…,eT] ∈Rd×T，d為Transformer 編碼器輸出維度，e1:T捕獲x1:T中觀測(cè)變量xt間的長(zhǎng)時(shí)依賴性，et(1 ≤t≤T)表示e1:T在t時(shí)刻的取值向量。將t-1 時(shí)刻隨機(jī)變量zt-1的采樣值和et串接后輸入MLP 生成t時(shí)刻隨機(jī)變量zt的近似后驗(yàn)分布，實(shí)現(xiàn)隨機(jī)變量zt-1和zt的非線性轉(zhuǎn)換和時(shí)序依賴關(guān)聯(lián)。記T個(gè)隨機(jī)變量z1,…,zT為z1:T。在生成網(wǎng)絡(luò)中，t時(shí)刻隨機(jī)變量zt采樣值和取值向量et輸入MLP 生成的取值分布。T個(gè)時(shí)刻觀測(cè)變量xt的重構(gòu)值,…,表示為。t-1 時(shí)刻隨機(jī)變量zt-1的采樣值輸入GTF生成t時(shí)刻隨機(jī)變量zt的先驗(yàn)分布，z0為隨機(jī)初始化的向量。ST-MTS-AD 通過(guò)最大化證據(jù)下界優(yōu)化推斷網(wǎng)絡(luò)和生成網(wǎng)絡(luò)參數(shù)，由各時(shí)刻x′t的重構(gòu)概率似然確定x1:T異常片段。
2.2 ST-MTS-AD 推斷網(wǎng)絡(luò)設(shè)計(jì)
Transformer 網(wǎng)絡(luò)中的自注意力機(jī)制容易捕獲序列數(shù)據(jù)中長(zhǎng)時(shí)依賴特征，文獻(xiàn)[20]基于Transformer 編碼器設(shè)計(jì)了MTS 的高質(zhì)量表示學(xué)習(xí)模型。ST-MTS-AD 模型將Transformer 編碼器作為VAE 的推斷網(wǎng)絡(luò)，捕獲觀測(cè)序列x1:T中各觀測(cè)變量xt間的長(zhǎng)時(shí)依賴性。為了實(shí)現(xiàn)隨機(jī)變量zt-1和zt的非線性轉(zhuǎn)換和時(shí)序依賴關(guān)聯(lián)，將t-1 時(shí)刻隨機(jī)變量zt-1的采樣值和Transformer 編碼器在t時(shí)刻的輸出et串接后生成t時(shí)刻隨機(jī)變量zt。推斷網(wǎng)絡(luò)的目標(biāo)是學(xué)習(xí)隨機(jī)變量z1:T的真實(shí)后驗(yàn)分布，ST-MTS-AD通過(guò)推斷網(wǎng)絡(luò)得到z1:T的近似后驗(yàn)分布，如式(1)所示。
ST-MTS-AD 模型推斷網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，即式(1)中t時(shí)刻近似后驗(yàn)分布網(wǎng)絡(luò)結(jié)構(gòu)。
圖2 ST-MTS-AD 模型推斷網(wǎng)絡(luò)結(jié)構(gòu)
e1:T計(jì)算過(guò)程如下。按式(2)對(duì)x1:T進(jìn)行位置編碼，編碼結(jié)果記為。
其中，Wx∈Rd×P為網(wǎng)絡(luò)參數(shù)；b∈R1×T為偏置項(xiàng)；wp∈Rd×T為位置編碼矩陣，由正弦函數(shù)在偶數(shù)位置計(jì)算得到的位置信息和余弦函數(shù)在奇數(shù)位置計(jì)算獲得的位置信息結(jié)合形成，具體形式如下
由式(4)～式(10)所示的多頭注意力機(jī)制計(jì)算x1:T中觀測(cè)變量間長(zhǎng)時(shí)依賴特征e1:T。
2.3 ST-MTS-AD 生成網(wǎng)絡(luò)設(shè)計(jì)
ST-MTS-AD 生成網(wǎng)絡(luò)由MLP 構(gòu)成，目的是重構(gòu)觀測(cè)序列。其與文獻(xiàn)[2,9]不同之處在于，由隨機(jī)變量zt采樣值和推斷網(wǎng)絡(luò)中Transformer 編碼器在t時(shí)刻的輸出et生成t時(shí)刻的觀測(cè)變量，而不僅依賴隨機(jī)變量zt。這是由于et包含了來(lái)自輸入觀測(cè)序列x1:T的全局時(shí)序特征，能夠更好地重構(gòu)觀測(cè)序列。同時(shí)，MLP 網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，降低了ST-MTS-AD 網(wǎng)絡(luò)的復(fù)雜性。ST-MTS-AD 生成網(wǎng)絡(luò)的聯(lián)合概率分布為
圖3 ST-MTS-AD 模型生成網(wǎng)絡(luò)結(jié)構(gòu)
其中，ξ～N(0,I)，⊙表示向量元素乘積，和分別表示由圖2 推斷網(wǎng)絡(luò)生成的zt近似后驗(yàn)分布均值和標(biāo)準(zhǔn)方差。
圖4 GTF 網(wǎng)絡(luò)結(jié)構(gòu)
式(16)表示具有ReLU 和Sigmoid 激活函數(shù)的MLP，式(17)表示具有ReLU 激活函數(shù)的MLP，式(18)表示Linear 層，式(20)表示具有ReLU 和Softplus 激活函數(shù)的MLP。
2.4 優(yōu)化目標(biāo)
ST-MTS-AD 模型的優(yōu)化目標(biāo)為最大化式(21)所示的證據(jù)下界（ELBO,evidence lower bound）。
算法1ST-MTS-AD 模型的訓(xùn)練算法
3 實(shí)驗(yàn)
3.1 實(shí)驗(yàn)數(shù)據(jù)集及環(huán)境
實(shí)驗(yàn)采用以下4 個(gè)公開的數(shù)據(jù)集：SMD（server machine dataset）來(lái)自一家大型互聯(lián)網(wǎng)公司為期5 周的服務(wù)器檢測(cè)數(shù)據(jù)集[2]；MSL（mars science laboratory）和SMAP（soil moisture active passive satellite）來(lái)自NASA 航天器監(jiān)測(cè)系統(tǒng)報(bào)告中的遙感數(shù)據(jù)[12]；SWaT（secure water treatment）來(lái)自一個(gè)水處理廠信息物理系統(tǒng)為期11 天的監(jiān)控?cái)?shù)據(jù)集[3]。各數(shù)據(jù)集具體的描述如表1 所示。
表1 各數(shù)據(jù)集具體的描述
實(shí)驗(yàn)硬件環(huán)境如下：Ubuntu16.04 操作系統(tǒng)，Inter Xeon Gold 5220R CPU，NVIDIA Tesla T4 顯卡。軟件環(huán)境如下：Python3.6，Pytorch 1.10.1。
3.2 實(shí)驗(yàn)?zāi)Ｐ蛥?shù)設(shè)置和評(píng)價(jià)指標(biāo)
ST-MTS-AD 模型在SMD、SMAP、MSL、SWaT數(shù)據(jù)集上的滑動(dòng)窗口大小w、滑動(dòng)步幅l、觀測(cè)序列長(zhǎng)度T和自注意力頭數(shù)H分別設(shè)為10、10、200和8。根據(jù)數(shù)據(jù)集的維度大小，模型在SMD 和SWaT數(shù)據(jù)集上的Transformer 編碼器輸出維度d分別設(shè)為128 和256，在SMAP 和MSL 數(shù)據(jù)集中設(shè)為64。實(shí)驗(yàn)使用Adam 優(yōu)化器，設(shè)置學(xué)習(xí)率r=0.000 1，批處理大小batch=64，訓(xùn)練周期數(shù)epoch=200。
ST-MTS-AD 目標(biāo)是檢測(cè)觀測(cè)序列x1:T中觀測(cè)變量xt是否異常。在測(cè)試集中，若觀測(cè)變量xt表示的滑動(dòng)窗口中某一時(shí)間點(diǎn)取值kτ∈RM為異常點(diǎn)，則xt標(biāo)記為異常。對(duì)于測(cè)試集中的每個(gè)觀測(cè)變量xt，如果重構(gòu)出的觀測(cè)變量被判斷為異常，且xt真實(shí)標(biāo)簽也為異常，則記為真陽(yáng)（TP）。如果重構(gòu)出的觀測(cè)變量被判斷為異常，但xt真實(shí)標(biāo)簽為正常，則記為假陽(yáng)（FP）。如果重構(gòu)出的觀測(cè)變量被判斷為正常，但xt真實(shí)標(biāo)簽為異常，則記為假陰（FN）。如果重構(gòu)出的觀測(cè)變量被判斷為正常，且xt真實(shí)標(biāo)簽為正常，則記為真陰（TN）。本文使用3 個(gè)指標(biāo)來(lái)衡量異常檢測(cè)模型的性能，分別為精確率Precision、召回率Recall、F1 分?jǐn)?shù)，其中，F(xiàn)1 分?jǐn)?shù)為精確率和召回率的調(diào)和平均數(shù)，F(xiàn)1分?jǐn)?shù)越大表示異常檢測(cè)模型的性能越好。
3.3 實(shí)驗(yàn)結(jié)果與分析
選取6 種與ST-MTS-AD 相關(guān)的異常檢測(cè)模型進(jìn)行實(shí)驗(yàn)對(duì)比，分別為DAGMM[6]、LSTM-VAE[8]、MSCRED[15]、USAD（unsupervised anomaly detection）[16]、OmniAnomaly[2]、SDFVAE[9]。各模型的實(shí)驗(yàn)均采用本文的數(shù)據(jù)預(yù)處理方式，不同模型的性能對(duì)比如表2 所示。
從表2 可知，ST-MTS-AD 模型在SMD、SMAP、MSL 和SWaT 數(shù)據(jù)集上的F1 分?jǐn)?shù)分別為0.933 2、0.966 4、0.981 9 和0.834 2，相較于5 種對(duì)比模型整體上有較高的提升。在SMD、SMAP、MSL 和SWaT數(shù)據(jù)集上，ST-MTS-AD 模型的F1 分?jǐn)?shù)比MSCRED分別提高了15.6%、10.0%、4.7%和3.3%，ST-MTS-AD模型的F1 分?jǐn)?shù)比USAD 模型分別提高了9.6%、6.9%、15.6%和3.0%，與MSCRED 相比，ST-MTS-AD 在SMD 數(shù)據(jù)集上的F1 分?jǐn)?shù)提高最多，這是因?yàn)镾MD數(shù)據(jù)集中存在持續(xù)時(shí)間短、異常偏差較小的取值片段[9]，MSCRED 模型中的構(gòu)造簽名矩陣無(wú)法捕獲這些細(xì)微的異常特征。USAD 雖然采用對(duì)抗學(xué)習(xí)策略避免自編碼器無(wú)法通過(guò)重構(gòu)誤差區(qū)分正常樣本與異常樣本的問題，但其自編碼器網(wǎng)絡(luò)沒有捕獲MTS 的時(shí)序依賴特征。實(shí)驗(yàn)結(jié)果也驗(yàn)證了基于重構(gòu)的隨機(jī)性模型ST-MTS-AD 的異常檢測(cè)效果好于基于重構(gòu)的確定性模型MSCRED 和USAD。
表2 ST-MTS-AD 模型與6 種模型的性能對(duì)比
DAGMM 的F1 分?jǐn)?shù)在SMD、SMAP、MSL和SWaT 數(shù)據(jù)集上比ST-MTS-AD 模型分別低8.4%、7.9%、17.7%和2.3%，DAGMM 雖屬于基于重構(gòu)的隨機(jī)性模型，但其自編碼器網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)面向表格數(shù)據(jù)，無(wú)法提取 MTS 時(shí)序特征。ST-MTS-AD 模型在SMD、SMAP 和MSL 數(shù)據(jù)集上的F1 分?jǐn)?shù)比SDFVAE 分別提高了3.3%、7.8%和12.4%，但在SWaT 數(shù)據(jù)集上的F1 分?jǐn)?shù)比SDFVAE 低 1.8%，這是由于SDFVAE 比ST-MTS-AD 模型有較強(qiáng)的抗噪能力。LSTM-VAE和OmniAnomaly為與ST-MTS-AD最相關(guān)的模型，均為基于VAE 的序列生成模型。在SMD、SMAP、MSL 和SWaT 數(shù)據(jù)集上，ST-MTS-AD 模型的F1分?jǐn)?shù)比LSTM-VAE 模型提高了5.9%、2.8%、7.3%和2.7%，比OmniAnomaly 模型提高了8.6%、11.5%、11.9%和3.8%。這是由于LSTM-VAE 模型無(wú)法建模隱空間中隨機(jī)變量之間的時(shí)序依賴性。OmniAnomaly 模型基于RNN 各時(shí)刻的隱向量實(shí)現(xiàn)隨機(jī)變量間時(shí)序依賴性，這種機(jī)制無(wú)法實(shí)現(xiàn)隨機(jī)變量間的長(zhǎng)時(shí)依賴關(guān)聯(lián)，其采用的基于LGSSM 的隨機(jī)變量先驗(yàn)分布生成方式無(wú)法實(shí)現(xiàn)隨機(jī)變量間的非線性轉(zhuǎn)換，且該模型在生成網(wǎng)絡(luò)中僅依賴各時(shí)刻隨機(jī)變量的采樣值，沒有利用推斷網(wǎng)絡(luò)RNN 的隱向量信息。
3.4 消融實(shí)驗(yàn)
為了驗(yàn)證ST-MTS-AD 模型相關(guān)模塊設(shè)計(jì)的有效性，將ST-MTS-AD 模型與其3 個(gè)變體進(jìn)行對(duì)比，3 個(gè)變體分別為ST-MTS-AD-1、ST-MTS-AD-2 和ST-MTS-AD-3。ST-MTS-AD-1 模型表示在圖1 的ST-MTS-AD 模型基礎(chǔ)上將推斷網(wǎng)絡(luò)中Transformer編碼器替換為門控循環(huán)單元（GRU,gate recurrent unit）神經(jīng)網(wǎng)絡(luò)。ST-MTS-AD-2 模型表示將ST-MTS-AD 模型中用于生成隨機(jī)變量先驗(yàn)分布的GTF 替換為L(zhǎng)GSSM。ST-MTS-AD-3 模型表示圖1生成網(wǎng)絡(luò)去除了et作為輸入的設(shè)計(jì)，生成網(wǎng)絡(luò)的輸入僅來(lái)自隨機(jī)變量zt的采樣值。各模型在4 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如圖5 所示。
圖5 不同數(shù)據(jù)集上的消融實(shí)驗(yàn)
從圖5 可知，ST-MTS-AD 模型在SMD、SMAP、MSL 和SWaT 數(shù)據(jù)集上的F1 分?jǐn)?shù)比ST-MTS-AD-1模型分別提高了11.1%、2.6%、7.3%和6.3%，因此基于Transformer 編碼器生成的時(shí)序依賴特征能更好地實(shí)現(xiàn)隱空間中隨機(jī)變量間的時(shí)序依賴性。ST-MTS-AD 模型的F1 分?jǐn)?shù)比ST-MTS-AD-2 模型分別提高了2.3%、1.5%、3.9%和6.4%，原因是GTF采用GRU 的思想對(duì)隨機(jī)變量zt-1到zt的轉(zhuǎn)換函數(shù)進(jìn)行參數(shù)化，通過(guò)非線性轉(zhuǎn)換函數(shù)控制zt-1到zt的信息傳遞，可以捕獲隨機(jī)變量之間更復(fù)雜的依賴性，而LGSSM 利用卡爾曼濾波的思想實(shí)現(xiàn)隨機(jī)變量間的線性轉(zhuǎn)換，結(jié)果證明了ST-MTS-AD 使用GTF的連接方式比使用LGSSM 的連接方式更加有效。ST-MTS-AD 模型的F1 分?jǐn)?shù)在SMD、SMAP、MSL和SWaT 數(shù)據(jù)集分別比ST-MTS-AD-3 模型提高了8.6%、0.6%、3.2%和9.4%，由Transformer 編碼器生成長(zhǎng)時(shí)依賴特征et和推斷網(wǎng)絡(luò)生成的隨機(jī)變量zt的采樣值能更好地重構(gòu)MTS 各時(shí)刻x′t的分布。另外，與ST-MTS-AD-1、ST-MTS-AD-2 和ST-MTS-AD-3相比，ST-MTS-AD 在SMAP 數(shù)據(jù)集上的的F1 分?jǐn)?shù)提高并不明顯。這是因?yàn)镾MAP 數(shù)據(jù)集中存在很多離散變量，其異常片段比較容易被檢測(cè)。
4 結(jié)束語(yǔ)
本文提出了一種融合Transformer 編碼器和VAE 的隨機(jī)Transformer MTS 異常檢測(cè)模型。該模型基于Transformer 編碼器生成的時(shí)序特征實(shí)現(xiàn)隱空間中隨機(jī)變量間的長(zhǎng)時(shí)依賴性，采用門控轉(zhuǎn)換函數(shù)生成時(shí)序隨機(jī)變量的先驗(yàn)分布，由推斷網(wǎng)絡(luò)生成的各時(shí)刻隨機(jī)變量近似后驗(yàn)分布采樣值和Transformer 編碼器輸出的時(shí)序特征重構(gòu)MTS 各時(shí)刻取值的分布。在4 個(gè)公開數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果表明了ST-MTS-AD 設(shè)計(jì)的有效性。下一步筆者將研究如何基于Transformer 編碼器實(shí)現(xiàn)隱空間中隨機(jī)變量間的非馬爾可夫動(dòng)態(tài)性。
