免费的黄色国产视频,久久av喷吹av高潮av萌白,久久久久影院毛片免费观看,日本a v视频免费观看,人妻中文字幕麻豆

近期，成都信息工程大學(xué)計(jì)算機(jī)學(xué)院智能神經(jīng)信息編解碼實(shí)驗(yàn)室的郜東瑞團(tuán)隊(duì)有效利用EEG信號(hào)的時(shí)-頻-空特征，提出了一個(gè)名為CSF-GTNet的疲勞檢測(cè)新框架?？蚣苤性O(shè)計(jì)了高斯時(shí)域網(wǎng)絡(luò)和純卷積空頻域網(wǎng)絡(luò)，不僅在理論上具有先進(jìn)性，而且在多個(gè)疲勞數(shù)據(jù)集上展示出良好的分類(lèi)性能和較強(qiáng)的可解釋性。

成都信息工程大學(xué)計(jì)算機(jī)學(xué)院郜東瑞副教授為論文的第一作者，碩士研究生李芃銳為第二作者，成都信息工程大學(xué)為第一作者單位和通訊單位。

該論文發(fā)表在IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS。題目為《CSF-GTNet: A Novel Multi-Dimensional Feature Fusion Network Based on Convnext-GeLU-BiLSTM for EEG-Signals-Enabled Fatigue Driving Detection》

疲勞導(dǎo)致的駕駛員警覺(jué)性和判斷能力下降是交通事故發(fā)生的重要原因，因此設(shè)計(jì)能夠準(zhǔn)確反映駕駛員大腦警覺(jué)性的疲勞檢測(cè)技術(shù)對(duì)于減少交通事故具有重要意義。腦電信號(hào)被認(rèn)為是一種有效的疲勞檢測(cè)手段，能夠直觀(guān)反映駕駛員的精神狀態(tài)。然而，監(jiān)測(cè)駕駛員的精神狀態(tài)面臨一些挑戰(zhàn)。一個(gè)挑戰(zhàn)是從復(fù)雜和不穩(wěn)定的EEG信號(hào)中全面提取特征，并在多維度上分析數(shù)據(jù)。另一個(gè)挑戰(zhàn)是探索不同被試和模型學(xué)習(xí)到的特征之間的關(guān)系。

數(shù)據(jù)收集與預(yù)處理

該研究使用到兩個(gè)數(shù)據(jù)集，一個(gè)是實(shí)驗(yàn)室采集的，一個(gè)是公開(kāi)的SEED-VIG。

實(shí)驗(yàn)室的數(shù)據(jù)是在模擬駕駛艙中采集的，并通過(guò)了道德倫理審核。共有10名被試參與了實(shí)驗(yàn)，年齡在23-24歲之間，并且都持有駕照。數(shù)據(jù)采集設(shè)備采用國(guó)際公認(rèn)的BP采集設(shè)備。除一個(gè)參考電極外，可同時(shí)獲得31個(gè)電極通道的數(shù)據(jù)，采樣頻率為1000 Hz。每個(gè)參與者的模擬駕駛時(shí)間設(shè)定為1 h，駕駛前后，所有受試者都要休息5分鐘，并填寫(xiě)疲勞自測(cè)表和鄧迪壓力表。該數(shù)據(jù)的標(biāo)簽參考SEED-VIG的標(biāo)簽方法。通過(guò)我們采集的人臉視頻的身體特征評(píng)價(jià)方法，可以觀(guān)察10秒內(nèi)眨眼和閉眼時(shí)間占總時(shí)間的比例來(lái)判斷他們是否疲勞。PERCLOS廣泛用于圖像研究。這也是國(guó)際上高度認(rèn)可的評(píng)估疲勞的方法。

SEED-VIG數(shù)據(jù)集是通過(guò)隨機(jī)選擇23名受試者并在完全模擬的駕駛艙中進(jìn)行實(shí)驗(yàn)來(lái)收集的。為每個(gè)受試者收集腦電圖和眼電圖。但該團(tuán)隊(duì)只研究駕駛員在正常和疲勞狀態(tài)下腦電信號(hào)的變化，所以只選取腦電信號(hào)。由于每個(gè)受試者進(jìn)行實(shí)驗(yàn)和數(shù)據(jù)收集的時(shí)間為118分鐘，總共7080秒，每秒的采樣頻率為200 Hz，因此將有1416000個(gè)采樣點(diǎn)。另外，每個(gè)主體都有一個(gè)標(biāo)簽文件，他們使用的標(biāo)簽方法是通過(guò)PERCLOS指示器。數(shù)據(jù)集每8秒選擇一個(gè)標(biāo)簽，標(biāo)簽值在(0，1)之間。數(shù)值越小，受試者的疲勞程度越低。每個(gè)受試者被標(biāo)記了885個(gè)標(biāo)簽，根據(jù)PERCLOS值分為三類(lèi)。

帶通濾波器是高通和低通濾波器協(xié)同工作的結(jié)果，可以有效濾除信號(hào)中的噪聲，獲得有用的信息。此外，大多數(shù)工作也使用帶通濾波器得到五個(gè)頻帶。因此，本文在兩個(gè)數(shù)據(jù)集上的預(yù)處理均采用帶通濾波器將腦電信號(hào)濾波出五個(gè)頻帶，即Delta(0–4Hz)、Theta(4–8Hz)、Alpha(8–12Hz)、Beta(12–30Hz)和Gamma(30–50Hz)，以減少噪聲對(duì)最終檢測(cè)效果的影響。然后，使用微分熵（DE）來(lái)提取人工特征用于后續(xù)的研究。

方法

如圖1所示，CSF-GTNet主要由純卷積空頻域網(wǎng)絡(luò)（CSFNet）和高斯時(shí)域網(wǎng)絡(luò)（GTNet）構(gòu)成，接下來(lái)將詳細(xì)介紹這兩個(gè)模塊。

圖1 腦疲勞檢測(cè)的實(shí)驗(yàn)框架

1. 純卷積空頻域網(wǎng)絡(luò)（CSFNet）：受提出的Convnext的啟發(fā)，本文改進(jìn)了可用于處理EEG空頻特征的CSFNet模型。該模塊包括輸入模型、特征提取模塊和輸出模塊。輸入層的卷積塊包含96個(gè)大小為4×4的卷積核，然后對(duì)特征執(zhí)行批量操作。Layernorm的設(shè)計(jì)用于穩(wěn)定特征分布情況。輸入層的作用是將我們的5通道特征轉(zhuǎn)換成96通道特征。特征提取層由多個(gè)下采樣和階段模塊組成。下采樣中卷積核的大小是2×2，階段卷積核的大小是7×7。細(xì)節(jié)如圖2和圖3所示。這里我們介紹卷積層的計(jì)算過(guò)程。定義輸入特征X = (X1,X2,…,XN)和輸入特征的尺寸為(C,H,W)，其中N表示batch_size的大小，C表示輸入的通道尺寸，H表示特征高度，W表示特征寬度。卷積層的計(jì)算公式如下。

其中G代表激活函數(shù)，Wc代表權(quán)重值。

圖2 下采樣模塊。輸入特征通過(guò)4*4的卷積圖層后，將通過(guò)2*2的卷積圖層進(jìn)行降采樣。

圖3 階段模塊。輸入特征經(jīng)過(guò)由多個(gè)殘差模塊組成的三個(gè)序貫網(wǎng)絡(luò)，能夠充分保留原有信息，并持續(xù)獲得新信息。

i）分塊設(shè)計(jì)：在分塊模塊中，研究團(tuán)隊(duì)使用了深度可分離卷積層來(lái)降低模型的復(fù)雜度，提高模型的性能。同時(shí)使用BatchNorm和LayerNorm使模型訓(xùn)練過(guò)程更加穩(wěn)定。整個(gè)結(jié)構(gòu)結(jié)合ResNext模塊在學(xué)習(xí)過(guò)程中創(chuàng)建身份映射。它可以提高神經(jīng)網(wǎng)絡(luò)的深度自適應(yīng)能力，避免在訓(xùn)練過(guò)程中出現(xiàn)模型性能退化。

ii）降采樣設(shè)計(jì)：降采樣模塊由n (1 ≤ n ≤ 3)個(gè)卷積模塊組成。第一個(gè)卷積核的大小為4×4，后續(xù)卷積核的大小為2×2，用于空間下采樣。在特征提取過(guò)程中構(gòu)建下采樣圖層可以避免模型過(guò)擬合，同時(shí)盡可能減小數(shù)據(jù)大小以提取有用的特征信息。此外，添加BatchNorm和LayerNorm可以穩(wěn)定模型訓(xùn)練時(shí)間。

iii）階段設(shè)計(jì)：階段模塊由n個(gè)網(wǎng)絡(luò)層的堆棧組成。每個(gè)網(wǎng)絡(luò)層由幾個(gè)塊模塊組成。每個(gè)塊模塊的卷積核的輸入和輸出通道的數(shù)量是相同的。第一網(wǎng)絡(luò)層包含n個(gè)塊模塊，卷積層的輸入輸出通道為192個(gè)。第二個(gè)網(wǎng)絡(luò)層具有n×n個(gè)塊模塊，其卷積層的輸入和輸出通道數(shù)為384。第三網(wǎng)絡(luò)層包含n×n×n塊模塊，其卷積核的輸入輸出通道數(shù)為96 / 192 / 384。如前所述，每個(gè)分塊模塊都是殘差連接的。

2. 高斯時(shí)域網(wǎng)絡(luò)（GTNet）：對(duì)于時(shí)間序列特征提取的研究，GRU和LSTM從最初的RNN發(fā)展而來(lái)。他們可以提取比RNN更有用的時(shí)間序列特征。然而，LSTM只能記住“上面”的信息，不能掌握完整的數(shù)據(jù)序列。使用BiLSTM時(shí)，梯度有時(shí)會(huì)消失，顯著影響檢測(cè)效果。因此，他們通過(guò)GeLU激活函數(shù)計(jì)算和處理輸出特征來(lái)改進(jìn)BiLSTM。然后得到一個(gè)新的模型，命名為GeLU-BiLSTM。激活變換操作隨機(jī)地依賴(lài)于特征輸入，有效地避免了梯度消失。具體地，為前向傳播層構(gòu)造輸出序列Pi，根據(jù)輸入序列的1-n計(jì)算和處理該輸出序列Pi。反向傳播層產(chǎn)生一個(gè)輸出序列Pi’，根據(jù)輸入序列的n-1進(jìn)行計(jì)算和處理。然后，通過(guò)GeLU激活函數(shù)G實(shí)現(xiàn)輸出結(jié)果。激活函數(shù)的公式如下所示。

因此，結(jié)果如下所示。

最后，他們?nèi)诤狭薈SFNet和GTNet的輸出特征，并概括為：

其中O1表示GTNet輸出的特征，O2表示CSFNet輸出的特征，Concat描述了將兩個(gè)網(wǎng)絡(luò)輸出的特征相連接。再通過(guò)均方誤差函數(shù)來(lái)計(jì)算分類(lèi)損失：

其中yi代表實(shí)際值，yi’表示預(yù)測(cè)值，m表示數(shù)據(jù)的大小。

研究結(jié)果分析

本文重點(diǎn)研究了基于時(shí)-頻-空特征的EEG疲勞檢測(cè)問(wèn)題，CSF-GTNet框架以提升EEG疲勞檢測(cè)性能為目標(biāo)，通過(guò)設(shè)計(jì)純卷積空頻域網(wǎng)絡(luò)和高斯時(shí)域網(wǎng)絡(luò)對(duì)EEG信號(hào)的高維空間和時(shí)間序列進(jìn)行有效建模，并且GeLU激活函數(shù)的引入優(yōu)化了多維特征的更新學(xué)習(xí)。因此，該框架很好的解決了從復(fù)雜且不穩(wěn)定的EEG信號(hào)中全面分析多維度特征的問(wèn)題。此外，研究團(tuán)隊(duì)針對(duì)每個(gè)被試進(jìn)行了詳細(xì)的特征解釋與分析，并驗(yàn)證了該框架的合理性。

為了全面評(píng)估提出的模型，他們首先討論了模塊消融對(duì)模型效果的影響，再分別說(shuō)明提出的模型在混合實(shí)驗(yàn)和跨被試實(shí)驗(yàn)中是否優(yōu)于現(xiàn)有的先進(jìn)技術(shù)，最后分析模型學(xué)習(xí)到的通道和頻帶特征。

圖4 時(shí)域模型比較

圖4顯示了時(shí)間序列網(wǎng)絡(luò)對(duì)大腦疲勞檢測(cè)的影響。他們將常用的處理時(shí)間序列的模型，包括BiRNN，BiLSTM，BiGRU，reLU-BiLSTM，tanh-BiLSTM和eLU-BiLSTM，與改進(jìn)的GTNet模型進(jìn)行了比較。通過(guò)比較，可以發(fā)現(xiàn)增強(qiáng)后的BiLSTM和BiGRU效果比原來(lái)的BiRNN要好。此外，最近改進(jìn)的reLU-BiLSTM可以更好地把握時(shí)間特征序列。此外，eluBiLSTM比ReLU-BiLSTM具有更好的改善效果。然后，改進(jìn)的GTNet的效果要比elu-BiLSTM好，說(shuō)明加入GeLU激活函數(shù)可以顯著改善模型的檢測(cè)疲勞。最后，GTNet模型達(dá)到了最高的精度，顯示了在添加GeLU之后分類(lèi)性能的提高。

表1和表2顯示了提出的模型在自制數(shù)據(jù)集和基于不同層數(shù)的SEED-VIG數(shù)據(jù)集上的檢測(cè)性能。在前面已經(jīng)介紹過(guò)stages模塊中的每個(gè)網(wǎng)絡(luò)層都有幾個(gè)基本模塊，所以在這里，Convnext1表示(n = 1)，Convnext2表示(n = 2)，Convnext3表示(n = 3)。從結(jié)果可以發(fā)現(xiàn)，CSFNet網(wǎng)絡(luò)的表現(xiàn)優(yōu)于GTNet，平均準(zhǔn)確率可以分別達(dá)到82%和79%，分別比GTNet高出10%和9%左右。兩者結(jié)合得到的網(wǎng)絡(luò)CSF-GTNet的檢測(cè)準(zhǔn)確率可以達(dá)到85.16%和81.48%，比CSFNet提高了3%左右?？梢钥闯?，提出的多維特征融合網(wǎng)絡(luò)在兩個(gè)數(shù)據(jù)集上都表現(xiàn)良好。

表1模型不同層數(shù)在自制數(shù)據(jù)集上的效果

表2 模型不同層數(shù)在SEED-VIG數(shù)據(jù)集上的效果

表3和表4顯示了提出的模型和現(xiàn)有的深度學(xué)習(xí)方法之間的比較，在自制和SEED-VIG數(shù)據(jù)集上具有更好的性能。然而，腦電圖數(shù)據(jù)并不是線(xiàn)性分布的。從表3和表4可以知道，現(xiàn)有的深度學(xué)習(xí)模型，包括ST_Encoding_CNN，CNN-Attention，CNN-LSTM，BiLSTM，ESTCNN，EEGNet和Interpretable_CNN都有比較良好的效果。值得注意的是，本文呢提出的CSF-GTNet在兩個(gè)數(shù)據(jù)集上的檢測(cè)效果都優(yōu)于上述方法，平均準(zhǔn)確率比其他方法高3%，最高達(dá)到85.16%和81.48%。這表明提出的方法能夠有效地分析腦電信號(hào)數(shù)據(jù)，準(zhǔn)確地完成二分類(lèi)檢測(cè)任務(wù)，具有較好的性能。這說(shuō)明提出的模型適用于大腦疲勞檢測(cè)。而且，融合時(shí)域特征和空頻域特征進(jìn)行檢測(cè)的思路是正確的。

表3 提出的模型和其它方法在自制數(shù)據(jù)集上的檢測(cè)效果比較

表4 提出的模型和其它方法在SEED-VIG數(shù)據(jù)集上的檢測(cè)效果比較

圖5和圖6分別顯示了提出的模型和現(xiàn)有深度學(xué)習(xí)方法在兩個(gè)數(shù)據(jù)集上的跨被試實(shí)驗(yàn)的結(jié)果。他們參考前面的混合實(shí)驗(yàn)結(jié)果作為參考，然后與跨被試實(shí)驗(yàn)的結(jié)果進(jìn)行比較。通過(guò)數(shù)據(jù)分析，可以發(fā)現(xiàn)提出的CSF-GTNet對(duì)單個(gè)被試的測(cè)試結(jié)果的準(zhǔn)確率低于混合實(shí)驗(yàn)?？傮w平均結(jié)果為71.86%和70.99%，分別比混合調(diào)查結(jié)果低約13%和10.5%。提出的方法對(duì)個(gè)別被試的檢測(cè)效果較差。比如在自制的數(shù)據(jù)集中，10號(hào)被試的檢測(cè)準(zhǔn)確率只有43.47%。在SEED-VIG數(shù)據(jù)集中，被試22的檢測(cè)準(zhǔn)確率僅為46.27%。提出的方法通常表現(xiàn)出優(yōu)異的檢測(cè)效果，比現(xiàn)有的深度學(xué)習(xí)方法高出約2%。這也證明了提出的方法在兩個(gè)數(shù)據(jù)集上的檢測(cè)效果都有很好的魯棒性。綜上所述，對(duì)于自制和SEED-VIG數(shù)據(jù)集，提出的CSF-GTNet在跨主題實(shí)驗(yàn)中表現(xiàn)良好，具有良好的魯棒性。

圖5 在自制數(shù)據(jù)集上的跨被試檢測(cè)效果

圖6 在SEED-VIG數(shù)據(jù)集上的跨被試檢測(cè)效果

如圖7所示，就警戒狀態(tài)而言，有多個(gè)被試，如(a)、(b)、(h)、(j)，顯示大腦額葉最活躍，是在警戒狀態(tài)下由眼球運(yùn)動(dòng)產(chǎn)生的。處于警戒狀態(tài)的人類(lèi)信號(hào)可能包含許多偽影。這是人的眼球運(yùn)動(dòng)和肌電信號(hào)對(duì)腦電信號(hào)的影響。它們產(chǎn)生的這些偽跡是腦電信號(hào)警覺(jué)性的典型特征。此外，還發(fā)現(xiàn)FT9、TP9、FT10和TP10的外周通道電極在其余受試者中更活躍。此外，還發(fā)現(xiàn)了一個(gè)有趣的模式，其中電極活動(dòng)和警覺(jué)性與四個(gè)電極所在的顳葉區(qū)域密切相關(guān)。在額葉表現(xiàn)出注意力的受試者也在顳葉表現(xiàn)出注意力，這比其他區(qū)域的通道發(fā)揮了更顯著的作用。一個(gè)可能的原因是，人類(lèi)大腦的顳葉區(qū)域控制著平衡、情緒和注意力等精神活動(dòng)。皮層信號(hào)比中央?yún)^(qū)更精確，能更好地反映警覺(jué)狀態(tài)。

在疲勞狀態(tài)下，如圖7(e)、(f)、(I)、(j)，發(fā)現(xiàn)他們的O1、Oz和O2電極在枕葉區(qū)域最活躍。此外，枕葉和頂葉區(qū)域的電極通道，如FC1，F(xiàn)C2，CP1和CP2，在其他受試者疲勞時(shí)也很活躍。這種現(xiàn)象可能是因?yàn)楫?dāng)人處于疲勞狀態(tài)時(shí)，眼球運(yùn)動(dòng)的頻率降低。此外，它還影響人們控制注意力和情緒等精神活動(dòng)的能力。

然而，他們也發(fā)現(xiàn)受試者在警覺(jué)狀態(tài)下表現(xiàn)出類(lèi)似疲勞的特征。例如，在圖7(h)中，受試者在額葉和顳葉活躍，枕葉被認(rèn)為是典型的疲勞特征?？赡艿脑蚴鞘茉囌咭呀?jīng)處于早期疲勞狀態(tài)，但看起來(lái)仍處于正常狀態(tài)。因此，在捕獲測(cè)試狀態(tài)時(shí)會(huì)出現(xiàn)誤判。此外，個(gè)別受試者在疲勞狀態(tài)下也表現(xiàn)出了警覺(jué)狀態(tài)的特征。例如，如圖7(a)、(c)所示，當(dāng)兩個(gè)受試者處于疲勞狀態(tài)時(shí)，額葉區(qū)域更加活躍。出現(xiàn)這種情況的原因可能是外部環(huán)境和實(shí)驗(yàn)過(guò)程中被試的身體狀態(tài)使得采集的數(shù)據(jù)有噪聲，干擾了模型的學(xué)習(xí)特性。

圖7 基自制數(shù)據(jù)集，模型學(xué)習(xí)的31個(gè)電極通道的特征激活值以腦拓?fù)鋱D的形式可視化。

此外，他們形象地展示了不同的頻帶在清醒和疲勞狀態(tài)下的區(qū)別，如圖8所示。當(dāng)受試者處于警覺(jué)狀態(tài)時(shí)，θ、α和β波段的激活值較小。當(dāng)他們處于疲勞狀態(tài)時(shí)，上述三個(gè)頻帶的激活值顯著增加。這一結(jié)論與之前的研究相同。他們還發(fā)現(xiàn)γ帶前后激活值變化劇烈，這也可以作為疲勞判斷的依據(jù)。此外，受試者7的四個(gè)頻帶的激活值高于疲勞狀態(tài)下的所有其他受試者?？赡艿脑蚴窃撌茉囌叩钠诔潭认鄬?duì)更重

接著，他們還對(duì)每個(gè)受試者的警覺(jué)和疲勞狀態(tài)的特征激活值進(jìn)行了T檢驗(yàn)。P值小于0.05的兩個(gè)數(shù)據(jù)組可被視為顯著不同。如表5所示，大多數(shù)受試者的P值小于0.05，表明提出的模型可以更好地區(qū)分清醒和疲勞狀態(tài)。然而，受試者1和5的計(jì)算結(jié)果沒(méi)有顯示出顯著差異。這也反映了受試者之間的差異使得模型很難完全區(qū)分警戒和疲勞狀態(tài)。

圖8可視化模型為每個(gè)受試者在警覺(jué)和疲勞狀態(tài)下學(xué)習(xí)的每個(gè)頻帶的激活值。

表5對(duì)每個(gè)受試者的警覺(jué)和疲勞狀態(tài)進(jìn)行T檢驗(yàn)

總結(jié)

基于EEG信號(hào)的時(shí)域和空頻域，提出了一種新的多維特征融合網(wǎng)絡(luò)模型(CSF-GTNet)。提出的模型通過(guò)模型消融實(shí)驗(yàn)、對(duì)比實(shí)驗(yàn)、跨被試實(shí)驗(yàn)和可解釋性實(shí)驗(yàn)來(lái)檢驗(yàn)性能。實(shí)驗(yàn)結(jié)果表明，該方法優(yōu)于現(xiàn)有方法，證明了該模型具有更好的分類(lèi)效果和泛化能力。他們的研究不僅解決了傳統(tǒng)機(jī)器學(xué)習(xí)方法和現(xiàn)有深度學(xué)習(xí)方法在處理復(fù)雜數(shù)據(jù)方面的缺點(diǎn)，而且通過(guò)可視化模型學(xué)習(xí)的特征，更好地驗(yàn)證了提出的模型的優(yōu)越性。

僅用于學(xué)術(shù)分享，若侵權(quán)請(qǐng)留言，即時(shí)刪侵！