打開網(wǎng)易新聞 查看精彩圖片
打開網(wǎng)易新聞 查看精彩圖片

發(fā)掘由情緒活動引發(fā)的腦電模式變化對提升人機(jī)交互中機(jī)器自主化水平具有重要意義,尤其是在涉及多重認(rèn)知變量的動態(tài)操控任務(wù)中。2025年4月,國際期刊《IEEE Transactions on Affective Computing》(中科院1區(qū),五年影響因子11)發(fā)表了一篇題為“Identifying Stable EEG Patterns in Manipulation Task for Negative Emotion Recognition”的研究論文。這項(xiàng)研究由天津(濱海)人工智能創(chuàng)新中心印二威研究員領(lǐng)銜的智能人機(jī)交互團(tuán)隊(duì)完成,謝良副研究員為該論文的共同通訊作者,博士生裴育為論文第一作者,趙少楷助理研究員為論文共同第一作者。

傳統(tǒng)基于視頻誘發(fā)的情緒數(shù)據(jù)集包含的認(rèn)知變量單一。參與者通常僅觀看情緒刺激,而無需執(zhí)行額外的認(rèn)知任務(wù),這降低了所收集情緒數(shù)據(jù)的實(shí)際適用性。為克服此問題,該研究設(shè)計(jì)了一種融合決策過程與動作執(zhí)行的實(shí)時操控范式,構(gòu)建了更貼合實(shí)際操控作業(yè)場景的負(fù)面情緒腦電數(shù)據(jù)集(Continuous-Rated Emotion Dataset,CRED)。同時結(jié)合傳統(tǒng)統(tǒng)計(jì)分析與先進(jìn)的深度學(xué)習(xí)方法,系統(tǒng)性地探討了操控任務(wù)中負(fù)面情緒的腦電特征,深入揭示了悲傷、恐懼、憤怒和厭惡等情緒在神經(jīng)層面的差異性模式。

論文下載地址[https://ieeexplore.ieee.org/abstract/document/10925902]。

CRED數(shù)據(jù)集已在Hugging Face[https://huggingface.co/datasets/peiyu999/CRED]平臺公開發(fā)布。

相關(guān)代碼即將集成至MetaBCI框架中[https://github.com/TBC-TJU/MetaBCI]。

01

研究背景

情緒識別,尤其是負(fù)面情緒識別,在電子健康、心理診斷等領(lǐng)域有廣泛應(yīng)用。但在現(xiàn)實(shí)場景中,情緒與其他認(rèn)知變量(如決策和行動)緊密耦合,導(dǎo)致識別負(fù)面情緒(如憤怒、厭惡、恐懼、悲傷)變得困難。傳統(tǒng)基于視頻的情緒誘發(fā)方法未能充分考慮人機(jī)協(xié)同過程中的認(rèn)知變量。因此,設(shè)計(jì)融合關(guān)鍵認(rèn)知變量的情緒誘發(fā)實(shí)驗(yàn)尤為迫切。該研究利用基于操縱桿的實(shí)時情緒強(qiáng)度評分法,促使決策和行動等認(rèn)知功能腦區(qū)激活,構(gòu)建了一個更貼近操控作業(yè)場景的多模態(tài)生理情緒數(shù)據(jù)集—CRED。基于該數(shù)據(jù)集,該研究以方差分析法和先進(jìn)深度學(xué)習(xí)模型,研究了負(fù)面情緒的穩(wěn)定腦電模式,發(fā)現(xiàn)了枕葉在負(fù)面情緒區(qū)分中起關(guān)鍵作用,且不同負(fù)面情緒的關(guān)鍵頻段各異。

02

研究概述

實(shí)驗(yàn)范式

打開網(wǎng)易新聞 查看精彩圖片

CRED數(shù)據(jù)集示意圖。(a)每名受試者需參與兩個實(shí)驗(yàn)?zāi)K:一個是僅被動觀看情緒刺激的模塊(W-block),另一個是實(shí)時情緒標(biāo)注模塊(R-block)。這兩個模塊的順序是隨機(jī)分配的。(b)每個實(shí)驗(yàn)?zāi)K包含25個試次,情緒視頻的呈現(xiàn)順序是隨機(jī)的。實(shí)驗(yàn)過程中記錄參與者的腦電信號、實(shí)時情緒標(biāo)簽(僅在R-block中記錄)以及其他相關(guān)數(shù)據(jù)。

為了在情緒誘導(dǎo)過程中增強(qiáng)認(rèn)知變量的多樣性,該研究構(gòu)建了一個名為連續(xù)評分情緒數(shù)據(jù)集(CRED)的新數(shù)據(jù)集,該數(shù)據(jù)集引入了基于操縱桿的實(shí)時情緒強(qiáng)度標(biāo)注。參與者不僅需要專注觀看刺激,還需要通過決定何時調(diào)整操縱桿并實(shí)際執(zhí)行操作,持續(xù)評分其情緒強(qiáng)度。該設(shè)計(jì)在情緒誘導(dǎo)過程中引入了兩個關(guān)鍵的認(rèn)知要素——決策和運(yùn)動控制。CRED由24名參與者組成(平均年齡25±1.85歲),涵蓋五種情緒類別:四種負(fù)性情緒(憤怒、恐懼、厭惡、悲傷)和一種中性狀態(tài)。該數(shù)據(jù)集包含多模態(tài)數(shù)據(jù)(腦電信號為主要研究對象)、行為反應(yīng)和實(shí)時情緒標(biāo)注,為在復(fù)雜認(rèn)知條件下研究負(fù)性情緒模式提供了堅(jiān)實(shí)的基礎(chǔ)。

雙分支Transformer(DBT)設(shè)計(jì)

打開網(wǎng)易新聞 查看精彩圖片

雙分支Transformer(DBT)設(shè)計(jì)的核心目的是在提升負(fù)面情緒識別性能的同時增強(qiáng)特征的可解釋性。DBT源自視覺Transformer(ViT),并針對腦電信號的特點(diǎn)進(jìn)行了優(yōu)化,以有效處理腦電信號的時空-頻率表示。通過空間切片和頻譜切片策略,DBT不僅加強(qiáng)了對腦電信號中空間和頻率信息的學(xué)習(xí),還引入了基于梯度的歸因分析方法,幫助識別情感激活的具體模式。基于梯度的歸因分析能夠揭示模型在情緒識別過程中關(guān)注的關(guān)鍵電極和頻率成分,進(jìn)一步深入理解腦電信號中的情緒模式。DBT的創(chuàng)新在于電極切片技術(shù)和頻域切片技術(shù),使Transformer網(wǎng)絡(luò)在處理腦電信號時更加高效,從而在提高情緒識別性能的同時,更準(zhǔn)確地揭示情緒的空間-頻率特征。這些設(shè)計(jì)思想和技術(shù)的結(jié)合,顯著提升了模型在負(fù)面情緒識別中的可靠性與準(zhǔn)確性,同時為情緒模式的探索提供了更深層次的理解。

負(fù)性情緒腦電模式分析

結(jié)合DBT的歸因分析與方差分析,負(fù)性情緒腦電模式如下圖所示。

打開網(wǎng)易新聞 查看精彩圖片

(a)該研究使用的腦電電極位置。(b)總體方差分析獲得的情緒模式。

打開網(wǎng)易新聞 查看精彩圖片

通過方差分析獲得的情緒模式。(a)W-block的結(jié)果。(b)R-block的結(jié)果。

打開網(wǎng)易新聞 查看精彩圖片

基于梯度的歸因法分析結(jié)果。

03

結(jié)論

該研究在復(fù)雜認(rèn)知背景下探討了腦電圖中穩(wěn)定的負(fù)面情緒模式。為融入更多認(rèn)知因素,該研究提出了一種融合決策過程與動作執(zhí)行的實(shí)時操控范式范式,將實(shí)時情緒標(biāo)注與被動情緒刺激相結(jié)合,創(chuàng)建了一個名為CRED的新數(shù)據(jù)集。通過引入一種改進(jìn)的Transformer模型—DBT,利用空間和頻譜切片方法在CRED數(shù)據(jù)集中捕捉穩(wěn)定的負(fù)面情緒模式。在實(shí)時標(biāo)注與被動觀看刺激之間,該研究觀察到了負(fù)面情緒模式的跨被試一致性。通過空間和頻譜切片,DBT在負(fù)面情緒識別中表現(xiàn)出了競爭力的準(zhǔn)確性:在CRED數(shù)據(jù)集上的準(zhǔn)確率為42.183%,在SEED數(shù)據(jù)集上的準(zhǔn)確率為83.438%,在SEED-V數(shù)據(jù)集上的準(zhǔn)確率為72.831%,并且在跨受試者驗(yàn)證中也表現(xiàn)出色?;谔荻鹊慕忉尫治鼋沂玖苏砣~在負(fù)面情緒分類中的關(guān)鍵作用。綜上所述,該研究結(jié)果證實(shí)了在引入額外認(rèn)知變量的情況下,情緒腦電模式的穩(wěn)定性。

僅用于學(xué)術(shù)分享,若侵權(quán)請留言,即時刪侵!

打開網(wǎng)易新聞 查看精彩圖片

歡迎加入腦機(jī)接口社區(qū)交流群,

探討腦機(jī)接口領(lǐng)域話題,實(shí)時跟蹤腦機(jī)接口前沿。

加微信群:

添加微信:RoseBCI【備注:姓名+行業(yè)/專業(yè)】。

歡迎來稿

1.歡迎來稿。投稿咨詢,請聯(lián)系微信:RoseBCI

點(diǎn)擊投稿:

2.加入社區(qū)成為兼職創(chuàng)作者,請聯(lián)系微信:RoseBCI

一鍵三連「分享」、「點(diǎn)贊」和「在看」

不錯過每一條腦機(jī)前沿進(jìn)展