新智元報(bào)道
編輯：LRST
【新智元導(dǎo)讀】清華大學(xué)團(tuán)隊(duì)通過(guò)AI for Optics創(chuàng)新賦能超分辨光學(xué)顯微鏡，將活細(xì)胞成像體積分辨率提升15.4倍！借助這一工具，研究人員可為癌細(xì)胞分裂、胚胎發(fā)育等精密生命過(guò)程拍攝「4K高清電影」，從而撬動(dòng)生物醫(yī)藥領(lǐng)域的重大突破。
近年來(lái)，以深度學(xué)習(xí)為代表的智能計(jì)算方法對(duì)光學(xué)顯微鏡發(fā)展產(chǎn)生變革性影響。通過(guò)光學(xué)成像系統(tǒng)與智能算法的聯(lián)合優(yōu)化，可在極大程度上突破光學(xué)系統(tǒng)設(shè)計(jì)的時(shí)空帶寬固有局限。
如何基于光學(xué)系統(tǒng)與人工智能的交叉創(chuàng)新突破性能瓶頸，以三維視角和亞細(xì)胞級(jí)各向同性分辨率觀測(cè)動(dòng)態(tài)生物過(guò)程，是光學(xué)顯微成像領(lǐng)域的前沿重要挑戰(zhàn)。
近日，清華大學(xué)生命學(xué)院李棟課題組與自動(dòng)化系戴瓊海團(tuán)隊(duì)合作提出一款全新的「AI+」顯微鏡：元學(xué)習(xí)驅(qū)動(dòng)的反射式晶格光片虛擬結(jié)構(gòu)光照明顯微鏡（Meta-rLLS-VSIM）。合作團(tuán)隊(duì)利用AI賦能超分辨光學(xué)顯微鏡，硬件軟件協(xié)同優(yōu)化，實(shí)現(xiàn)「1+1>2」的成像效果，開(kāi)啟了生物醫(yī)學(xué)活體觀測(cè)的全新視角。
論文鏈接：https://www.nature.com/articles/s41592-025-02678-3
在諸多三維光學(xué)顯微成像的技術(shù)方案中，光片顯微鏡（LSM）是當(dāng)前最適宜進(jìn)行多細(xì)胞、大體積樣本三維成像的模態(tài)之一。
2014年，諾貝爾化學(xué)獎(jiǎng)得主Eric Betzig在傳統(tǒng)LSM的基礎(chǔ)上發(fā)明了晶格光片顯微鏡（LLSM），并通過(guò)與結(jié)構(gòu)光照明（SIM）相結(jié)合，形成晶格光片結(jié)構(gòu)光照明顯微鏡（LLS-SIM）解決方案。
LLS-SIM可在結(jié)構(gòu)光照明方向上將分辨率提升至150納米左右，這也是當(dāng)前最新的前沿技術(shù)方法。然而，LLS-SIM僅能產(chǎn)生單一方向的結(jié)構(gòu)光照明，導(dǎo)致空間分辨率各向異性，未超分辨方向易產(chǎn)生畸變，限制了對(duì)三維亞細(xì)胞動(dòng)態(tài)的精準(zhǔn)探測(cè)。
針對(duì)這一難題，Meta-rLLS-VSIM通過(guò)AI與光學(xué)交叉創(chuàng)新，在不犧牲成像速度、光子代價(jià)等核心成像指標(biāo)的前提下，將LLS-SIM 的一維超分辨能力擴(kuò)展至XYZ三個(gè)維度，實(shí)現(xiàn)橫向 120 nm、軸向 160 nm 的近各向同性成像分辨率，相比于LLSM，體積成像分辨率提升15.4倍！
特別地，該工作將元學(xué)習(xí)策略與系統(tǒng)數(shù)據(jù)采集過(guò)程深度融合，僅需3分鐘就可以完成從訓(xùn)練數(shù)據(jù)采集到深度學(xué)習(xí)模型的自適應(yīng)部署過(guò)程，讓AI工具在實(shí)際生物實(shí)驗(yàn)中的應(yīng)用達(dá)到近乎「零門(mén)檻」。
合作團(tuán)隊(duì)在植物花粉管、小鼠胚胎、秀麗隱桿線蟲(chóng)胚胎及真核有絲分裂或分裂間期的其他真核生物等從單細(xì)胞到胚胎尺度的多種生物樣本上進(jìn)行了實(shí)驗(yàn)，驗(yàn)證了 Meta-LLS-VSIM 在快速、長(zhǎng)時(shí)程、多色三維超分辨成像任務(wù)中的能力。
Meta-rLLS-VSIM可實(shí)現(xiàn)從細(xì)胞到胚胎的跨尺度五維活體超分辨觀測(cè)
「虛擬結(jié)構(gòu)光照明」提升橫向分辨率
受限于特殊的雙物鏡垂直安裝的光學(xué)系統(tǒng)設(shè)計(jì)方案，LLS-SIM只能產(chǎn)生固定方向的結(jié)構(gòu)光，而只有結(jié)構(gòu)光照明的方向才能具備超分辨能力。
研究團(tuán)隊(duì)注意到，由于生物樣本生長(zhǎng)方向的隨機(jī)性，LLS-SIM采集到的單一方向超分辨信息實(shí)則涵蓋了各個(gè)不同方向上的樣本結(jié)構(gòu)特征。因而，如果使用深度神經(jīng)網(wǎng)絡(luò)（DNN）可以學(xué)習(xí)到單一維度超分辨能力，就有潛力將其拓展至其他方向。
于是研究團(tuán)隊(duì)利用自主搭建的成像系統(tǒng)，采集了不同生物樣本的LLSM/LLS-SIM圖像對(duì)作為訓(xùn)練集，并訓(xùn)練了一個(gè)精心設(shè)計(jì)的DNN模型用以學(xué)習(xí)單一維度超分辨能力。
在推理階段，只需將LLSM低分辨率圖像以特定取向輸入到DNN模型中，就可以得到這一方向分辨率提升的結(jié)果。DNN模型就像是可以任意改變?nèi)∠虻摹柑摂M結(jié)構(gòu)光」，彌補(bǔ)了LLS-SIM系統(tǒng)的固有缺陷。
最后，通過(guò)維納解卷積等方式將不同方向的一維超分辨圖像進(jìn)行融合，使它們不同方向的超分辨率信息互補(bǔ)，即可獲得在平面內(nèi)分辨率一致的各向同性超分辨圖像。
虛擬結(jié)構(gòu)光照明超分辨DNN模型數(shù)據(jù)采集、訓(xùn)練與推理
研究團(tuán)隊(duì)在亞細(xì)胞結(jié)構(gòu)肌動(dòng)蛋白微絲上測(cè)試了虛擬結(jié)構(gòu)光照明成像（VSI-SR）的效果，發(fā)現(xiàn)相比于其它方法，虛擬結(jié)構(gòu)光照明圖像更加清晰，在頻域上不僅包含更多高頻信息，而且保持各向同性。
虛擬結(jié)構(gòu)光照明成像效果展示
雙視角信息融合提升軸向分辨率
盡管虛擬結(jié)構(gòu)光照明可將LLS-SIM超分辨能力拓展到整個(gè)二維平面，但無(wú)法提升與這一平面垂直方向上的分辨率（即軸向分辨率）。
為解決這一問(wèn)題，研究團(tuán)隊(duì)將承載生物樣本的蓋玻片替換為一個(gè)反射鏡，在進(jìn)行三維成像時(shí)，鏡面上方的實(shí)像和下方的虛像被同時(shí)拍攝，并且二者的空間視角不同。
雙視角之于單視角類(lèi)似于雙目視覺(jué)之于單目視覺(jué)，兩個(gè)視角的分辨率空間取向不同，意味著兩個(gè)視角橫向與軸向分辨率互補(bǔ)，融合兩個(gè)視角圖像的信息可在空間信息采集的本質(zhì)上提升軸向分辨率。
Meta-rLLS-VSIM基于鏡面反射的雙視角成像原理
為了更好的融合兩個(gè)視角信息，研究團(tuán)隊(duì)提出了光學(xué)成像模型啟發(fā)的Richardson-Lucy雙循環(huán)融合網(wǎng)絡(luò)架構(gòu)（RL-DFN）。
RL-DFN融合了多視角Richardson-Lucy迭代公式，使用可訓(xùn)練卷積層替代前向和反向傳播算子，在保證信息融合符合統(tǒng)計(jì)學(xué)規(guī)律的前提下，提升融合效果。
隨后，將融合得到的高分辨率結(jié)果與光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)（PSF）進(jìn)行卷積，并與輸入圖像體棧計(jì)算循環(huán)損失（Cycle Loss）。這一Cycle Loss將RL-DFN約束為滿足物理先驗(yàn)條件的解卷積模型，使軸向分辨率的提升在物理上可靠。
為進(jìn)一步提升融合結(jié)果保真度，研究團(tuán)隊(duì)在RL-DFN設(shè)計(jì)中引入了判別器。判別器通過(guò)分辨RL-DFN輸出的任意二維切面圖與虛擬結(jié)構(gòu)光成像得到的各向同性超分辨平面圖，與RL-DFN相互競(jìng)爭(zhēng)。
而RL-DFN為了騙過(guò)判別器，會(huì)努力提升信息融合效果，使任意方向的切面都達(dá)到各向同性超分辨，最后實(shí)現(xiàn)在三維空間上的各向同性分辨率。
RL-DFN的模型結(jié)構(gòu)示意
在雙視角循環(huán)Cycle Loss的約束和判別器的對(duì)抗下，RL-DFN可以充分利用雙視角互補(bǔ)分辨率信息，合理提升軸向分辨率。
研究團(tuán)隊(duì)將RL-DFN與其他無(wú)監(jiān)督方法在仿真數(shù)據(jù)上進(jìn)行對(duì)比，發(fā)現(xiàn)RL-DFN能夠?qū)崿F(xiàn)各向同性的超分辨信息融合，并且更精確地恢復(fù)出樣本細(xì)節(jié)。
RL-DFN與其它方法重建效果對(duì)比
元學(xué)習(xí)實(shí)現(xiàn)AI模型的快速自適應(yīng)部署
在實(shí)際生物成像實(shí)驗(yàn)當(dāng)中，由于DNN泛化性和表征能力受限，通常需要為每一種不同的生物結(jié)構(gòu)、甚至不同信噪比訓(xùn)練專(zhuān)用模型，以得到最佳的模型推理效果。
而亞細(xì)胞結(jié)構(gòu)成百上千，且形態(tài)各異，為每一種結(jié)構(gòu)訓(xùn)練模型需采集海量訓(xùn)練數(shù)據(jù)，并消耗大量計(jì)算成本和時(shí)間成本，導(dǎo)致AI工具在實(shí)際成像實(shí)驗(yàn)中難以被廣泛應(yīng)用。
為了解決這一難題，研究團(tuán)隊(duì)將「元學(xué)習(xí)」與光學(xué)顯微系統(tǒng)的數(shù)據(jù)采集時(shí)序深度融合，將模型訓(xùn)練所需的數(shù)據(jù)量降低12倍，訓(xùn)練時(shí)間降低720倍，實(shí)現(xiàn)了AI模型的快速自適應(yīng)部署。
元學(xué)習(xí)的核心思想是在訓(xùn)練過(guò)程中不僅關(guān)注單一任務(wù)的性能優(yōu)化，而是希望使訓(xùn)練模型在面對(duì)新任務(wù)時(shí)，快速地調(diào)整自身參數(shù)，以實(shí)現(xiàn)模型的快速遷移。
元學(xué)習(xí)訓(xùn)練得到的通用元模型雖然無(wú)法在單個(gè)任務(wù)上達(dá)到最佳的推理效果，但是它可以通過(guò)在少量子任務(wù)數(shù)據(jù)的少量訓(xùn)練，快速收斂到子任務(wù)的最佳模型。通用元模型相當(dāng)于「交通樞紐」，有著到達(dá)所有子任務(wù)最佳模型的「快速路徑」。
在Meta-rLLS-VSIM中，研究團(tuán)隊(duì)將不同生物樣本和信噪比的超分辨重建問(wèn)題視為單獨(dú)的子任務(wù)，訓(xùn)練單方向超分辨任務(wù)的通用元模型。
當(dāng)在新的子任務(wù)部署時(shí)，僅需采集3對(duì)高低分辨率圖像對(duì)，并進(jìn)行30 次微調(diào)迭代，就可以快速得到針對(duì)這一新任務(wù)的最優(yōu)DNN模型。
元學(xué)習(xí)驅(qū)動(dòng)的模型快速自適應(yīng)部署實(shí)現(xiàn)流程
為了簡(jiǎn)化操作流程，研究團(tuán)隊(duì)還在顯微鏡控制程序上實(shí)現(xiàn)了通用元模型部署流程的全自動(dòng)化。使用者只需要在圖形界面點(diǎn)擊幾個(gè)待采集區(qū)域，后續(xù)從數(shù)據(jù)采集、到訓(xùn)練集超分辨重建、再到元模型微調(diào)，全部流程都可在后端自動(dòng)實(shí)現(xiàn)，且僅需不到3分鐘時(shí)間。
元學(xué)習(xí)驅(qū)動(dòng)的模型快速自適應(yīng)部署過(guò)程視頻展示
借助元學(xué)習(xí)構(gòu)建的「交通樞紐」和全自動(dòng)化部署流程，研究團(tuán)隊(duì)實(shí)現(xiàn)了AI模型在不同生物樣本場(chǎng)景下的快速自適應(yīng)部署，大大降低了AI模型在實(shí)際生物成像實(shí)驗(yàn)中的使用門(mén)檻，讓AI真正可以輔助生命科學(xué)新發(fā)現(xiàn)。
綜上，Meta-rLLS-VSIM通過(guò)反射增強(qiáng)雙視角晶格光片顯微鏡與元學(xué)習(xí)快速自適應(yīng)部署模式的成像系統(tǒng)硬件升級(jí)，與虛擬結(jié)構(gòu)光照明和RL雙循環(huán)融合網(wǎng)絡(luò)的人工智能算法創(chuàng)新，展現(xiàn)了軟硬件協(xié)同優(yōu)化帶來(lái)的光學(xué)顯微鏡成像能力巨大提升。
Meta-rLLS-VSIM的出現(xiàn)為細(xì)胞生物學(xué)、神經(jīng)科學(xué)等基礎(chǔ)學(xué)科發(fā)展提供了新的技術(shù)路徑，有望幫助生命科學(xué)研究人員從更全面的多維視角發(fā)現(xiàn)、理解、探究豐富多彩的生物現(xiàn)象。
參考資料：
https://www.nature.com/articles/s41592-025-02678-3
熱門(mén)跟貼