3-5微米厚的病理切片中，藏著生與死的答案，而顯微鏡下的百年傳承正在迎來(lái)AI革命。
近日，西湖大學(xué)發(fā)布全球首個(gè)融合鏡下視野和全場(chǎng)圖的多模態(tài)病理大模型DeepPathAI，可實(shí)現(xiàn)從樣本處理到病理報(bào)告生成全鏈路的智慧化升級(jí)，覆蓋40多個(gè)癌種。
這項(xiàng)歷時(shí)5年的研究成果，始于從海量文獻(xiàn)書籍的數(shù)據(jù)中“淘金”，由人工智能與生物醫(yī)學(xué)影像實(shí)驗(yàn)室負(fù)責(zé)人楊林教授，帶領(lǐng)一群年輕人組成的團(tuán)隊(duì)完成。
楊林教授
目前，DeepPathAI即將在杭州市第一人民醫(yī)院“上崗”。大模型驅(qū)動(dòng)的AI，正在成為病理醫(yī)生的“第二雙眼睛”和“第二個(gè)大腦”，重塑傳統(tǒng)病理工作流程。
而對(duì)于醫(yī)療資源匱乏的偏遠(yuǎn)地區(qū)來(lái)說(shuō)，AI也可以成為打開(kāi)公平醫(yī)療之門的一把鑰匙，讓優(yōu)質(zhì)診斷服務(wù)突破地域限制，惠及更多患者。
覆蓋40多種癌癥類型
從19世紀(jì)“細(xì)胞病理學(xué)之父”魯?shù)婪颉の籂栃ぴ陲@微鏡下觀察細(xì)胞開(kāi)始，病理圖像一直是癌癥等疾病診斷的“金標(biāo)準(zhǔn)”。病理醫(yī)生通過(guò)對(duì)病理圖像的判讀，來(lái)確定患者的癌癥等級(jí)，以及將采用怎樣的治療方案。
然而根據(jù)中國(guó)腫瘤登記年報(bào)測(cè)算，目前，我國(guó)每年新發(fā)癌癥病例約為406萬(wàn)，病理醫(yī)生卻只有2萬(wàn)名左右，存在巨大的人才缺口。
此外，傳統(tǒng)的病理診斷，依賴顯微鏡下圖像分析，需要在億萬(wàn)細(xì)胞間尋找病變的蛛絲馬跡，這一過(guò)程既耗時(shí)又易受主觀因素影響。
而AI，恰好擅長(zhǎng)“大海撈針”。
2017年，谷歌DeepMind團(tuán)隊(duì)首次讓AI“閱讀”乳腺癌病理切片，成功識(shí)別癌變區(qū)域。當(dāng)時(shí)他們所用的深度神經(jīng)網(wǎng)絡(luò)框架，便是基于戰(zhàn)勝了人類圍棋冠軍的AlphaGo。
8年后，楊林團(tuán)隊(duì)走得更遠(yuǎn)——聯(lián)合多家頂尖醫(yī)療機(jī)構(gòu)，整合百萬(wàn)級(jí)多模態(tài)數(shù)據(jù)，自主研發(fā)臨床級(jí)多模態(tài)病理大模型DeepPathAI，可支持宮頸癌、肺癌、乳腺癌、胃癌等40多種癌癥類型的互動(dòng)式診斷。
“國(guó)際上現(xiàn)有開(kāi)源大模型大多適用于部分研究和測(cè)試場(chǎng)景，性能有限，且通常不提供完整的數(shù)據(jù)集支持，難以滿足大規(guī)模臨床應(yīng)用的需求。所以，我們要自主開(kāi)發(fā)病理基座大模型，完整嵌入整個(gè)臨床流程。”見(jiàn)到楊林，是在西湖大學(xué)舉行的首屆數(shù)智病理西湖峰會(huì)上，他是大會(huì)執(zhí)行主席，也是分享嘉賓。
出席這場(chǎng)峰會(huì)的，有中科院院士、高校人工智能專家，還有全國(guó)多家三甲醫(yī)院院長(zhǎng)以及超過(guò)百位病理科主任等，大家共聚一堂探討大模型時(shí)代的數(shù)智病理。
在開(kāi)幕致辭中，西湖大學(xué)校長(zhǎng)施一公提道：“當(dāng)科研真正進(jìn)入臨床，跨界融合的生命力一定會(huì)凸顯出來(lái)?！?/strong>
半秒完成鏡下分析
結(jié)構(gòu)化報(bào)告自動(dòng)生成
眼下，病理大模型是AI+醫(yī)療領(lǐng)域的一大研究焦點(diǎn)，也是攻克難點(diǎn)。比如哈佛醫(yī)學(xué)院2024年發(fā)布計(jì)算病理學(xué)視覺(jué)語(yǔ)言基礎(chǔ)模型UNI和CONCH，2025年初多模態(tài)全切片基礎(chǔ)模型“泰坦”問(wèn)世；微軟研究院也于去年推出全切片數(shù)字病理學(xué)模型GigaPath。
在楊林看來(lái)，“大一統(tǒng)”是DeepPathAI的核心優(yōu)勢(shì)。日常病理診斷中，醫(yī)生既會(huì)用顯微鏡觀察局部細(xì)節(jié)（鏡下視野圖），也會(huì)查看全場(chǎng)圖以了解整體情況?！澳壳暗拇竽Ｐ屯ǔＶ荒芴幚砥渲幸环N，而我們將兩者結(jié)合，構(gòu)建了首個(gè)融合鏡下視野和全場(chǎng)圖像的多模態(tài)病理大模型框架?！?/p>
除了大模型的基礎(chǔ)理論研究，這個(gè)團(tuán)隊(duì)也正在將AI的力量注入常用的光學(xué)和硬件設(shè)備中，成為病理醫(yī)生的智能小助手。
顯微鏡搭載DeepPathAI后，只需將病理切片置于顯微鏡下，大模型即可實(shí)時(shí)讀取鏡下視野圖像，并在0.5秒內(nèi)提供定量分析和判讀提示。
遇到疑難區(qū)域，病理醫(yī)生也可以一鍵采圖向DeepPathAI提問(wèn)，獲得關(guān)于該視野圖像的回答；還可以在數(shù)據(jù)庫(kù)中“以圖搜圖”，找到類似病例和診療信息，實(shí)時(shí)查詢相關(guān)文獻(xiàn)，進(jìn)一步輔助診斷。
而全切片掃描儀搭載DeepPathAI后，能對(duì)40多個(gè)癌種進(jìn)行智能分析，算法模塊覆蓋細(xì)胞病理、組織病理、免疫組化和分子病理等。它還支持多種組織切片的智能分析，定位癌變區(qū)域，自動(dòng)完成疾病分型。
想象一下，在忙碌的工作中，醫(yī)生們只需啟動(dòng)掃描儀，DeepPathAI就會(huì)在后臺(tái)默默工作。第二天，就能看到一份AI填寫的結(jié)構(gòu)化報(bào)告。當(dāng)然，病理醫(yī)生仍需完成最后報(bào)告的核驗(yàn)、審批和最終簽發(fā)。
這場(chǎng)變革不止于硬件。當(dāng)DeepPathAI深度集成到病理信息管理系統(tǒng)，語(yǔ)音交互讓病史查詢變得輕松自然，智能校對(duì)還能敏銳捕捉諸如“女性前列腺”之類的手誤……
很快，杭州市第一人民醫(yī)院就將迎來(lái)這位“新同事”的正式上崗。
將臨床和研究深度融合
從事計(jì)算機(jī)病理學(xué)超20年，楊林的最大感受就是：“這個(gè)領(lǐng)域太卷了，大家都在拼命往前跑?！彼故玖艘粡埐±泶竽Ｐ脱芯繗v程的時(shí)間軸圖表，上方是西湖大學(xué)的相關(guān)研究，下方是哈佛、斯坦福、微軟等國(guó)際頂尖團(tuán)隊(duì)的成果，你追我趕。
這位從西安走出來(lái)的科學(xué)家，人生軌跡充滿了跨界色彩。本碩就讀于西安交通大學(xué)，2002年獲得圖像處理與模式識(shí)別碩士學(xué)位，隨后赴美深造。在羅格斯大學(xué)攻讀博士期間，他同時(shí)師從計(jì)算機(jī)專家和病理學(xué)家兩位導(dǎo)師，由此開(kāi)啟AI與醫(yī)學(xué)交叉研究的學(xué)術(shù)生涯。
2009-2015年，楊林先后在美國(guó)多所知名高校任職，從羅格斯大學(xué)的病理學(xué)系、放射學(xué)系，到佛羅里達(dá)大學(xué)的生物醫(yī)學(xué)工程系、計(jì)算機(jī)系，并在那里獲得終身副教授。
2017年，他回國(guó)創(chuàng)業(yè)，在杭州創(chuàng)辦迪英加科技有限公司，現(xiàn)已成為杭州準(zhǔn)獨(dú)角獸企業(yè)，致力于將AI技術(shù)和數(shù)智病理深度融合。
“當(dāng)時(shí)發(fā)現(xiàn)學(xué)術(shù)論文已經(jīng)發(fā)了很多，但似乎都還沒(méi)有真正抓到本質(zhì)問(wèn)題。”楊林回憶道，“在我現(xiàn)在所處的職業(yè)階段，最在意的只有工作影響力。而深入臨床一線后發(fā)現(xiàn)，只有真正理解臨床需求，才有機(jī)會(huì)挖掘到具有更大范圍影響力的學(xué)術(shù)研究問(wèn)題。”
3年后他再次轉(zhuǎn)身，加入西湖大學(xué)工學(xué)院，成立人工智能與生物醫(yī)學(xué)影像實(shí)驗(yàn)室，逐步建立起針對(duì)不同疾病的研究項(xiàng)目。楊林意識(shí)到：“臨床中有很多迫切需要解決的基礎(chǔ)理論問(wèn)題，這些基礎(chǔ)理論問(wèn)題就必須回歸學(xué)術(shù)研究，比如模型泛化問(wèn)題，這些需要長(zhǎng)期投入的基礎(chǔ)性工作更適合高校環(huán)境。”
初到西湖大學(xué)的那兩年，他帶領(lǐng)團(tuán)隊(duì)埋頭于海量數(shù)據(jù)的收集與清洗工作?！拔覀冋狭司W(wǎng)絡(luò)公開(kāi)資源、專業(yè)書籍、共識(shí)指南等，也和全國(guó)上百家三甲醫(yī)院合作，最終建立起百萬(wàn)級(jí)別的病理圖文數(shù)據(jù)庫(kù)。”
2023年，團(tuán)隊(duì)發(fā)布首個(gè)成果——醫(yī)學(xué)數(shù)據(jù)庫(kù)PathAsst，包含130億參數(shù)、700萬(wàn)醫(yī)學(xué)文獻(xiàn)；2024年，連續(xù)發(fā)布4個(gè)病理基礎(chǔ)大模型，并獲得領(lǐng)域頂級(jí)會(huì)議MICCAI 2024的Young Scientist Award。
從學(xué)者到創(chuàng)業(yè)者，再回歸學(xué)術(shù)，成就了楊林臨床和研究全面融合的獨(dú)特視角。
讓病理醫(yī)生有機(jī)會(huì)多吃上一頓熱飯
2023年初，國(guó)家多部門聯(lián)合印發(fā)《加速消除宮頸癌行動(dòng)計(jì)劃（2023-2030年）》，加快推進(jìn)我國(guó)宮頸癌消除進(jìn)程。面對(duì)每年3億適齡婦女的篩查需求，傳統(tǒng)病理診斷模式面臨巨大壓力。
“在做了100萬(wàn)例人工智能的分析比對(duì)后，我們看到DeepPathAI的陽(yáng)性檢出率，比傳統(tǒng)的第三方高出約2個(gè)百分點(diǎn)。”
這個(gè)數(shù)字的背后，是AI對(duì)宮頸癌篩查流程的重構(gòu)——大模型負(fù)責(zé)海量樣本的初篩，醫(yī)生可更專注于陽(yáng)性病例的復(fù)診，閱片效率和診斷準(zhǔn)確率都能得到提升。事實(shí)上，早兩年，新疆地區(qū)農(nóng)村婦女的“兩癌”（乳腺癌、宮頸癌）篩查中，已經(jīng)用上了楊林團(tuán)隊(duì)研發(fā)的人工智能解決方案。
楊林自稱是“科技的樂(lè)觀主義者”“理想的現(xiàn)實(shí)主義者”。“AI不會(huì)取代醫(yī)生，但會(huì)重塑醫(yī)療場(chǎng)景?！痹谒磥?lái)，技術(shù)終將回歸服務(wù)本質(zhì)——減輕醫(yī)生負(fù)擔(dān)，彌合醫(yī)療鴻溝。
在那天的峰會(huì)上，楊林用了一個(gè)小故事，結(jié)束了關(guān)于“從DeepSeek到DeepPathAI”的分享：在過(guò)去幾年交流的數(shù)百位病理主任中，他注意到其中一位的辦公室里總是放著很多方便面。追問(wèn)之下才知道，這位主任每天都要等冰凍室送來(lái)切片，只能用泡面當(dāng)晚飯。
“而我們努力在做的，就是讓這樣的病理醫(yī)生可以早點(diǎn)回家，吃上一頓熱飯?！?/strong>
文 | 童蔚
VIEW MORE
@一舉包攬全球前三，杭州成了開(kāi)源大模型之城？>>
@AI智能體“實(shí)在人” >>
@我們用吉普力的畫風(fēng)重新演繹“來(lái)自東方的力量” >>
@華人“芯”事>>
熱門跟貼