編輯 | 蘿卜皮
開(kāi)發(fā)一種新的治療方法風(fēng)險(xiǎn)特別大，過(guò)程非常緩慢，而且可能花費(fèi)數(shù)十億美元。據(jù)統(tǒng)計(jì)，90% 的候選藥物過(guò)不了第一階段的試驗(yàn)。
在這里，Google DeepMind 團(tuán)隊(duì)發(fā)布了 TxGemma，這是一組開(kāi)源模型，旨在通過(guò)利用大型語(yǔ)言模型的強(qiáng)大功能來(lái)提高治療開(kāi)發(fā)的效率。
TxGemma 以之前發(fā)布的 Gemma（一組輕量級(jí)、先進(jìn)的開(kāi)源模型）為基礎(chǔ)，經(jīng)過(guò)專(zhuān)門(mén)訓(xùn)練，可以理解和預(yù)測(cè)整個(gè)發(fā)現(xiàn)過(guò)程中治療實(shí)體的屬性，從確定有希望的目標(biāo)到幫助預(yù)測(cè)臨床試驗(yàn)結(jié)果。這可以縮短從實(shí)驗(yàn)室到臨床的時(shí)間，并降低與傳統(tǒng)方法相關(guān)的成本。
TxGemma 使用 700 萬(wàn)個(gè)訓(xùn)練示例從 Gemma 2 進(jìn)行微調(diào)，是專(zhuān)為預(yù)測(cè)和對(duì)話(huà)式治療數(shù)據(jù)分析而設(shè)計(jì)的開(kāi)源模型。這些模型有三種尺寸，每種尺寸都包含一個(gè)「預(yù)測(cè)」版本，專(zhuān)門(mén)針對(duì)從治療數(shù)據(jù)共享中提取的狹窄任務(wù)進(jìn)行量身定制，例如預(yù)測(cè)分子是否有毒。
這些任務(wù)包括：分類(lèi)（例如，該分子是否會(huì)穿過(guò)血腦屏障）、回歸（例如，預(yù)測(cè)藥物的結(jié)合親和力）、生成（例如，給定某些反應(yīng)的產(chǎn)物，生成反應(yīng)物集）。
開(kāi)發(fā)人員和醫(yī)學(xué)研究者可以根據(jù)自己的治療數(shù)據(jù)和任務(wù)對(duì) TxGemma 進(jìn)行適配調(diào)整。
論文鏈接：https://storage.googleapis.com/research-media/txgemma/txgemma-report.pdf
與執(zhí)行特定任務(wù)的模型不同，TxGemma 綜合了來(lái)自不同來(lái)源的信息，從而能夠廣泛應(yīng)用于整個(gè)治療開(kāi)發(fā)流程。
TxGemma 包括 2B、9B 和 27B 參數(shù)模型，這些模型基于 Gemma-2 進(jìn)行了微調(diào)，適用于小分子、蛋白質(zhì)、核酸、疾病和細(xì)胞系的綜合數(shù)據(jù)集。
圖示：TxGemma 概述。（來(lái)源：論文）
高效的通用治療 LLM
TxGemma 代表了治療開(kāi)發(fā)領(lǐng)域從任務(wù)特定型人工智能向高效通用模型的潛在轉(zhuǎn)變。這些高效的 LLM（2B-27B 參數(shù)）為專(zhuān)業(yè)模型提供了有競(jìng)爭(zhēng)力的替代方案，在廣泛的預(yù)測(cè)和生成任務(wù)中實(shí)現(xiàn)了出色的性能。
在 TDC（Therapeutics Data Commons ）策劃的 66 項(xiàng)治療開(kāi)發(fā)任務(wù)中，TxGemma Predict 在 64 項(xiàng)任務(wù)中的表現(xiàn)優(yōu)于或接近最先進(jìn)的通用模型（在 45 項(xiàng)任務(wù)中優(yōu)于），在 50 項(xiàng)任務(wù)中的表現(xiàn)優(yōu)于或接近最先進(jìn)的專(zhuān)業(yè)模型（在 26 項(xiàng)任務(wù)中優(yōu)于）。
圖示：TxGemma-Predict 的性能與治療屬列表模型的比較。（來(lái)源：論文）
此外，與微調(diào)基礎(chǔ) Gemma-2 相比，對(duì)治療下游任務(wù)（例如臨床試驗(yàn)不良事件預(yù)測(cè)）微調(diào) TxGemma 模型所需的訓(xùn)練數(shù)據(jù)較少，這使得 TxGemma 適合數(shù)據(jù)有限的應(yīng)用。
除了這些預(yù)測(cè)能力之外，TxGemma 還具有對(duì)話(huà)模型，可以彌補(bǔ)一般 LLM 和專(zhuān)業(yè)屬性預(yù)測(cè)器之間的差距。這些模型允許科學(xué)家和醫(yī)學(xué)工作者以自然語(yǔ)言進(jìn)行交互，為基于分子結(jié)構(gòu)的預(yù)測(cè)提供機(jī)械推理，并參與科學(xué)討論。例如，研究人員可以詢(xún)問(wèn) TxGemma-Chat 為什么它預(yù)測(cè)某種分子有毒，并根據(jù)分子的結(jié)構(gòu)獲得解釋。
通用治療 Agent 系統(tǒng)
在此基礎(chǔ)上，研究人員進(jìn)一步推出了 Agentic-Tx，這是一個(gè)由 Gemini 2.0 提供支持的通用治療 Agent 系統(tǒng)，可以推理、行動(dòng)、管理各種工作流程并獲取外部領(lǐng)域知識(shí)。Agentic-Tx 配備了 18 種工具，包括：TxGemma 作為多步推理工具；來(lái)自 PubMed、維基百科和網(wǎng)絡(luò)的通用搜索工具；特定分子工具；基因和蛋白質(zhì)工具。
圖示：使用 Agentic-Tx 進(jìn)行代理規(guī)劃和執(zhí)行的示例工作流程。（來(lái)源：論文）
Agentic-Tx 在 Humanity’s Last Exam 基準(zhǔn)（化學(xué)和生物學(xué)）上超越了當(dāng)下領(lǐng)先的模型，與高級(jí)推理模型 o3-mini（high）相比提高了 9.8%，與 o1 相比提高了 17.9%。
在 ChemBench 上，TxGemma 表現(xiàn)出色，與 o3-mini (high) 相比，其性能提升了 5.6% (ChemBench-Preference) 和 1.1% (ChemBench-Mini)，與 o1 相比，其性能提升了 17.0% 和 4.3%。
發(fā)布模型的同時(shí)，DeepMind 還提供了一個(gè)微調(diào)示例 Colab 筆記本，演示了開(kāi)發(fā)人員如何根據(jù)自己的治療數(shù)據(jù)和任務(wù)調(diào)整 TxGemma。此筆記本使用 TrialBench 數(shù)據(jù)集來(lái)展示如何微調(diào) TxGemma 以預(yù)測(cè)臨床試驗(yàn)中的不良事件。
微調(diào)使研究人員能夠利用其專(zhuān)有數(shù)據(jù)來(lái)創(chuàng)建適合其獨(dú)特研究需求的模型，從而可能產(chǎn)生更準(zhǔn)確的預(yù)測(cè)，幫助研究人員評(píng)估潛在新療法的安全性或有效性。為更具挑戰(zhàn)性的現(xiàn)實(shí)世界治療應(yīng)用中的治療安全性和有效性鋪平道路。
TxGemma 開(kāi)源地址：
https://console.cloud.google.com/vertex-ai/publishers/google/model-garden/txgemma?pli=1&invt=AbtNKA
https://huggingface.co/collections/google/txgemma-release-67dd92e931c857d15e4d1e87
相關(guān)內(nèi)容：
https://x.com/GoogleDeepMind/status/1905274923980853412
https://developers.googleblog.com/en/introducing-txgemma-open-models-improving-therapeutics-development/
熱門(mén)跟貼