語(yǔ)言模型的輸出時(shí)常與事實(shí)相悖，對(duì)于負(fù)有監(jiān)管或安全責(zé)任的行業(yè)來(lái)說(shuō)，這可能是一個(gè)嚴(yán)重的責(zé)任。這就是為什么開(kāi)源人工智能實(shí)驗(yàn)室Oumi發(fā)布了HallOumi，這是一個(gè)逐行分析LLM反應(yīng)的模型，對(duì)每個(gè)句子的事實(shí)準(zhǔn)確性進(jìn)行評(píng)分，并用詳細(xì)的理由和引用來(lái)支持其判斷。
Oumi今年早些時(shí)候推出了“人工智能的Linux”，將自己定位為一個(gè)完全開(kāi)源的人工智能平臺(tái)，用于開(kāi)發(fā)基礎(chǔ)模型，旨在為學(xué)術(shù)界和企業(yè)推進(jìn)前沿人工智能。該平臺(tái)是與美國(guó)和英國(guó)的13所大學(xué)合作開(kāi)發(fā)的，其中包括加州理工學(xué)院、麻省理工學(xué)院和牛津大學(xué)等名校。
Oumi首席執(zhí)行官M(fèi)anos Koukoumidis和聯(lián)合創(chuàng)始人兼人工智能研究員Jeremy Greer介紹了HallOumi背后的動(dòng)機(jī)，并展示了它是如何運(yùn)作的。
信任差距的開(kāi)源解決方案
Koukoumidis表示，HallOumi背后的動(dòng)機(jī)源于企業(yè)對(duì)透明和值得信賴的人工智能系統(tǒng)的需求不斷增長(zhǎng)，特別是在受監(jiān)管的行業(yè)。從一開(kāi)始，Oumi就將自己定位為一個(gè)完全開(kāi)源的平臺(tái)，旨在使企業(yè)和學(xué)術(shù)機(jī)構(gòu)能夠輕松開(kāi)發(fā)自己的基礎(chǔ)模型。但正是該公司最近推出后的興趣浪潮突顯了一個(gè)問(wèn)題變得多么緊迫：幻覺(jué)。
金融和醫(yī)療保健等行業(yè)希望采用大型語(yǔ)言模型，但幻覺(jué)或沒(méi)有事實(shí)支持的輸出阻礙了它們的發(fā)展。問(wèn)題不僅限于面向外部的應(yīng)用程序。即使在內(nèi)部用作數(shù)字助理或總結(jié)者，LLM也需要值得信賴。企業(yè)需要一種可靠的方法來(lái)確定模型的輸出是否基于它所提供的輸入，特別是在合規(guī)、財(cái)務(wù)分析或政策解釋等關(guān)鍵用例中。
Koukoumidis說(shuō)：“他們真的很關(guān)心（能否）信任這些LLM的能力，因?yàn)檫@些是關(guān)鍵任務(wù)場(chǎng)景?！?/p>
這就是HallOumi發(fā)揮作用的地方。HallOumi旨在在任何用戶可以提供輸入（如文檔或知識(shí)庫(kù)）和LLM生成的輸出的環(huán)境中工作，它會(huì)檢查該輸出是否得到事實(shí)支持，或者是否產(chǎn)生了幻覺(jué)。
HallOumi的工作原理
HallOumi的核心旨在回答一個(gè)看似簡(jiǎn)單的問(wèn)題：這種說(shuō)法可信嗎？Oumi將驗(yàn)證人工智能輸出的任務(wù)定義為評(píng)估所生成的每條陳述的真實(shí)性，識(shí)別支持陳述有效性（或揭示其不準(zhǔn)確之處）的證據(jù)，并通過(guò)將每條陳述與其支持證據(jù)聯(lián)系起來(lái)來(lái)確保完全可追溯性。
HallOumi在構(gòu)建時(shí)考慮了可追溯性和精確性，逐句分析響應(yīng)。無(wú)論內(nèi)容是人工智能生成的還是人工編寫(xiě)的，它都會(huì)根據(jù)用戶提供的一組上下文文檔來(lái)評(píng)估每個(gè)單獨(dú)的斷言。
根據(jù)Oumi的說(shuō)法，HallOumi識(shí)別并分析了AI模型輸出中的每個(gè)斷言，并確定了以下內(nèi)容：
所提供的上下文支持或不支持?jǐn)嘌缘某潭纫约爸眯哦鹊梅帧＿@個(gè)分?jǐn)?shù)對(duì)于允許用戶在檢測(cè)幻覺(jué)時(shí)定義自己的精確度/召回率權(quán)衡至關(guān)重要。
與聲明相關(guān)的引用（相關(guān)句子），使人們能夠輕松地只檢查上下文文檔的相關(guān)部分，以確認(rèn)或反駁標(biāo)記的幻覺(jué)，而不需要通讀整個(gè)文檔，因?yàn)檎麄€(gè)文檔可能很長(zhǎng)。
詳細(xì)說(shuō)明為什么支持或不支持?jǐn)嘌?。這有助于進(jìn)一步提高人類的效率和準(zhǔn)確性，因?yàn)榛糜X(jué)往往很微妙或細(xì)微。
除了正式命名為HallOumi-8B的主要生成模型外，Oumi還開(kāi)源了一種重量更輕的變體：HallOumi-80B-Classifier。雖然Classifier缺乏HallOumi的主要優(yōu)勢(shì)，如每句話的解釋和源引用，但它在計(jì)算和延遲方面明顯更高效。這使得它在資源受限的環(huán)境中成為一種強(qiáng)有力的替代方案，在這種環(huán)境中，速度或規(guī)模可能超過(guò)了對(duì)更細(xì)粒度解釋的需求。
HallOumi已經(jīng)針對(duì)高風(fēng)險(xiǎn)用例進(jìn)行了微調(diào)，在這些用例中，即使是微妙的不準(zhǔn)確也會(huì)產(chǎn)生巨大的后果。它將每一項(xiàng)陳述都視為一項(xiàng)獨(dú)立的主張，并明確避免對(duì)“普遍真實(shí)”或“可能”的情況做出假設(shè)，而是關(guān)注該主張是否直接基于所提供的背景。對(duì)基礎(chǔ)的嚴(yán)格定義使HallOumi特別適合受監(jiān)管的領(lǐng)域，在這些領(lǐng)域，對(duì)語(yǔ)言模型輸出的信任不能被視為理所當(dāng)然。
標(biāo)記微妙和誹謗
HallOumi不僅可以檢測(cè)到模型何時(shí)因誤解而“偏離腳本”，還可以標(biāo)記出具有誤導(dǎo)性、意識(shí)形態(tài)傾向或可能被操縱的反應(yīng)。Koukoumidis和Greer通過(guò)使用HallOumi來(lái)評(píng)估DeepSeek-R1（中國(guó)開(kāi)發(fā)的廣泛使用的開(kāi)源模型）產(chǎn)生的響應(yīng)，展示了HallOumi的能力。
HallOumi逐一標(biāo)記了這些陳述，為每個(gè)句子分配了一個(gè)置信度分?jǐn)?shù)，并解釋了為什么所提供的文件不支持這些陳述。這種句子級(jí)別的審查是HallOumi與眾不同的地方。它不僅可以檢測(cè)斷言是否基于源材料，還可以識(shí)別相關(guān)行（或其缺失）并解釋其推理。
同樣的逐行分析在一個(gè)更常規(guī)的法律例子中同樣有效。當(dāng)收到關(guān)于GDPR的多頁(yè)文檔時(shí)，LLM錯(cuò)誤地表示該規(guī)定僅適用于企業(yè)，不包括非營(yíng)利組織。HallOumi以精確的準(zhǔn)確性做出了回應(yīng)，確定了源文本第32行的確切條款，該條款明確指出GDPR也適用于非營(yíng)利組織和政府機(jī)構(gòu)。它為更正分配了98%的置信度分?jǐn)?shù)，并對(duì)差異給出了明確的解釋。
在演示之后，Koukoumidis指出，雖然某些模型的幻覺(jué)率可能正在下降，但問(wèn)題并沒(méi)有消失，在某些情況下，它還在演變。
HallOumi現(xiàn)在可供任何人使用
HallOumi現(xiàn)在可以在Hugging Face上作為一個(gè)完全開(kāi)源的工具使用，以及它的模型權(quán)重、訓(xùn)練數(shù)據(jù)和示例用例。Oumi還提供了一個(gè)演示，幫助用戶測(cè)試模型并探索其功能。這一決定反映了該公司更廣泛的使命：使傳統(tǒng)上被鎖定在專有API和付費(fèi)墻后面的人工智能工具民主化。
HallOumi使用LLaMA系列模型構(gòu)建，并在公開(kāi)可用的數(shù)據(jù)上進(jìn)行訓(xùn)練，是一個(gè)案例研究，探討了當(dāng)開(kāi)源社區(qū)擁有正確的基礎(chǔ)設(shè)施時(shí)可能會(huì)發(fā)生什么。
Koukoumidis說(shuō)：“有些人說(shuō)，與OpenAI競(jìng)爭(zhēng)毫無(wú)希望?！薄暗覀兯故镜拿恳粋€(gè)領(lǐng)域，一個(gè)任務(wù)，只要有合適的工具，就可以構(gòu)建比黑匣子更好的解決方案。你不必跪在OpenAI的腳下，向他們致敬，并說(shuō)，‘你是唯一能構(gòu)建人工智能的人?！?/p>
熱門(mén)跟貼