知識圖譜（KG，Knowledge Graph）是一種關(guān)鍵的知識組織形式，其以圖結(jié)構(gòu)將事實知識呈現(xiàn)為（頭實體、關(guān)系、尾實體）的三元組（triple）形式。
這種結(jié)構(gòu)化的知識表達方式在眾多領(lǐng)域發(fā)揮著基礎(chǔ)性的支撐作用，并廣泛應(yīng)用于推薦系統(tǒng)、問答系統(tǒng)和情感分析等下游應(yīng)用中。
然而，盡管主流知識圖譜如 Freebase 和 Wordnet 包含了豐富的知識，但仍然存在嚴重的不完整問題。這意味著在這些知識圖譜中，實體之間缺少大量的關(guān)系連接，導(dǎo)致知識圖譜無法全面、準確地反映真實世界的知識。
例如，在描述人物關(guān)系時，可能存在某些人物之間的關(guān)聯(lián)關(guān)系未被記錄；在描述事件時，可能缺少關(guān)鍵的參與實體或事件發(fā)生的背景信息等。這種不完整性嚴重限制了知識圖譜在上述下游應(yīng)用中的性能和效果，凸顯了知識圖譜補全（KGC，Knowledge Graph Completion）任務(wù)的重要性。
已有的解決方案大多通過預(yù)設(shè)的幾何空間假設(shè)學(xué)習(xí)實體和關(guān)系的低維嵌入，并通過定義好的打分函數(shù)進行補全。這類方案僅依賴知識圖譜中的三元組，忽略了支持這些三元組的上下文語義，容易得出與事實不符的結(jié)論，且在處理長尾實體時表現(xiàn)不佳。
近年來基于文本的方法，利用預(yù)訓(xùn)練語言模型將實體和關(guān)系與其標簽和描述進行編碼。由于結(jié)構(gòu)化的三元組與自然語言句子之間存在較大語義差距，其性能仍無法超越最新的基于嵌入的方法。
最近兩年的研究表明，大語言模型較強的語義理解能力和上下文學(xué)習(xí)能力可以被利用于解決較為復(fù)雜的推理問題。
香港中文大學(xué)博士生李木之和香港科技大學(xué)（廣州）博士生楊策皓認為，通過提供相關(guān)的知識和恰當(dāng)監(jiān)督，可以激發(fā)大語言模型的推理能力，更好地解決知識圖譜補全問題。
基于此，他們研發(fā)出一種名為 KGR3 的 KGC 框架，具體包括如下三個模塊。
檢索模塊：負責(zé)收集與待補全三元組相關(guān)的語義和結(jié)構(gòu)化知識。這包括：
1）三元組檢索：從知識圖譜中獲取與查詢?nèi)M具有相同關(guān)系和相似實體的一些三元組）；
2）文本上下文檢索，從知識庫中提取查詢?nèi)M及支持三元組中實體的相關(guān)上下文，如標簽、描述、別名等）；
3）候選答案檢索（利用先前的 KGC 模型對知識圖譜中的實體進行初步評分和排名，選取排名靠前的實體作為候選答案）。
推理模塊：利用大語言模型的上下文感知推理能力，為具體的不完整三元組生成一些可能的答案。為了引導(dǎo)大語言模型更好地完成任務(wù)，他們利用演示提取出的相似三元組幫助大語言模型理解任務(wù)，并提供了實體的描述來防止幻覺現(xiàn)象的產(chǎn)生?？紤]到大語言模型輸出的噪聲問題，他們會對生成的答案做對齊，確保輸出的實體在知識圖譜中真實存在。
重排序模塊：整合并重排上述兩個模塊的候選答案，使?jié)M足不完整三元組的最佳實體排在較前位置。在這個模塊中，他們通過對訓(xùn)練集中的三元組頭尾實體進行負采樣來候選答案集，并引入監(jiān)督微調(diào)機制，使大語言模型擁有能夠根據(jù)實體描述和已知實體的鄰接三元組從答案集中選擇最佳實體的能力。
實驗結(jié)果表明，在文本語義信息、圖譜結(jié)構(gòu)化知識、以及監(jiān)督微調(diào)的多重指導(dǎo)下，即使是參數(shù)量較?。?.5B 和 7B）的開源大模型，都有能力很好地解決知識圖譜的補全問題。
據(jù)介紹，KGR3 可被用于推薦系統(tǒng)、信息檢索等領(lǐng)域。例如，KGR3 通過補全知識圖譜中的用戶和物品關(guān)系，推薦系統(tǒng)可以發(fā)現(xiàn)用戶潛在的興趣點，提供更個性化、符合用戶需求的推薦內(nèi)容。
在電商平臺上，能根據(jù)知識圖譜中的 KGR3 補全的相關(guān)實體關(guān)系（如品牌關(guān)聯(lián)、產(chǎn)品功能互補等）推薦搭配產(chǎn)品或相關(guān)服務(wù)，基于用戶購買歷史推薦相似產(chǎn)品，提升推薦的質(zhì)量和效果。
在社交網(wǎng)絡(luò)平臺的好友推薦或內(nèi)容推薦中，利用 KGR3 補全后的知識圖譜挖掘用戶之間更深層次的聯(lián)系，以及用戶可能感興趣的話題或群組，增強用戶在平臺上的互動和參與度。
據(jù)了解，李木之在粵港澳大灣區(qū)數(shù)字經(jīng)濟研究院（IDEA，International Digital Economy Academy）訪問期間，在郭健教授和徐鋮晉博士的指導(dǎo)下，他與博士生楊策皓組成團隊，將語境知識圖譜作為研究課題。
團隊察覺到現(xiàn)有 KGC 方法的不足，尤其是嵌入法和文本法在處理語義理解和長尾實體時的局限，而大語言模型雖有潛力但應(yīng)用受限。
因此，他們決定嘗試探索一種新的解決方案，把圖譜中可以獲取到的知識整合起來，看是否可以大語言模型學(xué)會做這樣的任務(wù)。經(jīng)過初步嘗試，他們開發(fā)出了 KGR3 框架的雛形，包含檢索、推理和重排序三個模塊，并初步驗證了可行性。
在驗證方案可行之后，他們快速進行了實驗，并首次提交了論文。然而結(jié)果不盡人意，評審分數(shù)未達預(yù)期。審稿人指出，盡管框架的設(shè)計有一定創(chuàng)新性，但在性能表現(xiàn)上仍有明顯不足，使用了參數(shù)量更多，能力更大的大語言模型，卻未能顯著超過傳統(tǒng)方法，缺乏足夠的說服力。
這一挫折讓他們意識到，研究仍需深入，必須找到提升框架性能的有效途徑。
他們仔細查看了審稿意見，分析實驗數(shù)據(jù)，發(fā)現(xiàn)原本的重排序方案是整個框架的瓶頸。在前序方案中，他們嘗試讓大語言模型去生成候選實體的完整排序。然而，在知識圖譜中并沒有具體排序的監(jiān)督數(shù)據(jù)。
于是，他們選擇利用已有 KGC 模型輸出的排序來微調(diào)大語言模型，這無益于解決已有方案的缺陷。在閱讀關(guān)于大語言模型的其他文獻后，他們認為輸出完整排序?qū)嵸|(zhì)上增加了任務(wù)難度。
相較于在實體間“比大小”，大語言模型更擅長做“選擇題”，因此他們轉(zhuǎn)換到了現(xiàn)在的方案。同時，他們意識到需要在寫作方面強化研究目的。
在新一版論文中，他們更清晰地闡述 KGR3 框架如何有效利用實體上下文和大語言模型的能力，以及各模塊間的協(xié)同工作原理。
此外，他們補充了更多對比實驗，以全面展示 KGR3 在不同數(shù)據(jù)集、不同基準 KGC 模型、以及不同規(guī)模和種類的大語言模型下的優(yōu)勢，增強研究的說服力。
再次提交論文之后，這一次論文得到了審稿人的一致性高度認可，評審分數(shù)大幅提升。審稿人對 KGR3 框架在性能上的顯著提升給予了充分肯定，尤其贊賞其在處理復(fù)雜知識圖譜補全任務(wù)時的有效性和創(chuàng)新性。
日前，相關(guān)論文以《檢索、推理、重新排序：知識圖譜補全的語境增強框架》（Retrieval, Reasoning, Re-ranking: A Context-Enriched Framework for Knowledge Graph Completion）在預(yù)印本網(wǎng)站arXiv發(fā)表[1]，并已被自然語言處理頂會 NAACL 2025 主會收錄。
未來，團隊計劃將 KGR3 范式延伸至其他知識圖譜推理任務(wù)，如歸納式知識圖譜補全和基于知識的問答。
在當(dāng)前研究中，KGR3 框架已在傳統(tǒng)的知識圖譜補全任務(wù)中展現(xiàn)出顯著優(yōu)勢，但對于未在訓(xùn)練集中出現(xiàn)的實體（即歸納式設(shè)置下的情況），該框架尚無法有效處理。后續(xù)，團隊將著力解決這一問題，使 KGR3 能夠應(yīng)對更復(fù)雜、更具挑戰(zhàn)性的實際場景。
例如，在實際應(yīng)用中，新的實體和關(guān)系不斷涌現(xiàn)，能夠處理歸納式 KGC 任務(wù)將大大提升知識圖譜的完整性和實用性。
此外，研究人員還計劃將 KGR3 框架應(yīng)用于知識圖譜問答，從問題理解、知識檢索、答案生成和優(yōu)化等多個環(huán)節(jié)入手，充分發(fā)揮其在處理知識圖譜和文本信息方面的優(yōu)勢，為用戶提供準確、有用的答案，進而將語境知識圖譜概念進一步延伸。
參考資料：
1.https://arxiv.org/pdf/2411.08165
排版：劉雅坤
熱門跟貼