21世紀(jì)經(jīng)濟(jì)報道記者王峰北京報道語言文字是大模型的資源池，語料庫的質(zhì)量決定著大模型的發(fā)展。而在大模型時代，語言文字已成為賦能產(chǎn)業(yè)發(fā)展的數(shù)據(jù)要素。
近日，教育部、國家語委、中央網(wǎng)信辦印發(fā)《關(guān)于加強(qiáng)數(shù)字中文建設(shè) 推進(jìn)語言文字信息化發(fā)展的意見》（以下簡稱《意見》），全面謀劃數(shù)字中文建設(shè)。
在3月31日教育部新聞發(fā)布會上，教育部語言文字信息管理司司長劉培俊指出，《意見》創(chuàng)新應(yīng)用自然語言處理、大語言模型、多模態(tài)信息處理、知識圖譜、語料加工等五項前沿技術(shù)，重點服務(wù)大語言模型等人工智能技術(shù)創(chuàng)新應(yīng)用“制高點”，夯實國家關(guān)鍵語料基礎(chǔ)設(shè)施“新基建”。
20世紀(jì)80年代，王選院士的團(tuán)隊發(fā)明激光照排技術(shù)，并結(jié)合漢字的編碼標(biāo)準(zhǔn)，突破了中文數(shù)字化的空間限制，讓承載中華文化的中文在全球互聯(lián)網(wǎng)空間獲得新生。
當(dāng)前，大語言模型技術(shù)對大規(guī)模高質(zhì)量語料提出前所未有的需求，賦予了數(shù)據(jù)中文化新的歷史內(nèi)涵和使命任務(wù)。
北京大學(xué)王選計算機(jī)研究所所長湯幟認(rèn)為，新形勢下，語言文字將實現(xiàn)與信息技術(shù)的深度融合，要形成“技術(shù)突破—場景落地—生態(tài)繁榮”的良性循環(huán)，打造數(shù)字化引領(lǐng)品牌，有力服務(wù)教育發(fā)展、助力科技創(chuàng)新、賦能文化傳承、推動產(chǎn)業(yè)升級、促進(jìn)社會進(jìn)步。
《意見》特別提出，要實施數(shù)字中文推動產(chǎn)業(yè)升級行動。支持語言文字信息技術(shù)新產(chǎn)品、新職業(yè)和新業(yè)態(tài)發(fā)展，鼓勵傳統(tǒng)語言產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型升級，培育基于數(shù)字中文的新型語言產(chǎn)業(yè)。推動語言資源、語言翻譯、智能機(jī)器人、中文內(nèi)容服務(wù)等軟硬件產(chǎn)品研發(fā)應(yīng)用，支持圍繞語音、語料、語言應(yīng)用生態(tài)形成產(chǎn)業(yè)聚集，鼓勵創(chuàng)建語言產(chǎn)業(yè)應(yīng)用示范品牌。
湯幟介紹，新形勢下，語言文字將實現(xiàn)從“靜態(tài)符號”向“動態(tài)數(shù)字資產(chǎn)”，從“信息載體”向“生產(chǎn)要素”的轉(zhuǎn)型，要重點推動語料庫、數(shù)據(jù)標(biāo)注與評價等標(biāo)準(zhǔn)的研制，支持文本生成與理解、語言翻譯、情感分析等各種任務(wù)。
比如，廣東省教育廳在廣州大學(xué)設(shè)立粵語語料庫建設(shè)與大模型評測重點實驗室，為語料基礎(chǔ)設(shè)施建設(shè)、語言智能應(yīng)用等提供堅實數(shù)據(jù)支撐，指導(dǎo)深圳大學(xué)建立語言障礙多模態(tài)數(shù)據(jù)庫，涵蓋漢語失語癥語料庫、兒童語言障礙語料庫，有力服務(wù)語言康復(fù)研究。
北京師范大學(xué)針對古漢語信息處理任務(wù)“低資源”“富知識”的特點，以解決領(lǐng)域知識學(xué)習(xí)需求為核心任務(wù)，使用1.8B（18億）參數(shù)量，訓(xùn)練出“AI太炎”古漢語大語言模型。
北京師范大學(xué)副校長康震介紹，該模型在確保語料來源安全、語料內(nèi)容安全、語料標(biāo)注安全、模型安全等基礎(chǔ)上，能夠高質(zhì)量完成古典文獻(xiàn)釋讀，支持字詞釋義、文白翻譯、句讀標(biāo)點、用典分析等多種具有挑戰(zhàn)性的文言文理解任務(wù)。截至目前，該模型已廣泛應(yīng)用于海內(nèi)外的學(xué)術(shù)科研、基礎(chǔ)教育、編輯出版等多個領(lǐng)域，輔助古籍整理、語言研究、語文教育、辭書編纂等應(yīng)用場景任務(wù)。
《教育強(qiáng)國建設(shè)規(guī)劃綱要（2024—2035年）》提出，要建設(shè)新型國家語料庫?！兑庖姟芬蔡岢?，到2027年初步建成國家關(guān)鍵語料庫。語料庫在語言文字信息化工作中發(fā)揮什么樣的作用，下一步將如何推進(jìn)？
劉培俊指出，將聚焦“需求”這一關(guān)鍵。在關(guān)鍵學(xué)科、重點行業(yè)、戰(zhàn)略區(qū)域、民生期待和社會急需領(lǐng)域，分批建設(shè)規(guī)范、安全、優(yōu)質(zhì)的國家關(guān)鍵語料庫。目前，教育部、國家語委已經(jīng)支持建設(shè)了30余項關(guān)鍵領(lǐng)域的語料庫。
北京師范大學(xué)已建設(shè)了通用漢字全息數(shù)據(jù)庫，《說文》學(xué)數(shù)字資源庫、歷代碑刻與手寫文字屬性資源庫、甲骨文拓片資源庫等專業(yè)數(shù)字資源庫。
劉培俊指出，目前，教育部、國家語委已經(jīng)支持布局了五個領(lǐng)域的自主安全可控大語言模型建設(shè)項目，下一步將根據(jù)需求穩(wěn)步擴(kuò)大建設(shè)范圍，提升建設(shè)成效。
下一步，將逐步建立健全語料共建共享新機(jī)制，研制語言資源、語言數(shù)據(jù)、基礎(chǔ)語料以及大語言模型的技術(shù)和管理標(biāo)準(zhǔn)，依托高校研究機(jī)構(gòu)推進(jìn)多學(xué)科交叉融合，為語言科技、語料建設(shè)以及人工智能創(chuàng)新應(yīng)用培養(yǎng)高素質(zhì)人才。
教育部語言文字應(yīng)用管理司副司長王暉指出，當(dāng)前以DeepSeek等為代表的人工智能技術(shù)創(chuàng)新不斷取得突破性的進(jìn)展，在這個大背景下，國家提出這樣一個戰(zhàn)略部署，建設(shè)新型國家語料庫，凸顯了其重要性、必要性和緊要性，我們應(yīng)當(dāng)積極統(tǒng)籌、廣泛協(xié)同、大力推進(jìn)。
“但是很多語料庫還處于單一文本模式和領(lǐng)域應(yīng)用階段，在建設(shè)的理念、技術(shù)和方法、規(guī)模，以及數(shù)據(jù)多樣性、時效性尤其是與人工智能相結(jié)合的大規(guī)模應(yīng)用方面還存在不足，難以滿足多元化、動態(tài)化尤其是智能化的語言數(shù)據(jù)需求?！蓖鯐熣f。
對此，下一步將立足人工智能時代大背景，突破傳統(tǒng)語料庫單一文本模式和領(lǐng)域應(yīng)用壁壘，以大模型訓(xùn)練及性能評測、智能計算為核心，以新質(zhì)態(tài)、多模態(tài)、多語言、大規(guī)模、全域性為突出特性，為通用領(lǐng)域和細(xì)分領(lǐng)域多場景應(yīng)用及創(chuàng)新發(fā)展提供規(guī)范、可信、高質(zhì)量的語言文化語料資源。
據(jù)介紹，目前已經(jīng)啟動開發(fā)建設(shè)“中華文脈新型語料庫”“中華大閱讀體系語料庫”，以這兩個示范庫建設(shè)整體打造出標(biāo)桿。
“中華文脈新型語料庫可以簡單理解為瞄準(zhǔn)的是智慧教師，中華大閱讀體系語料庫瞄準(zhǔn)的是智慧學(xué)伴。在此基礎(chǔ)上，探索建設(shè)系列教育、語言文化國家新型語料庫群，服務(wù)教育強(qiáng)國、文化強(qiáng)國建設(shè)。”王暉說。
熱門跟貼