“在進(jìn)行微調(diào)之前，可以先考慮使用提示工程或智能體工作流，這樣可能會(huì)得到更簡(jiǎn)單且易于維護(hù)的解決方案。?！?/p>
隨著人工智能技術(shù)的發(fā)展，模型微調(diào)已經(jīng)成為一個(gè)廣受關(guān)注的話(huà)題。在與客戶(hù)進(jìn)行溝通時(shí)，研發(fā)團(tuán)隊(duì)常常會(huì)詢(xún)問(wèn)：究竟在什么情況下應(yīng)該進(jìn)行微調(diào)？又在什么情況下不適合呢？
根據(jù)吳恩達(dá)在多家公司實(shí)踐經(jīng)驗(yàn)的分析，現(xiàn)階段大約有75%的團(tuán)隊(duì)在使用微調(diào)時(shí)，其實(shí)可以通過(guò)更簡(jiǎn)單的方法來(lái)實(shí)現(xiàn)目標(biāo)。但在以下三種情況下，微調(diào)顯然是最佳的選擇：
提高關(guān)鍵應(yīng)用的準(zhǔn)確性
學(xué)習(xí)特定的溝通風(fēng)格
降低模型的延遲和成本
吳恩達(dá)還特別強(qiáng)調(diào)，得益于LoRA等技術(shù)，進(jìn)行微調(diào)所需的數(shù)據(jù)量遠(yuǎn)低于預(yù)期，有時(shí)僅需100個(gè)示例就能達(dá)到良好的效果。這為希望入門(mén)模型微調(diào)的團(tuán)隊(duì)提供了寶貴的參考指南。
01
模型微調(diào)的復(fù)雜性
雖然微調(diào)是一項(xiàng)重要且有價(jià)值的技術(shù)，但許多團(tuán)隊(duì)實(shí)際上可以通過(guò)更簡(jiǎn)單的方法取得良好效果，比如提示工程（包括長(zhǎng)提示）、少樣本提示或基本的智能體工作流。
這些團(tuán)隊(duì)為何不選擇微調(diào)？主要是因?yàn)槲⒄{(diào)涉及對(duì)預(yù)訓(xùn)練模型進(jìn)行額外訓(xùn)練，操作較為復(fù)雜。微調(diào)的過(guò)程包括收集訓(xùn)練數(shù)據(jù)、尋找服務(wù)提供商協(xié)助實(shí)施微調(diào)，并最終部署經(jīng)過(guò)微調(diào)的模型。由于微調(diào)在訓(xùn)練和部署階段都增加了額外的復(fù)雜性，因此通常只有在其他方法無(wú)法滿(mǎn)足需求的情況下才會(huì)考慮使用。
盡管如此，在某些特定場(chǎng)景下，微調(diào)依然是合適的選擇。技術(shù)如LoRA可以通過(guò)調(diào)整有限參數(shù)而非整個(gè)模型，使得微調(diào)變得更加經(jīng)濟(jì)，特別適合小型模型（如參數(shù)較少的13B模型）。此外，進(jìn)行微調(diào)所需的數(shù)據(jù)量比大多數(shù)人想象的要少，有時(shí)只需100個(gè)示例或者更少即可取得良好效果。
以下是一些成功應(yīng)用微調(diào)的場(chǎng)景。
02
提升關(guān)鍵應(yīng)用的準(zhǔn)確性
雖然提示工程能在很多情況下提供幫助，但在某些需求較高的應(yīng)用中，微調(diào)可以進(jìn)一步提升準(zhǔn)確性。例如，構(gòu)建客服聊天機(jī)器人時(shí)，如果希望其能夠有效調(diào)用API（如進(jìn)行交易或退款），提示工程可能在95%的情況下表現(xiàn)良好。然而，當(dāng)需要達(dá)到99%的準(zhǔn)確率時(shí)，基于相關(guān)對(duì)話(huà)和API調(diào)用的數(shù)據(jù)進(jìn)行微調(diào)，可能是實(shí)現(xiàn)目標(biāo)的理想方案。對(duì)于那些難以用語(yǔ)言明確規(guī)定的操作任務(wù)，微調(diào)尤其有效。
例如，當(dāng)顧客不滿(mǎn)意時(shí)，聊天機(jī)器人應(yīng)該將問(wèn)題升級(jí)給經(jīng)理，還是直接退款？若團(tuán)隊(duì)為人類(lèi)員工編寫(xiě)了標(biāo)準(zhǔn)操作流程，這些流程可以直接轉(zhuǎn)化為提示。但如果流程不明確，或需要大量示例才能明確操作，則微調(diào)可能是更好的途徑。在許多文本分類(lèi)任務(wù)中，微調(diào)也表現(xiàn)得相當(dāng)優(yōu)異，例如對(duì)醫(yī)療記錄進(jìn)行分類(lèi)。
03
學(xué)習(xí)特定的溝通風(fēng)格
如吳恩達(dá)所述，通過(guò)微調(diào)模型，可以使其表達(dá)方式更符合個(gè)人風(fēng)格。許多人的語(yǔ)言習(xí)慣各異，細(xì)微差別難以通過(guò)文本提示準(zhǔn)確傳達(dá)。若想讓系統(tǒng)以特定風(fēng)格交流，微調(diào)通常比單純依賴(lài)提示更有效。
一些特定的輸出格式，比如AI出題或生成問(wèn)卷時(shí)，因輸出結(jié)果有多種選項(xiàng)類(lèi)型，這些格式通常需要對(duì)模型進(jìn)行微調(diào)，以確保輸出能被正確呈現(xiàn)。
04
在擴(kuò)大規(guī)模時(shí)降低延遲或成本
在一些場(chǎng)景中，開(kāi)發(fā)者通過(guò)提示工程成功讓大模型完成復(fù)雜任務(wù)。但當(dāng)規(guī)模擴(kuò)大后，如果大模型速度緩慢或成本過(guò)高，團(tuán)隊(duì)可能希望轉(zhuǎn)向小模型。然而，如果小模型的性能不足，通過(guò)微調(diào)可以使其在特定應(yīng)用中達(dá)到和大模型相當(dāng)?shù)谋憩F(xiàn)。同時(shí)，大模型也可以生成數(shù)據(jù)，幫助小模型進(jìn)行微調(diào)。
05
總結(jié)
在前沿研究中，部分團(tuán)隊(duì)通過(guò)微調(diào)提升特定語(yǔ)言的理解能力。但若目標(biāo)是讓大模型更好地理解訓(xùn)練數(shù)據(jù)中未包含的知識(shí)，使用檢索增強(qiáng)生成（RAG）可能是更簡(jiǎn)便的選擇?？傮w來(lái)看，大約75%的團(tuán)隊(duì)能通過(guò)提示或智能體工作流取得良好結(jié)果，只有25%的團(tuán)隊(duì)需要微調(diào)來(lái)實(shí)現(xiàn)目標(biāo)。
在技術(shù)上，微調(diào)的實(shí)施、超參數(shù)的設(shè)置及計(jì)算資源的優(yōu)化仍具挑戰(zhàn)性。不過(guò)，越來(lái)越多的公司致力于優(yōu)化這些方面并提供高效的微調(diào)服務(wù)。
許多公司允許對(duì)開(kāi)放權(quán)重模型進(jìn)行微調(diào)并提供下載，而有些則對(duì)封閉模型進(jìn)行微調(diào)但不允許下載微調(diào)后的權(quán)重。前者更具可移植性，并減小對(duì)服務(wù)提供商支持的依賴(lài)。
綜上所述，在決定微調(diào)之前，可以?xún)?yōu)先考慮提示或智能體工作流，這將可能幫助你找到更簡(jiǎn)單且易于維護(hù)的方案。我的團(tuán)隊(duì)中大多數(shù)應(yīng)用并未使用微調(diào)，但在某些關(guān)鍵環(huán)節(jié)上，微調(diào)依然發(fā)揮著重要作用。
我們相信人工智能為普通人提供了一種“增強(qiáng)工具”，并致力于分享全方位的AI知識(shí)。在這里，您可以找到最新的AI科普文章、工具評(píng)測(cè)、提升效率的秘籍以及行業(yè)洞察。 歡迎關(guān)注“福大大架構(gòu)師每日一題”，讓AI助力您的未來(lái)發(fā)展。
熱門(mén)跟貼