6500萬美元，是外界估算的GPT4訓練成本，這只是使用GPU的費用，還不包括人工等。
557萬美元，是DeepSeek-V3的訓練成本，同樣只是GPU費用，但在效果上，不僅可以按著GPT4的頭打，也順道超過了GPT4-Turbo和GPT4o這兩個繼任者。
50美元，是AI教母李飛飛團隊的做出s1模型的成本，不僅成本低，性能還強，據(jù)說它的數(shù)學能力已經(jīng)可以媲美DeepSeek-R1。
我看了下閑魚，H100的租賃價格已經(jīng)降低到了20塊，如果按照這個價格，現(xiàn)在只需要170人民幣，就完成了s1的微調(diào)，隨著芯片更新，這個數(shù)字還會越來越低。
被媒體誤讀，但是主流
50美元就能做出媲美DeepSeek-R1的大模型，不是哥們，現(xiàn)在的大模型門檻這么低了嗎？我少吃一頓燒烤，就能訓練出一個比肩DeepSeek的大模型？
這是又一次的"AI炸裂體"的表演，還是說大模型的進化速度，已經(jīng)比特朗普加關稅還快了？
當我仔細看完這篇論文后，這應該是又一次“AI炸裂體”的勝利。事實上，50美元并不是什么訓練的成本，而是它們基于阿里Qwen2.5-32B微調(diào)出的s1的費用。
具體怎么實現(xiàn)的呢？它們先從58000個來自16個領域的問題中，精挑細選出1000個，然后用交給谷歌的Gemini Flash Thinking推理模型，然后把這些問題以及思考的過程，作為微調(diào)的數(shù)據(jù)，投喂給Qwen，最終讓一個普通大模型，點開了推理技能樹。比如下面這個回答，你可以看到，針對“raspberry中有幾個r”的問題，它經(jīng)過多輪思考后的，給出了正確答案。（s1還有讓模型強制思考的技術創(chuàng)新，這里因為篇幅，不做展開）
用人話講，李飛飛的團隊就是把一道預制菜，重新回鍋調(diào)味，做出了堪比私房菜的味道！說它們自己從零開始，用5毛錢，買點爛菜葉子，做出一道佳肴，的確是有點過于"震驚"和“炸裂”了。
蒸餾，主打一個省錢
蒸餾不是啥新鮮事，大家熟悉的DeepSeek-R1在發(fā)布時，官方團隊同時也準備了許多自己蒸餾的模型。經(jīng)過蒸餾的模型，效果都得到了很大的提升。
它們采用Qwen系列作為基底模型，通過蒸餾的方式，讓320億參數(shù)的小模型，就達到遠超OpenAI的o1-mini的效果。
這是啥概念呢？就你手里4090的顯卡來說，它足以輕松跑動DeepSeek蒸餾出的320億的量化模型，也就是說，4090不僅能幫助你以影視級通關黑神話，還能每個月幫你省出20美元的OpenAI會員費。
什么你手里沒有4090？很好，讓我們一起說出那句經(jīng)典的臺詞：Nvidia xxxx You。
對于行業(yè)內(nèi)的用戶來講，蒸餾帶來的好處，要比這20美元多得多。要知道，隨著模型的參數(shù)逐漸增多，它的使用成本也隨著水漲船高。
6710億，是DeepSeek-R1的參數(shù)量，要運行它，至少需要配備8張H100顯卡的服務器，按照現(xiàn)在的市場價，成本大概在200萬左右，但如果用蒸餾過的模型，就像前面說的，4090就行，如果追求回答的精度和并發(fā)數(shù)，1張H100也足夠應付了，整體成本不會超過20萬。
比如我想創(chuàng)業(yè)，創(chuàng)辦一個戒色網(wǎng)站，需要一個聊天機器人，不僅用來回答戒色網(wǎng)友的各種疑問，還需提出可執(zhí)行方案，如果用6710億參數(shù)的版本，可能一次回答需要耗費2塊錢，而用蒸餾過后的模型，只需要2毛錢，成本就是差這么大。
而創(chuàng)辦戒色網(wǎng)站的另外一個問題是，我需要讓大模型給出的回答，要有自己的特色。
一般情況下，這需要大量的人工來清洗數(shù)據(jù)，然后對模型進行微調(diào)，一個流程走下來，也是一筆不小的花費。
調(diào)整模型是目前的主旋律
可以看到，在AI大模型狂奔了3年后，蒸餾+微調(diào)已經(jīng)取代參數(shù)，成為了當下主需求。
打造一款像DeepSeek這樣的模型很難，但調(diào)整模型也一點都不簡單。除了需要有一個專門數(shù)據(jù)清洗，整理團隊，還要有專門的模型工程師團隊，入門的門檻很高了。
不過就在剛剛結(jié)束的Create大會上，百度智能云千帆模型開發(fā)平臺全新升級，在模型服務層面，目前千帆平臺上有超過100多個模型；在模型開發(fā)層面，千帆平臺可以提供全面的模型開發(fā)工具鏈，支持深度思考模型、多模態(tài)模型的定制和模型蒸餾。
這啥概念呢？首先，在千帆上，你基本上能看到市面上所有的可用模型，除了自己的文心系列，從國內(nèi)的DeepSeek，Qwen系列，到國外的Llama；模態(tài)上也是包含了文本，圖像，視頻，語音，比如在這里，就能看到可靈，Vidu這樣的視頻SOTA模型。并且它們還承諾，只要新的模型出來，24小時內(nèi)上線。
其次，你想做一些模型上的調(diào)整，在這里鼠標點點，就可以成為全鏈路的工作。像前面說的蒸餾，微調(diào)，以前可能需要一個工程師團隊才能搞定，而利用智能云千帆模型開發(fā)平臺，一切都是開箱即用。
目前在智能云平臺上做模型開發(fā)的企業(yè)不在少數(shù)，比如智聯(lián)招聘。招聘一直是AI落地的最佳場景之一，旗艦模型參數(shù)大，調(diào)用成本高，推理速度也上不來。
于是它們利用了智能云模型開發(fā)平臺上的一鍵蒸餾，用DeepSeek-R1作為教師模型，把參數(shù)更少的ERNIE Speed作為的學生模型。利用教師模型生成的幾千個有關招聘的問題，進行蒸餾，最終就得到了一個性能媲美DeepSeek-R1的小模型。
不僅成本降低了1/3，模型回答的速度和并發(fā)數(shù)量也上來了?？梢哉f，利用蒸餾降低成本，是AI時代創(chuàng)業(yè)非常重要的一環(huán)。
如何打造專業(yè)模型
除了蒸餾降低成本，如何基于企業(yè)自己的數(shù)據(jù)，打造出專業(yè)模型，實現(xiàn)需求上的對齊。
比如招聘行業(yè)，每個公司都有自己對業(yè)務的理解，并且這部分往往是不公開的?；诠_數(shù)據(jù)訓練的大模型，肯定是無法達到公司的個性化需求。
這個時候，就需要人工對模型進行微調(diào)，以前都需要人工來判斷回答的質(zhì)量，而現(xiàn)在利用智能云平臺上的基于強化學習的微調(diào)（RFT），人工這部分就由裁判模型取代，實現(xiàn)了全流程的自動化。
這樣一來，不僅效率高了，模型的泛化也有很大的提升。
事實上，除了文本模型，圖像模型，聲音模型都是模型開發(fā)的熱門，比如我想要做個自己的游戲，如何利用Stable Diffusion打造出自己畫風的美術資產(chǎn)，做人工智能客服，如何克隆出不同的聲音，都是模型開發(fā)中的環(huán)節(jié)。
有了百度智能云千帆的模型開發(fā)平臺，不僅囊括了以上的所有過程，還覆蓋到了模型開發(fā)的全周期，想要什么樣的模型，登錄到智能云，就可以自己打造。
AI時代創(chuàng)業(yè)，需要給模型開發(fā)
隨著AI爆發(fā)進入到第三年，模型的回答越來越變得可用了，無論是什么事兒都可以問的DeepSeek-R1，還是史密斯吃面不再鬼畜的可靈，都在說明模型產(chǎn)出的內(nèi)容已經(jīng)追平甚至超過人類。
這點從IDC的報告中也能看出來，2023年，訓練和推理的算力比例是6：4，而到了2027年，這個比例會變?yōu)?：7，隨著模型成熟，更多的算力都用在了模型開發(fā)，推理上。但到底如何合理開發(fā)，增加效率，是目前模型行業(yè)中的問題。圍繞這個問題，中國信通院跟百度智能云合作，在今年上半年啟動了大平臺落地實踐報告的研究工作。
根據(jù)在Create大會『如何訓練專精模型』分論壇上，中國信息通信研究院人工智能研究所平臺與工程化部主任曹峰主任的介紹，大模型平臺落地實踐報告正式撰寫完成，圍繞著大模型建設、使用、管理三步落地路線進行了梳理，很快會通過公眾號的形式和大家見面，感興趣的小伙伴可以去蹲下。
今年，行業(yè)內(nèi)的研究，也從研發(fā)更強的模型，轉(zhuǎn)移到了如何更有效的利用模型?？梢钥闯觯F(xiàn)在的行業(yè)內(nèi)最大的痛點，已經(jīng)轉(zhuǎn)移到了模型開發(fā)上。這次Create大會上的百度智能云千帆模型開發(fā)平臺就是瞄準了這個行業(yè)痛點，提出的一個很好的解決方案。
它的出現(xiàn)，很好的助力創(chuàng)意的快速落地，降低了門檻。尤其是在智能體爆發(fā)的今年，之前爆火出圈的Manus，據(jù)說每個任務要消費2美元的算力，如果按1萬個用戶，每個用戶每天執(zhí)行3個任務來算，Manus團隊每天支出的成本在6萬美元。
如果它們像智聯(lián)招聘一樣，通過模型開發(fā)平臺，蒸餾出更適合不同子任務的模型，那么節(jié)省下的成本，是非?？捎^的。
AI時代，創(chuàng)意和創(chuàng)業(yè)的界限一直在模糊，創(chuàng)業(yè)的起點，也正在從"需要敲開紅杉資本大門"的焦慮，退化成"蹲廁所刷手機突然靈光一現(xiàn)"的戲劇性轉(zhuǎn)折。
這次百度智能云模型開發(fā)平臺的升級，意味著給AI創(chuàng)業(yè)加了更多的助推器，畢竟現(xiàn)在連模型調(diào)優(yōu)都進入了預制菜時代。
熱門跟貼