編輯 | 周智宇
年初，“文生視頻”模型Sora的出現(xiàn)，掀起了全球競(jìng)逐AI視頻生成的熱潮；近10個(gè)月過(guò)去，Sora遲遲沒(méi)有對(duì)外開(kāi)放，而作為后來(lái)者的騰訊混元，搶先加入了這一戰(zhàn)場(chǎng)。
12月3日，騰訊混元大模型正式上線視頻生成能力，C端用戶通過(guò)騰訊元寶APP就可申請(qǐng)?jiān)囉?，企業(yè)客戶通過(guò)騰訊云提供服務(wù)接入，目前API同步開(kāi)放內(nèi)測(cè)申請(qǐng)。
把文生視頻擺上牌桌，這是繼文生文、文生圖、3D生成之后，騰訊混元大模型的又一新里程碑。與此同時(shí)，騰訊開(kāi)源該視頻生成大模型，參數(shù)量130億，是當(dāng)前最大的視頻開(kāi)源模型。
據(jù)華爾街見(jiàn)聞了解，騰訊混元的視頻生成幾乎沒(méi)有門(mén)檻，用戶只需要輸入一段文字描述，騰訊混元生成視頻大模型就可以生成一段五秒的視頻。
相較于Sora分鐘級(jí)別以及一些“類(lèi)Sora”產(chǎn)品10s的視頻生成時(shí)長(zhǎng)，騰訊混元的視頻生成時(shí)長(zhǎng)不太讓人振奮。
在當(dāng)日的媒體溝通會(huì)上，騰訊混元多模態(tài)生成技術(shù)負(fù)責(zé)人表示，視頻時(shí)長(zhǎng)不是技術(shù)問(wèn)題，而是純算力和數(shù)據(jù)問(wèn)題，因?yàn)闀r(shí)間擴(kuò)長(zhǎng)一倍，它的算力是一個(gè)平方級(jí)的上升，所以不是很劃算。
此外，他指出，大部分人用視頻的情況下都是一個(gè)鏡頭接一個(gè)鏡頭，所以混元視頻生成模型第一版先放5s時(shí)長(zhǎng)的出來(lái)，優(yōu)先滿足大部分的需求?！拔磥?lái)如果大家有很多強(qiáng)烈需求，要做很長(zhǎng)的一鏡到底，我們?cè)偃プ錾?jí)?！?/p>
騰訊混元生成視頻目前主要呈現(xiàn)四大特點(diǎn)：寫(xiě)實(shí)畫(huà)質(zhì)、語(yǔ)義遵從、動(dòng)態(tài)流暢、原生轉(zhuǎn)場(chǎng)。
在技術(shù)路線上，騰訊混元視頻生成模型選擇了跟Sora類(lèi)似的DiT架構(gòu)，并在架構(gòu)設(shè)計(jì)上進(jìn)行多處升級(jí)，包括引入多模態(tài)大語(yǔ)言模型作為文本編碼器、基于自研Scaling Law的全注意力DiT、自研3D VAE等。
騰訊混元多模態(tài)生成技術(shù)負(fù)責(zé)人指出，混元算是業(yè)內(nèi)首個(gè)或者特別少數(shù)拿多模態(tài)大語(yǔ)言模型來(lái)做文本編碼器的視頻生成模型。業(yè)界現(xiàn)在更多還是選用T5模型和CLIP模型作為文本編碼器。
之所以這樣選擇，是因?yàn)轵v訊混元是看中了這條技術(shù)路線的三大優(yōu)點(diǎn)，包括增強(qiáng)復(fù)雜文本的理解能力、原生圖文對(duì)齊能力以及支持系統(tǒng)提示詞。
此外，騰訊混元多模態(tài)生成技術(shù)負(fù)責(zé)人提到，在做GPT之前，OpenAI花了很多心思去驗(yàn)證Scaling Law（用更多的數(shù)據(jù)訓(xùn)練更大的模型）在語(yǔ)言模型中的有效性，但在視頻生成領(lǐng)域?qū)W術(shù)界或業(yè)界沒(méi)有把Scaling Law是否有效公開(kāi)出來(lái)。
在此背景下，騰訊混元團(tuán)隊(duì)自己把圖像、視頻生成的Scaling Law驗(yàn)證了一邊，最終得出結(jié)論，圖像DiT有，視頻基于圖像DiT做二階段的訓(xùn)練一樣是有Scaling Law的性質(zhì)在的。
“所以我們首版騰訊混元視頻生成模型是基于這套比較嚴(yán)格的Scaling Law的推論，做了一個(gè)130億的模型?！彬v訊混元多模態(tài)生成技術(shù)負(fù)責(zé)人說(shuō)道。
與此同時(shí)，騰訊混元也在疾行視頻生成生態(tài)模型的探索，包括圖生視頻模型、視頻配音模型、驅(qū)動(dòng)2D照片數(shù)字人等。
騰訊混元多模態(tài)生成技術(shù)負(fù)責(zé)人指出，相較于文生視頻，圖生視頻模型在可用性的推進(jìn)上進(jìn)展會(huì)更快，可能在不到一個(gè)月之內(nèi)混元會(huì)發(fā)布最新進(jìn)展。
自去兩年前ChatGPT掀起的AI大模型熱潮以來(lái)，大語(yǔ)言模型技術(shù)路徑已收斂，而視頻生成模型仍處于探索期。
東方證券分析師指出，在OpenAI的技術(shù)方向引領(lǐng)下，目前語(yǔ)言模型的技術(shù)路徑基本就是GPT這一條路。而多模態(tài)技術(shù)方面，目前沒(méi)有一家公司處于絕對(duì)領(lǐng)先地位，技術(shù)路徑仍存在探索的可能。
騰訊混元多模態(tài)生成技術(shù)負(fù)責(zé)人也表示，文生視頻整體都處于不太成熟的階段，綜合合格率都不高。
作為多模態(tài)生成中難度最大的領(lǐng)域，視頻生成對(duì)算力、數(shù)據(jù)等資源要求較高，目前相較于文本、圖像成熟度更低，同時(shí)面臨商業(yè)化、產(chǎn)品化進(jìn)展較慢的挑戰(zhàn)。
OpenAI也宣布由于算力短缺而推遲Sora的更新，導(dǎo)致至今尚未對(duì)外開(kāi)放。
盡管如此，為了更快搶占市場(chǎng)，去年十一月以來(lái)，視頻生成領(lǐng)域的成果密集落地。
截至目前，國(guó)內(nèi)外不少大模型廠商都實(shí)現(xiàn)了類(lèi)Sora產(chǎn)品落地，包括國(guó)內(nèi)MiniMax、智譜、字節(jié)、快手、愛(ài)詩(shī)科技等，海外Runway、Pika、Luma。不過(guò)，由于算力和技術(shù)等因素，視頻生成時(shí)長(zhǎng)一般在10s以內(nèi)。
為了推進(jìn)商業(yè)化，大模型廠商必須找到更多視頻生成的應(yīng)用場(chǎng)景。這次，騰訊給出的思路是：混元視頻生成模型畫(huà)面具備高質(zhì)感，可用于工業(yè)級(jí)商業(yè)場(chǎng)景例如廣告宣傳、動(dòng)畫(huà)制作、創(chuàng)意視頻生成等場(chǎng)景。
視頻AI是多模態(tài)領(lǐng)域的最后一環(huán)，也是更容易催生爆款應(yīng)用的領(lǐng)域，但如何在算力投入與商業(yè)化之間缺的平衡，依然是目前“類(lèi)Sora”的視頻生成模型們必須解決的一大難題。
熱門(mén)跟貼