編輯 | 周智宇
年初，“文生視頻”模型Sora的出現(xiàn)，掀起了全球競逐AI視頻生成的熱潮；近10個月過去，Sora遲遲沒有對外開放，而作為后來者的騰訊混元，搶先加入了這一戰(zhàn)場。
12月3日，騰訊混元大模型正式上線視頻生成能力，C端用戶通過騰訊元寶APP就可申請試用，企業(yè)客戶通過騰訊云提供服務(wù)接入，目前API同步開放內(nèi)測申請。
把文生視頻擺上牌桌，這是繼文生文、文生圖、3D生成之后，騰訊混元大模型的又一新里程碑。與此同時，騰訊開源該視頻生成大模型，參數(shù)量130億，是當(dāng)前最大的視頻開源模型。
據(jù)華爾街見聞了解，騰訊混元的視頻生成幾乎沒有門檻，用戶只需要輸入一段文字描述，騰訊混元生成視頻大模型就可以生成一段五秒的視頻。
相較于Sora分鐘級別以及一些“類Sora”產(chǎn)品10s的視頻生成時長，騰訊混元的視頻生成時長不太讓人振奮。
在當(dāng)日的媒體溝通會上，騰訊混元多模態(tài)生成技術(shù)負(fù)責(zé)人表示，視頻時長不是技術(shù)問題，而是純算力和數(shù)據(jù)問題，因為時間擴(kuò)長一倍，它的算力是一個平方級的上升，所以不是很劃算。
此外，他指出，大部分人用視頻的情況下都是一個鏡頭接一個鏡頭，所以混元視頻生成模型第一版先放5s時長的出來，優(yōu)先滿足大部分的需求?！拔磥砣绻蠹矣泻芏鄰娏倚枨螅龊荛L的一鏡到底，我們再去做升級?！?/p>
騰訊混元生成視頻目前主要呈現(xiàn)四大特點：寫實畫質(zhì)、語義遵從、動態(tài)流暢、原生轉(zhuǎn)場。
在技術(shù)路線上，騰訊混元視頻生成模型選擇了跟Sora類似的DiT架構(gòu)，并在架構(gòu)設(shè)計上進(jìn)行多處升級，包括引入多模態(tài)大語言模型作為文本編碼器、基于自研Scaling Law的全注意力DiT、自研3D VAE等。
騰訊混元多模態(tài)生成技術(shù)負(fù)責(zé)人指出，混元算是業(yè)內(nèi)首個或者特別少數(shù)拿多模態(tài)大語言模型來做文本編碼器的視頻生成模型。業(yè)界現(xiàn)在更多還是選用T5模型和CLIP模型作為文本編碼器。
之所以這樣選擇，是因為騰訊混元是看中了這條技術(shù)路線的三大優(yōu)點，包括增強復(fù)雜文本的理解能力、原生圖文對齊能力以及支持系統(tǒng)提示詞。
此外，騰訊混元多模態(tài)生成技術(shù)負(fù)責(zé)人提到，在做GPT之前，OpenAI花了很多心思去驗證Scaling Law（用更多的數(shù)據(jù)訓(xùn)練更大的模型）在語言模型中的有效性，但在視頻生成領(lǐng)域?qū)W術(shù)界或業(yè)界沒有把Scaling Law是否有效公開出來。
在此背景下，騰訊混元團(tuán)隊自己把圖像、視頻生成的Scaling Law驗證了一邊，最終得出結(jié)論，圖像DiT有，視頻基于圖像DiT做二階段的訓(xùn)練一樣是有Scaling Law的性質(zhì)在的。
“所以我們首版騰訊混元視頻生成模型是基于這套比較嚴(yán)格的Scaling Law的推論，做了一個130億的模型?！彬v訊混元多模態(tài)生成技術(shù)負(fù)責(zé)人說道。
與此同時，騰訊混元也在疾行視頻生成生態(tài)模型的探索，包括圖生視頻模型、視頻配音模型、驅(qū)動2D照片數(shù)字人等。
騰訊混元多模態(tài)生成技術(shù)負(fù)責(zé)人指出，相較于文生視頻，圖生視頻模型在可用性的推進(jìn)上進(jìn)展會更快，可能在不到一個月之內(nèi)混元會發(fā)布最新進(jìn)展。
自去兩年前ChatGPT掀起的AI大模型熱潮以來，大語言模型技術(shù)路徑已收斂，而視頻生成模型仍處于探索期。
東方證券分析師指出，在OpenAI的技術(shù)方向引領(lǐng)下，目前語言模型的技術(shù)路徑基本就是GPT這一條路。而多模態(tài)技術(shù)方面，目前沒有一家公司處于絕對領(lǐng)先地位，技術(shù)路徑仍存在探索的可能。
騰訊混元多模態(tài)生成技術(shù)負(fù)責(zé)人也表示，文生視頻整體都處于不太成熟的階段，綜合合格率都不高。
作為多模態(tài)生成中難度最大的領(lǐng)域，視頻生成對算力、數(shù)據(jù)等資源要求較高，目前相較于文本、圖像成熟度更低，同時面臨商業(yè)化、產(chǎn)品化進(jìn)展較慢的挑戰(zhàn)。
OpenAI也宣布由于算力短缺而推遲Sora的更新，導(dǎo)致至今尚未對外開放。
盡管如此，為了更快搶占市場，去年十一月以來，視頻生成領(lǐng)域的成果密集落地。
截至目前，國內(nèi)外不少大模型廠商都實現(xiàn)了類Sora產(chǎn)品落地，包括國內(nèi)MiniMax、智譜、字節(jié)、快手、愛詩科技等，海外Runway、Pika、Luma。不過，由于算力和技術(shù)等因素，視頻生成時長一般在10s以內(nèi)。
為了推進(jìn)商業(yè)化，大模型廠商必須找到更多視頻生成的應(yīng)用場景。這次，騰訊給出的思路是：混元視頻生成模型畫面具備高質(zhì)感，可用于工業(yè)級商業(yè)場景例如廣告宣傳、動畫制作、創(chuàng)意視頻生成等場景。
視頻AI是多模態(tài)領(lǐng)域的最后一環(huán)，也是更容易催生爆款應(yīng)用的領(lǐng)域，但如何在算力投入與商業(yè)化之間缺的平衡，依然是目前“類Sora”的視頻生成模型們必須解決的一大難題。
熱門跟貼