這次，可靈 AI 又出盡了風(fēng)頭。
4 月 15 日，可靈 AI 開(kāi)了場(chǎng)發(fā)布會(huì)，高調(diào)推出最新升級(jí)的兩款基礎(chǔ)模型 —— 可靈 2.0 視頻生成模型和可圖 2.0 圖像生成模型。
新模型效果好到什么程度？我們先整幾個(gè) case 開(kāi)開(kāi)眼。
教父怒目圓睜，臉部肌肉劇烈扭曲，嘴角下拉，露出緊咬的牙齒。這「演技」是不是和馬龍?白蘭度有一拼？
女人手握破碎的手機(jī)，面露驚恐，渾身顫抖，一股恐怖氣氛撲面而來(lái)，極具視覺(jué)引導(dǎo)力和情緒張力。
駿馬在草原奔跑，鬃毛隨風(fēng)翻飛，身后揚(yáng)起陣陣塵土，即使是大幅度運(yùn)動(dòng)，畫(huà)面也絲毫沒(méi)崩。
總體來(lái)說(shuō)，相比于之前版本，可靈 2.0 擁有更強(qiáng)的語(yǔ)義響應(yīng)、更優(yōu)的動(dòng)態(tài)質(zhì)量和更好的畫(huà)面美學(xué)。
同時(shí)，圖像生成模型可圖 2.0 也完成了重磅更新，不僅提升了語(yǔ)義遵循能力，畫(huà)面更具電影質(zhì)感，還能響應(yīng)近百種風(fēng)格。
prompt ：現(xiàn)代城市被切割成一塊塊懸浮在空中的片段，每塊中都有正常的、完整的生活場(chǎng)景（例如行人、交通、建筑），但它們彼此之間由不可見(jiàn)的空間分離，有城市被切割開(kāi)的斷裂感，營(yíng)造出一種 “現(xiàn)實(shí)感中的超現(xiàn)實(shí)”?？苹么笃|(zhì)感，細(xì)節(jié)完美。
prompt 擺滿了白色桌子的宴會(huì)廳，周圍坐著的人在享用一頓美餐。
多種風(fēng)格響應(yīng)
最重要的是，可靈 AI 不搞期貨，發(fā)布即上線，全球會(huì)員都能上手體驗(yàn)。
可靈 AI 鏈接：https://app.klingai.com/
有史以來(lái)最強(qiáng)大視覺(jué)生成模型
「雙模型」同時(shí)迭代讓可靈 AI 展現(xiàn)出了向?qū)I(yè)級(jí)創(chuàng)作工具邁進(jìn)的潛力，也真正開(kāi)啟了 AI 生成內(nèi)容的黃金時(shí)代。
接下來(lái)，我們就用 20 組鏡頭，來(lái)看看這兩個(gè)模型到底升級(jí)了啥，又是怎么玩出新高度的。
可靈 2.0 視頻生成模型
相比于 1.6 模型，可靈 2.0 主要有三大優(yōu)勢(shì)。
首先，在語(yǔ)義遵循方面，它對(duì)動(dòng)作、表情、運(yùn)鏡響應(yīng)更佳，并支持描述時(shí)序更復(fù)雜的鏡頭。
比如輸入 Prompt：男人先是開(kāi)心的笑著，突然變得憤怒，手錘桌子起身。
這段文本描述看似簡(jiǎn)單，實(shí)則很考驗(yàn)?zāi)Ｐ偷那楦胁蹲健?dòng)作生成以及細(xì)節(jié)表現(xiàn)能力。
可靈 2.0 不僅成功捕捉到了男子從開(kāi)心到憤怒的情感轉(zhuǎn)變，還在時(shí)間上合理銜接每個(gè)階段的表情和動(dòng)作，并通過(guò)運(yùn)鏡來(lái)實(shí)現(xiàn)視覺(jué)的自然過(guò)渡。
可靈 2.0 生成效果
相比之下，1.6 模型在生成中就存在明顯差距，沒(méi)有呈現(xiàn)「手錘桌子起身」的動(dòng)作，而且手部細(xì)節(jié)還出現(xiàn)肉眼可見(jiàn)的崩壞。
可靈 1.6 生成效果
再來(lái)看看 2.0 模型的運(yùn)鏡響應(yīng)能力。
Prompt：鏡頭捕捉身穿白色連衣裙和草帽的女孩在海邊漫步，鏡頭圍繞女孩環(huán)繞運(yùn)鏡，女孩面帶微笑，眼神溫柔，夕陽(yáng)的余暉灑在海面上。
可靈 2.0 環(huán)繞運(yùn)鏡
Prompt：鏡頭 1：手持鏡頭特寫(xiě)男子在直升機(jī)艙內(nèi)強(qiáng)風(fēng)吹拂面部扭曲，自然光下背景廣闊天空，表情堅(jiān)定；鏡頭 2：男子縱身躍出機(jī)艙急速下墜，高空云層翻滾，鏡頭跟隨展現(xiàn)自由落體動(dòng)態(tài)；鏡頭 3：降落傘在空中猛然展開(kāi)，鏡頭拉遠(yuǎn)呈現(xiàn)全景，陽(yáng)光穿透云層照亮傘面，緊張氛圍瞬間緩解。
可靈 2.0 鏡頭組合運(yùn)鏡
由此可見(jiàn)，可靈 2.0 不僅能 get 到推拉搖移等基礎(chǔ)運(yùn)鏡術(shù)語(yǔ)，還能通過(guò)提示詞激活環(huán)繞運(yùn)鏡、跟隨運(yùn)鏡以及鏡頭組合運(yùn)鏡等。
而所謂的時(shí)序響應(yīng)能力，就是在同一個(gè) Prompt 中按照時(shí)間順序進(jìn)行分段描述，模型嚴(yán)格按照時(shí)間順序生成。
比如 Prompt：女孩從靜坐在公園長(zhǎng)椅上，到慢慢走出畫(huà)面，晨光逐漸轉(zhuǎn)為正午烈日再過(guò)渡至暮色四合，天空色彩從粉橙漸變?yōu)檎克{(lán)再轉(zhuǎn)為紫紅，來(lái)往行人形成流動(dòng)的虛影軌跡，固定鏡頭，突出光影在長(zhǎng)椅木紋上的緩慢爬行，飄落的樹(shù)葉在長(zhǎng)椅下堆積又隨風(fēng)卷起。
可靈2.0生成效果
這段提示詞既包括復(fù)雜的光影色彩變化，又涉及固定鏡頭、靜態(tài)場(chǎng)景（長(zhǎng)椅）和動(dòng)態(tài)元素（行人、風(fēng)、樹(shù)葉），這對(duì) AI 的生成能力提出了極高的要求。
不過(guò) 2.0 模型嚴(yán)格遵循了文本提示，無(wú)論是女孩的肢體動(dòng)作，還是背景的光線、色彩變化，以及行人的虛影軌跡，它都處理得很到位。
其次，在動(dòng)態(tài)質(zhì)量方面，可靈 2.0 生成的運(yùn)動(dòng)幅度更大，速度更流暢，復(fù)雜動(dòng)作也更自然、更合理。
比如小男孩在街頭玩滑板，這一過(guò)程包含滑行、跳躍、翻轉(zhuǎn)、落地等一系列動(dòng)作，可靈 2.0 生成的視頻呈現(xiàn)出一種快速且流暢的運(yùn)動(dòng)感，即使涉及復(fù)雜運(yùn)動(dòng)，人物動(dòng)作也沒(méi)有變形扭曲。
可靈2.0生成效果。圖生視頻。Prompt：滑板運(yùn)動(dòng)，圍繞滑板少年不斷運(yùn)動(dòng)
而 1.6 模型生成的視頻則像開(kāi)了慢速，而且滑板在空中翻轉(zhuǎn)時(shí)畫(huà)面出現(xiàn)了偽影和閃爍。
可靈1.6生成效果.。圖生視頻。Prompt：滑板運(yùn)動(dòng)，圍繞滑板少年不斷運(yùn)動(dòng)
此前，Sora 等 AI 視頻生成模型只要碰上體育運(yùn)動(dòng)就歇菜，不是順拐就是腦袋亂飛，而現(xiàn)在可靈 2.0 竟能輕松生成「飛檐走壁」的跑酷運(yùn)動(dòng)，整套動(dòng)作行云流水、一氣呵成。
可靈2.0生成效果
還有下面這個(gè)視頻，身穿貂皮大衣的男人為躲避爆炸在雪地里狂奔，如此大幅度的運(yùn)動(dòng)，可靈 2.0 也沒(méi)有出現(xiàn)左右腿不分的問(wèn)題。
可靈2.0生成效果
此外，可靈 2.0 生成的畫(huà)面美感也大幅提升。
其中文生視頻可響應(yīng)影視級(jí)別的畫(huà)面描述，極具大片質(zhì)感。
比如 Prompt：鏡頭跟隨蜜蜂快速的在花叢中穿行，最后聚焦在一刻沾滿露珠的鮮花上。
可靈 2.0 模型生成的畫(huà)面中，蜜蜂表面的絨毛、花瓣的紋理以及露珠全都清晰可見(jiàn)。
圖生視頻則可以更好地保持原圖畫(huà)風(fēng)，延續(xù)更多美感。
比如「喂」給它一幅孩子們?cè)诤＿叡寂艿挠彤?huà)，可靈 2.0 立馬讓畫(huà)面「活」起來(lái)，并且視頻的每一幀都保留了原圖獨(dú)特的油畫(huà)紋理感。
除了基礎(chǔ)模型迭代優(yōu)化以外，可靈還基于 1.6 模型上線了多模態(tài)編輯功能。只需上傳一段 1-5 秒的視頻，它就能對(duì)畫(huà)面元素進(jìn)行增、刪、改、替。
可圖 2.0 圖像生成模型
據(jù)快手副總裁、可靈 AI 負(fù)責(zé)人張迪透露，當(dāng)前，圖生視頻約占到可靈 AI 視頻創(chuàng)作量的 85%，圖片質(zhì)量對(duì)視頻的生成效果產(chǎn)生重要作用。
為了更好賦能創(chuàng)作者，可圖 2.0 文生圖能力也迎來(lái)全面升級(jí)，包括大幅提升指令遵循能力、顯著增強(qiáng)電影美學(xué)表現(xiàn)力以及更多元的藝術(shù)風(fēng)格。
Prompt:低飽和度，大師構(gòu)圖，電影畫(huà)面，歐洲電影，磨砂質(zhì)感，高質(zhì)量畫(huà)面，穿著白色裙子的女孩，背包里都是野花，她站在草地上，空中飄著非常多的迎春花的花朵。
Prompt: 電影質(zhì)感，法國(guó)影片，復(fù)古，自然光線，暖光，一個(gè)穿著淺綠色茶歇裙的女生抱著一捧花，躺在湖心的小木船閉眼哭泣，湖中有大片睡蓮，前景有一棵大樹(shù)，夕陽(yáng)灑在湖中，水面波光粼粼。
prompt：兩位年輕亞洲高中生在一架豪華黑色三角鋼琴前并排坐著，沉浸在演奏中。左側(cè)是一位短發(fā)女性，穿著正式的黑色燕尾服式演出服，白色蝴蝶結(jié)，黑色背心，閉著眼睛，表情專注而陶醉。右側(cè)是一位短黑發(fā)男性，身著灰色V領(lǐng)毛衣，白色襯衫和紫色領(lǐng)帶，微微低頭專注于琴鍵。鋼琴蓋完全打開(kāi)，露出內(nèi)部精致的銅色琴弦和復(fù)雜的機(jī)械結(jié)構(gòu)。場(chǎng)景位于一個(gè)古典風(fēng)格的音樂(lè)廳或豪宅內(nèi)，背景墻面呈淡綠色，裝飾有金色相框中的古典畫(huà)作。整個(gè)畫(huà)面采用電影般的復(fù)古色調(diào)，帶有輕微顆粒感，主要光源從側(cè)面柔和地照射，在鋼琴表面和演奏者臉上形成溫暖的高光。構(gòu)圖從鋼琴側(cè)面略微俯視角度拍攝，前景是鋼琴邊緣的模糊輪廓，中景是兩位演奏者，背景是模糊的墻面和畫(huà)作。畫(huà)面氛圍優(yōu)雅、莊重而富有藝術(shù)感，捕捉了音樂(lè)演奏的深度專注與情感交流的瞬間。
Prompt：電影靜幀，鏡頭正面跟隨一位身穿紅色連衣裙的女子在雨中奔跑，她的頭發(fā)被風(fēng)吹亂，臉上混合著雨水和淚水，背景是模糊的霓虹燈光，街道濕滑反光。
瞅瞅這配色、這光影、這構(gòu)圖，乍一看還真以為是電影劇照。
此外，可圖 2.0 還支持近百種風(fēng)格響應(yīng)，涵蓋特殊材質(zhì)、數(shù)字藝術(shù)和繪畫(huà)技法等。什么吉卜力、賽博朋克、透明玻璃、極簡(jiǎn)攝影…… 通通能搞定。
如果想對(duì)畫(huà)面細(xì)節(jié)或尺寸進(jìn)行修改，我們還可以使用局部重繪或擴(kuò)圖功能。
只要一涂一抹，再輸入提示詞描述，就能對(duì)圖片元素進(jìn)行增加、修改等操作。
或者隨意拖拽原圖位置，就能改變?cè)瓐D大小，自由擴(kuò)充圖片內(nèi)容，而且完全看不出擴(kuò)圖痕跡。
不僅如此，在圖像的多模態(tài)可控生成中，可圖 2.0 還上線了全新的風(fēng)格轉(zhuǎn)繪功能，只需上傳圖片并輸入風(fēng)格描述，就能一鍵切換藝術(shù)風(fēng)格。
圖一：原圖；圖二：吉卜力風(fēng)；圖三： 手辦風(fēng)；圖四：3D卡通風(fēng)；圖五：美少女風(fēng)；圖六：平涂插畫(huà)風(fēng)；圖七：棉花娃娃風(fēng)
可靈 AI 如何穩(wěn)居 AI 視頻賽道 C 位？
自去年 6 月 6 日上線以來(lái)，可靈 AI 就開(kāi)啟狂飆模式，僅 10 個(gè)月就迭代 20 多次，并發(fā)布 9 個(gè)具有里程碑意義的產(chǎn)品。
模型從 1.0 不斷升級(jí)到如今的 2.0 版本，不僅顯著提升了視頻生成質(zhì)量，也奠定了其在全球市場(chǎng)的領(lǐng)先地位。
此次發(fā)布會(huì)上，快手高級(jí)副總裁、社區(qū)科學(xué)線負(fù)責(zé)人蓋坤透露，可靈 2.0 在團(tuán)隊(duì)內(nèi)部的多項(xiàng)勝負(fù)率評(píng)測(cè)中，均穩(wěn)居業(yè)內(nèi)第一。
比如在文生視頻領(lǐng)域，可靈 2.0 對(duì)比谷歌 Veo2 的勝負(fù)比為 205%，對(duì)比 Sora 的勝負(fù)比達(dá) 367%，在文字相關(guān)性、畫(huà)面質(zhì)量、動(dòng)態(tài)質(zhì)量等維度上顯著超越對(duì)手。（注：勝負(fù)比為 100% 說(shuō)明兩個(gè)模型同樣厲害）
3 月 27 日，全球知名 AI 基準(zhǔn)測(cè)試機(jī)構(gòu) Artificial Analysis 發(fā)布最新全球視頻生成大模型榜單，快手可靈 1.6 pro（高品質(zhì)模式）以 1000 分的 Arena ELO 基準(zhǔn)測(cè)試評(píng)分，登頂「圖生視頻」賽道榜首，超越了 Google Veo 2 與 Runaway Gen-4 等國(guó)際頂尖模型。
而模型能力的迭代自然離不開(kāi)技術(shù)上的創(chuàng)新支撐。這既包括基礎(chǔ)模型架構(gòu)上的升級(jí)，也包括訓(xùn)練和推理策略上的突破。
一方面，可靈 2.0 采用了全新設(shè)計(jì)的 DiT 架構(gòu)，提升了視覺(jué) / 文本模態(tài)信息融合能力；全新設(shè)計(jì)的視覺(jué) VAE，使復(fù)雜動(dòng)態(tài)場(chǎng)景下過(guò)渡更自然；同時(shí)可靈 2.0 首次系統(tǒng)性研究視頻生成 DiT 架構(gòu)的 Scaling Law 特性。可以說(shuō)，全新設(shè)計(jì)的視頻生成基礎(chǔ)模型，使得可靈 2.0 打開(kāi)了建模和仿真能力空間。
另一方面，可靈 2.0 全面升級(jí)訓(xùn)練和推理策略，強(qiáng)化對(duì)于復(fù)雜運(yùn)動(dòng)、主體交互的生成能力，強(qiáng)化對(duì)運(yùn)鏡語(yǔ)言、構(gòu)圖術(shù)語(yǔ)等專業(yè)表達(dá)的理解和響應(yīng)能力，還進(jìn)一步對(duì)齊人類偏好，讓模型更懂「常識(shí)」和「審美」。
在圖像生成大模型領(lǐng)域，可圖 2.0 同樣處于行業(yè)領(lǐng)先水平，在團(tuán)隊(duì)內(nèi)部的多項(xiàng)勝負(fù)率評(píng)測(cè)中，相較于 Midjourney V7、FLUX1.1 [pro] 以及 Reve 等圖像模型，均保持明顯優(yōu)勢(shì)。
可圖 2.0 的基座升級(jí)，背后也對(duì)應(yīng)著大量的技術(shù)突破。在預(yù)訓(xùn)練階段更精準(zhǔn)地建模了文本到視覺(jué)模態(tài)的映射，在后訓(xùn)練階段使用了更多的強(qiáng)化學(xué)習(xí)進(jìn)行美學(xué)和人類偏好的對(duì)齊，在圖像生成階段則使用了全新的提示詞工程和推理策略來(lái)優(yōu)化圖像的生成。
在圖像和視頻的多模態(tài)控制能力方面，可靈團(tuán)隊(duì)則使用了統(tǒng)一的模型架構(gòu)處理文本、圖像和視頻表示及輸入，實(shí)現(xiàn)有效的多模態(tài)控制效果；同時(shí)，通過(guò)高效的 Token 壓縮與緩存算法，支持長(zhǎng)序列的上下文學(xué)習(xí)；最后通過(guò)帶 COT 能力的多模態(tài)推理技術(shù)，幫助精確理解用戶意圖，模型可以提供更好的基于多模態(tài)理解的視覺(jué)生成。
AI 視頻進(jìn)入 2.0 時(shí)代
定義人與 AI 的交互新方式
作為全球領(lǐng)先的視頻生成大模型，可靈 AI 基礎(chǔ)模型「雙子星」的重磅升級(jí)，標(biāo)志著 AI 視頻創(chuàng)作正式邁進(jìn)了 2.0 時(shí)代。
那么，這個(gè)新時(shí)代最核心的變革是什么？簡(jiǎn)單來(lái)說(shuō)，就是人人都能用 AI 講好故事。
在 1.0 時(shí)代，各科技大廠隔空斗法，通過(guò)持續(xù)的技術(shù)創(chuàng)新，解決了 AI 視頻生成領(lǐng)域多個(gè)核心難題。比如，可靈 AI 陸續(xù)上線了人臉建模、口型同步、智能配音、運(yùn)動(dòng)質(zhì)量、風(fēng)格化、首尾幀、AI 音效以及資產(chǎn)管理等關(guān)鍵功能，并深度接入 DeepSeek，全面打通文案、圖像、視頻、音效等內(nèi)容形態(tài)，實(shí)現(xiàn)真正的一站式智能創(chuàng)作鏈路。
得益于此，視頻生成大模型的用戶規(guī)模也迎來(lái)爆發(fā)式增長(zhǎng)。截至目前，可靈 AI 全球用戶規(guī)模突破 2200 萬(wàn)。過(guò)去的 10 個(gè)月里，月活用戶量增長(zhǎng) 25 倍，累計(jì)生成超過(guò) 1.68 億個(gè)視頻及 3.44 億張圖片。
不過(guò)，蓋坤在發(fā)布會(huì)上坦言，盡管 AI 在輔助創(chuàng)意表達(dá)上擁有巨大潛力，但當(dāng)前的行業(yè)發(fā)展現(xiàn)狀還遠(yuǎn)遠(yuǎn)無(wú)法滿足用戶需求，尤其在 AI 生成內(nèi)容的穩(wěn)定性、以及用戶復(fù)雜創(chuàng)意的精確傳達(dá)上仍有「很多挑戰(zhàn)」。也因此，要真正實(shí)現(xiàn)「用 AI 講好每一個(gè)故事」的愿景，必須對(duì)基模型能力進(jìn)行全方位提升，定義人和 AI 交互的「全新語(yǔ)言」。
在本次 2.0 模型的迭代中，可靈 AI 正式發(fā)布 AI 視頻生成的全新交互理念 Multi-modal Visual Language（MVL），讓用戶能夠結(jié)合圖像參考、視頻片段等多模態(tài)信息，將腦海中包含身份、外觀、風(fēng)格、場(chǎng)景、動(dòng)作、表情、運(yùn)鏡在內(nèi)的多維度復(fù)雜創(chuàng)意，直接高效地傳達(dá)給 AI。
「大家應(yīng)該很自然地會(huì)感受到文字在表達(dá)影像信息時(shí)，是不完備的。我們需要有新的方式，能讓人真正精準(zhǔn)地表達(dá)出心中所想?！股w坤指出，MVL 由 TXT（Pure Text，語(yǔ)義骨架）和 MMW（Multi-modal-document as a Word，多模態(tài)描述子）組成，能從視頻生成設(shè)定的基礎(chǔ)方向以及精細(xì)控制這兩個(gè)層面，精準(zhǔn)實(shí)現(xiàn) AI 創(chuàng)作者們的創(chuàng)意表達(dá)。
為了進(jìn)一步激發(fā) AI 愛(ài)好者們的創(chuàng)作熱情，快手副總裁、可靈 AI 負(fù)責(zé)人張迪還在發(fā)布會(huì)現(xiàn)場(chǎng)正式發(fā)起「可靈 AI NextGen 新影像創(chuàng)投計(jì)劃」。該計(jì)劃將加大對(duì)于 AIGC 創(chuàng)作者的扶持力度，通過(guò)千萬(wàn)資金投入、全球宣發(fā)、IP 打造和保障，以全資出品、聯(lián)合出品和技術(shù)支持等靈活多樣的合作方式，讓 AI 好故事走向世界。
如今，從 UGC（用戶生成內(nèi)容）到 PGC（專業(yè)生成內(nèi)容），從社交短視頻到廣告營(yíng)銷，可靈 AI 在各類場(chǎng)景中的應(yīng)用趨勢(shì)日益明顯，這也意味著，未來(lái)「人人都能用 AI 講好故事」不再是一句口號(hào)，而成為每個(gè)人的創(chuàng)作現(xiàn)實(shí)。
熱門(mén)跟貼