文生圖領(lǐng)域權(quán)威的第三方榜單Artificial Analysis競技場發(fā)布消息稱，字節(jié)跳動Seed團隊圖像生成模型Seedream 3.0綜合性能已追平文生圖SOTA模型GPT-4o，穩(wěn)定超越Recraft V3、Ideogram、Imagen 3、Midjourney V6.1等模型，進入全球第一梯隊。
Seedream 3.0是字節(jié)近日發(fā)布的新一代文生圖主力模型，目前已在即夢、豆包等平臺全量開放。據(jù)Seedream 3.0技術(shù)報告，Seedream3.0是一個原生高分辨率、支持中英雙語的圖像生成基礎(chǔ)模型，無需后處理即可實現(xiàn)2K分辨率圖像直出，適配多比例場景，同時針對小字體高保真生成、多行文本排版等業(yè)界難題，模型也取得了突破性的效果表現(xiàn)。
值得一提的是，Seedream 3.0在3秒左右即可快速生成1K分辨率的高品質(zhì)內(nèi)容，相比之下，業(yè)界同類模型生成該分辨率內(nèi)容的耗時基本在10秒以上，而此前文生圖SOTA模型GPT-4o平均耗時為77秒。
圖注：Seedream3.0技術(shù)報告中評測結(jié)果
豆包大模型團隊推文介紹稱，Seedream3.0研發(fā)始于2024年末，通過調(diào)研設(shè)計師等群體的實際需求，團隊不僅將圖文匹配、結(jié)構(gòu)、美感等行業(yè)共識性指標納入攻堅方向，同時，也將挑戰(zhàn)小字生成與復雜文本排版、2K高清直出、快速圖片生成等難題作為核心目標。
針對2K分辨率、多尺寸圖像直出能力實現(xiàn)，團隊借助了Transformers架構(gòu)對變長輸入序列的靈活處理能力，在從512x512到2048x2048的多種分辨率和不同長寬比上混合訓練，讓模型實現(xiàn)不經(jīng)過額外深加工的高清直出，同時也支持多種分辨率輸出。
為支持快速生成高品質(zhì)圖像，模型采用自研推理加速算法，依靠一致性噪聲預(yù)測，疊加重要時間步采樣，最終實現(xiàn)對模型的無損加速。在保障圖文匹配、美學質(zhì)量、結(jié)構(gòu)準確度等指標的前提下，Seedream 3.0生成1K分辨率圖像僅需3秒。
圖注：Seedream3.0輸出圖像細節(jié)豐富，蝴蝶絨毛根根分明
Seedream3.0還大幅提升了小字體高保真生成、多行文本語義排版表現(xiàn)，滿足設(shè)計師對海報設(shè)計的需求。團隊在預(yù)訓練階段，引入跨模態(tài)旋轉(zhuǎn)位置編碼，補足傳統(tǒng)方法模態(tài)特征對齊短板，進一步加強了文字渲染能力。
圖注：Seedream3.0模型可完成小字生成、多行文本排版，并兼顧畫面美感
據(jù)Seedream團隊介紹，相比此前2.0版本，Seedream 3.0在數(shù)據(jù)和RLHF階段也使用了全新方案。團隊采用缺陷感知的訓練策略，使有效數(shù)據(jù)集擴充超過20%，同時設(shè)計了精準的美感描述維度，并進一步拓展RLHF獎勵模型，使Seedream 3.0具備多維度質(zhì)量判別能力，綜合性能大幅提升。
圖注：Seedream3.0在美感等方面較2.0進一步提升
Seedream團隊表示，“新模型在海報創(chuàng)作、生成效率、結(jié)構(gòu)與美感等方面取得了明顯進步，但在生成可用性、美感與結(jié)構(gòu)、智能化方面仍有提升空間?！?/p>
據(jù)了解，未來，團隊計劃探索更高效的結(jié)構(gòu)設(shè)計，包括構(gòu)建效果更好、成本更低、生成更快的文生圖模型，并進一步拓展模型對世界知識的理解，賦予模型交織生成等能力。同時，團隊也計劃探索數(shù)據(jù)、模型量級、獎勵模型等維度的Scaling現(xiàn)象，將認知積累應(yīng)用于下一代模型中。
Seedream 3.0技術(shù)報告：https://arxiv.org/abs/2504.11346
Seedream 3.0官方網(wǎng)頁：https://team.doubao.com/zh/tech/seedream3_0
熱門跟貼