擴(kuò)散模型的最新進(jìn)展極大推動(dòng)了個(gè)性化圖像生成技術(shù)發(fā)展。在這一領(lǐng)域，傳統(tǒng)方法通常將主體驅(qū)動(dòng)圖像生成和基于指令的圖像編輯這兩類任務(wù)分開處理，不僅面臨高質(zhì)量數(shù)據(jù)匱乏問題，還存在泛化能力不足的情況，難以同時(shí)保持主體一致性和指令遵循能力。
研究團(tuán)隊(duì)提出了?MIGE，一個(gè)統(tǒng)一了主體驅(qū)動(dòng)可控生成和基于指令編輯的圖像生成框架。MIGE?通過利用多模態(tài)指令和條件輸入，實(shí)現(xiàn)了兩種任務(wù)的聯(lián)合訓(xùn)練，從而增強(qiáng)任務(wù)協(xié)同效應(yīng)并緩解數(shù)據(jù)稀缺問題。聯(lián)合訓(xùn)練還解鎖了新的能力，例如基于指令的主體驅(qū)動(dòng)圖像編輯。這一新任務(wù)還構(gòu)建了數(shù)據(jù)生成流程，并提出了用于評(píng)估的?MIGEBench。實(shí)驗(yàn)結(jié)果表明，聯(lián)合訓(xùn)練顯著提升了主體保真度和指令遵循能力，證明了任務(wù)統(tǒng)一帶來的優(yōu)勢(shì)。這一整合方式增強(qiáng)了可控性，并為未來的多模態(tài)圖像生成與編輯提供了新的發(fā)展方向?，F(xiàn)已上線始智AI-wisemodel開源社區(qū)，歡迎前去體驗(yàn)。 模型和數(shù)據(jù)集地址 https://wisemodel.cn/models/EurekaTian/MIGE https://wisemodel.cn/datasets/EurekaTian/MIGEBench
研究團(tuán)隊(duì)提出了?MIGE，一個(gè)統(tǒng)一了主體驅(qū)動(dòng)可控生成和基于指令編輯的圖像生成框架。MIGE?通過利用多模態(tài)指令和條件輸入，實(shí)現(xiàn)了兩種任務(wù)的聯(lián)合訓(xùn)練，從而增強(qiáng)任務(wù)協(xié)同效應(yīng)并緩解數(shù)據(jù)稀缺問題。聯(lián)合訓(xùn)練還解鎖了新的能力，例如基于指令的主體驅(qū)動(dòng)圖像編輯。這一新任務(wù)還構(gòu)建了數(shù)據(jù)生成流程，并提出了用于評(píng)估的?MIGEBench。實(shí)驗(yàn)結(jié)果表明，聯(lián)合訓(xùn)練顯著提升了主體保真度和指令遵循能力，證明了任務(wù)統(tǒng)一帶來的優(yōu)勢(shì)。這一整合方式增強(qiáng)了可控性，并為未來的多模態(tài)圖像生成與編輯提供了新的發(fā)展方向?，F(xiàn)已上線始智AI-wisemodel開源社區(qū)，歡迎前去體驗(yàn)。 模型和數(shù)據(jù)集地址 https://wisemodel.cn/models/EurekaTian/MIGE https://wisemodel.cn/datasets/EurekaTian/MIGEBench
PNG
長圖
PNG
長圖
PNG
長圖
PNG
長圖
PNG
長圖
PNG
長圖