始智AI wisemodel.cn開源社區(qū)
始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。wisemodel社區(qū)上線，最新上線4090資源不限量，價格實惠，靈活方便，支持在線微調(diào)訓練模型，及和，并。
隨著高分辨率成像技術的飛速發(fā)展，圖像分割技術已從傳統(tǒng)的粗略定位邁入高精度細節(jié)處理時代。無論是工業(yè)檢測（如橋梁裂縫檢測）、醫(yī)療影像分析，還是影視特效制作（如動態(tài)毛發(fā)摳圖），都對圖像分割的精細度要求越來越高。
然而，現(xiàn)有方法在處理高分辨率圖像時面臨兩大難題：細節(jié)丟失與計算成本高昂。精細結構（如毛發(fā)、裂紋）的分割精度不足，以及訓練超大尺寸圖像時的資源消耗，成為技術落地的瓶頸。
在此背景下，南開大學媒體計算實驗室聯(lián)合多個科研團隊提出BiRefNet，一種基于雙邊參考框架的高效、高精度圖像分割模型。該模型在DIS（高精度圖像二值分割）、COD（偽裝目標檢測）、HRSOD（高分辨率顯著目標檢測）等任務中表現(xiàn)卓越，以6.8%的平均性能提升超越現(xiàn)有方法，并成功應用于工業(yè)檢測、影視制作等領域。
截至目前，BiRefNet Github主頁已獲2K Stars，Hugging Face社區(qū)模型總下載量超過三百萬，可以說，BiRefNet是目前最好的開源高精度圖像分割方案。同時，BiRefNet也已上線始智AI-wisemodel開源社區(qū)，歡迎前去體驗。
模型地址
https://wisemodel.cn/models/BiRefNet-group/BiRefNet/
01.
雙邊參考框架的突破性創(chuàng)新
BiRefNet的核心創(chuàng)新在于其獨特的雙邊參考框架（Bilateral Reference Framework），包含定位模塊（LM）與重建模塊（RM），通過多層次信息融合與梯度監(jiān)督，實現(xiàn)細節(jié)與效率的雙重提升。
圖1雙邊參考網(wǎng)絡（BiRefNet）的流程圖
1）定位模塊（LM）：全局語義的高效捕捉
定位模塊采用基于視覺Transformer的編碼器，提取圖像的多層次特征。通過全局平均池化與自適應多尺度上下文融合（ASPP模塊），模型能在低分辨率下快速鎖定目標區(qū)域，生成粗略預測圖。這一設計顯著降低了后續(xù)處理的復雜度，為高分辨率重建奠定基礎。
2）重建模塊（RM）：雙邊參考的細節(jié)復原
重建模塊是BiRefNet的核心，包含兩大創(chuàng)新設計：
內(nèi)部參考（InRef）：直接利用原始高分辨率圖像的局部區(qū)塊，避免下采樣導致的細節(jié)丟失。通過自適應裁剪與解碼器特征融合，確保每個重建階段均能補充完整的高頻信息。
外部參考（OutRef）：引入梯度圖作為監(jiān)督信號，通過梯度敏感特征生成注意力圖，引導模型聚焦于邊緣與紋理復雜區(qū)域。結合形態(tài)學掩膜技術，有效抑制背景噪聲干擾。
3）梯度監(jiān)督與多階段訓練策略
BiRefNet提出梯度輔助監(jiān)督機制，利用真實標簽（GT）與預測梯度圖的雙向優(yōu)化，增強模型對微弱邊緣的捕捉能力。
同時，針對高分辨率數(shù)據(jù)訓練成本高的問題，團隊設計了多階段監(jiān)督（MSS）策略，通過中間預測的逐級優(yōu)化，將訓練周期縮短50%，并支持區(qū)域級損失微調(diào)，顯著提升收斂效率。
02.
性能全面超越現(xiàn)有方法
BiRefNet在13個主流數(shù)據(jù)集上進行了全面驗證，涵蓋DIS、HRSOD、COD等主流圖像分割任務，其性能與效率均達到行業(yè)領先水平。
1）定量實驗結果 （具體指標對比可以見原論文）
DIS任務：在DIS5K數(shù)據(jù)集上，BiRefNet的結構相似度指標（例如S-Measure、最大E-Measure，更關注全局信息) 、像素級指標（如MAE，更強調(diào)細節(jié)的精確性）、基于平均值的指標（例如平均E-Measure、平均F-Measure，更符合實際應用中閾值化地圖的要求)。均大幅領先于之前的方法。特別值得注意的是，在更貼近實際應用的指標上（如人工矯正量指標HCE），BiRefNet的結果同樣更好。
COD任務：在COD 任務中，BiRefNet 相比之前的最先進模型也表現(xiàn)出色，在三個廣泛使用的 COD 基準上，S-Measure指標平均提高了 5.6%。這些結果顯示了BiRefNet 在高分辨率任務上的顯著泛化能力。
SOD任務：BiRefNet在高分辨率和低分辨率顯著物體檢測基準上都取得了更高的準確性。與之前的最先進方法相比，BiRefNet 在S-Measure指標上平均提高了 2.0%。
推理效率：配備Swin-L骨架網(wǎng)絡的BiRefNet在單張NVIDIA A100 GPU上推理速度達83ms/幀，支持實時處理4K分辨率圖像。
2）定性效果展示
如圖2所示，BiRefNet在具有鏤空區(qū)域及細長結構的復雜場景中展現(xiàn)出卓越的幾何細節(jié)保持能力。在DIS5K數(shù)據(jù)集的干擾場景下，模型準確排除背景干擾物，并精確完成像素級前景分割。
在偽裝目標數(shù)據(jù)集COD10K中，如圖3所示，BiRefNet成功分割出被樹枝遮擋的完整昆蟲主體，有效解決了傳統(tǒng)方法在遮擋下存在的語義斷裂問題。
圖2BiRefNet在DIS5K數(shù)據(jù)集上結果的視覺展示。對于鏤空與細長結構也能精細分割。
圖3在COD10K基準測試上提出的BiRefNet與其他先進方法的視覺比較。提供具有不同挑戰(zhàn)性（如微小物體，被遮擋物體等）樣本，以展示BiRefNet在各種復雜場景的優(yōu)越性。
03.
行業(yè)應用從工業(yè)檢測到創(chuàng)意生產(chǎn)
BiRefNet的高精度與泛化能力，使其在多個領域展現(xiàn)出巨大潛力：
1）工業(yè)質(zhì)檢：微小缺陷的精準定位
在建筑裂縫檢測中（圖4B），BiRefNet可識別毫米級裂紋，精度遠超基于COCO數(shù)據(jù)集訓練的通用模型。某建材企業(yè)通過部署B(yǎng)iRefNet，將人工巡檢成本降低70%，并實現(xiàn)裂縫寬度量化分析。
2）影視特效：高精度對象提取
傳統(tǒng)摳圖工具依賴手動標注或粗粒度掩膜，而BiRefNet可直接生成發(fā)絲級分割結果（圖4A）。美國某特效工作室將其集成至后期流程，單鏡頭處理時間縮短60%，并支持8K視頻實時渲染。
3） 醫(yī)學影像：復雜結構的自動化分析
在病理切片分析中，BiRefNet能夠精確分割腫瘤邊緣與微血管網(wǎng)絡，輔助醫(yī)生快速定位病灶。初步臨床試驗顯示，其分割結果與專家標注的一致性達95%。
04.
社區(qū)影響力與第三方應用
自 2024 年3月7日項目發(fā)布以來，BiRefNet 已經(jīng)在學術界和開發(fā)者社區(qū)引起了廣泛關注。許多研究人員和開發(fā)者自發(fā)地推廣和應用這一技術，并基于 BiRefNet 開發(fā)了一系列創(chuàng)新的第三方應用。
例如，一些開發(fā)者將 BiRefNet 集成到 ComfyUI 作為節(jié)點，極大地提升了前景分割摳圖的效果，為后續(xù)的穩(wěn)定擴散模型處理提供了有力支持（圖4C-D）。
圖4潛在應用場景及基于BiRefNet實現(xiàn)的第三方應用展示
此外，F(xiàn)al.AI 還為 BiRefNet 建立了一個在線演示平臺，運行在 A6000 GPU 上，為用戶提供了一個便捷的在線體驗環(huán)境。該平臺不僅提供了結果預測功能，還提供了 API 服務，方便用戶通過 HTTP 請求進行使用，日均處理請求超10萬次（圖4E）。
在社交媒體上，BiRefNet 也引發(fā)了熱烈的討論和廣泛的傳播。許多用戶在 X 平臺（前身為 Twitter）上分享了 BiRefNet 與其他方法的視覺比較結果，展示了 BiRefNet 在高分辨率圖像分割任務中的最優(yōu)性能（圖4F-G）。
這些比較不僅證明了 BiRefNet 的技術優(yōu)勢，也激發(fā)了更多開發(fā)者嘗試和應用這一技術的興趣。此外，一些用戶還利用 BiRefNet 制作了動畫和視頻教程，進一步推動了 BiRefNet 在社區(qū)中的傳播和應用。社媒對BiRefNet模型的一致好評強有力的證明了BiRefNet是目前最好的開源高精度圖像分割方案。
05.
BiRefNet未來展望和機遇
BiRefNet 的出現(xiàn)為高分辨率圖像分割領域帶來了新的希望和機遇。其創(chuàng)新的雙邊參考機制和優(yōu)化的訓練策略不僅在多個基準測試中取得了優(yōu)異的性能，還在實際應用中展現(xiàn)出了強大的潛力。
隨著技術的不斷發(fā)展和優(yōu)化，BiRefNet 有望在更多領域得到應用和推廣，為計算機視覺技術的發(fā)展注入新的活力。
未來，BiRefNet 的研究團隊將繼續(xù)致力于提升模型的性能和效率，探索更多的應用場景和優(yōu)化策略。例如，研究團隊可能會進一步優(yōu)化模型的結構和訓練算法，以降低模型的計算復雜度和內(nèi)存占用，使其更適合在移動設備和邊緣計算環(huán)境中運行。
此外，團隊還在繼續(xù)探索將 BiRefNet 與其他主流技術（如多模態(tài)、視頻分割等）相結合，以進一步提升模型的性能和泛化能力。
在應用層面，BiRefNet 有望在醫(yī)療影像診斷、自動駕駛、工業(yè)檢測等領域發(fā)揮更大的作用。例如，在醫(yī)療影像診斷中，BiRefNet 的高分辨率分割能力可以幫助醫(yī)生更精準地識別病變區(qū)域，提高診斷的準確性和效率。
在自動駕駛領域，BiRefNet 可以用于道路標志和障礙物的精準檢測，為自動駕駛系統(tǒng)的決策提供更可靠的依據(jù)。在工業(yè)檢測中，BiRefNet 可以用于檢測產(chǎn)品表面的缺陷和瑕疵，提高生產(chǎn)質(zhì)量和效率。
論文地址：
https://arxiv.org/pdf/2401.03407
----- END -----
wisemodel相關：
系統(tǒng)升級：
大賽報名：
系列模型：
關于wisemodel更多
1
歡迎持續(xù)關注和支持
開源社區(qū)建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關注wisemodel.cn開源社區(qū)動態(tài)。
2
歡迎加盟wisemodel開源社區(qū)
始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術、運營等人才加盟，技術側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發(fā)者生態(tài)運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn
3
歡迎投稿優(yōu)質(zhì)內(nèi)容
歡迎投稿分享人工智能領域相關的優(yōu)秀研究成果，鼓勵高校實驗室、大企業(yè)研究團隊、個人等，在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。
4
關于wisemodel開源社區(qū)
始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立，旨在打造和建設中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高?？蒲性核⒋笮突ヂ?lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者，以及政府部門、學會協(xié)會、聯(lián)盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創(chuàng)新生態(tài)。
向上滑動查看
熱門跟貼