新智元報道
編輯：KingHZ
【新智元導(dǎo)讀】1%合成數(shù)據(jù)，就能讓AI模型瞬間崩潰！如此顛覆性發(fā)現(xiàn)，只因未引用他人論文，ICLR區(qū)域主席直接拒稿，好在作者成功rebuttal，論文最終選為Spotlight。而背后，竟是一樁圖靈獎得主Yann Lecun關(guān)注的學(xué)界爭議！
ICLR 2025，公開審稿，多級反轉(zhuǎn)！
只因沒有引用COLM 2024會議的一篇論文，區(qū)域主席根據(jù)公開評論，竟建議拒絕投稿論文！
雖然最終論文《強(qiáng)模型崩潰》（Strong Model Collapse）被接受，并選為亮點論文（Spotlight），但過程可謂危險至極！
來自Meta等研究機(jī)構(gòu)證實：1%合成數(shù)據(jù)，就能讓模型瞬間崩潰。
作者將文章投稿ICLR 2025后，審稿人對這篇論文的評價一致為正面。
區(qū)域主席（Area Chair），基于公開評論建議拒絕該論文，只因缺少對COLM 2024論文的引用。
即便在OpenReview上的私下討論（公眾無法查看）中，審稿人最終決定，缺少這篇引用不能成為拒絕的唯一依據(jù)。
但區(qū)域主席推翻了審稿人的意見，建議拒絕了此論文。
收到投訴后，ICLR決定審查此案。
調(diào)查后，一致決定支持審稿人的意見，因此最終接受了這篇論文。
任何平均得分高于閾值的論文，將自動考慮作為亮點論文。
評審意見主頁：https://openreview.net/forum?id=et5l9qPUhm
公開評審：李鬼倒打李逵？
對ICLR論文提出疑問的斯坦福大學(xué)CS博士生Rylan Schaeffer，他是COLM 2024下列論文的作者。
他強(qiáng)調(diào)，ICLR 2025的論文《強(qiáng)模型崩潰》作者，故意不引用COLM 2024論文：
1.他們明確知曉有一篇先前的已發(fā)布工作，直接與他們的敘述和科學(xué)主張相矛盾；
2.他們使用了該先前工作中提出的方法論，而同時又侮辱了該工作并未給予應(yīng)有的致謝。
他堅持認(rèn)為ICLR 2025投稿論文是故意壓制矛盾證據(jù)，混淆對模型崩潰（潛在）危害的理解。
ICLR的作者就是赤裸裸的學(xué)術(shù)不端，是科學(xué)界的恥辱！
特別是對于ICLR沒有引用他寫作的COLM 2024論文，他認(rèn)為這無法忍受。
我們懇請評審專家和區(qū)域主席要求《強(qiáng)模型崩潰》的作者解決以下問題：
1.此項工作與現(xiàn)有關(guān)于避免模型崩潰文獻(xiàn)的關(guān)系，
2.如何解釋看似矛盾的結(jié)論產(chǎn)生的不同建模假設(shè)，以及哪種假設(shè)最能反映現(xiàn)實場景。
評估哪些假設(shè)最符合現(xiàn)實場景對于評估這項工作的實際影響至關(guān)重要。
在去年，Rylan Schaeffer就表示，如果對模型崩潰（model collapse）有興趣，強(qiáng)烈要求閱讀他們的COLM 2024論文。
反駁：Rylan Schaeffer才是抄襲者
在得到會議程序委員會及歷任主席一致認(rèn)同后，ICLR論文一作Elvis Dohmatob，在X上公開回應(yīng)了Rylan Schaeffer的指責(zé)，認(rèn)為Rylan Schaeffer存在嚴(yán)重的不當(dāng)行為：
抄襲我們的先前工作，
論文內(nèi)容主要由人工智能生成（是的，作者將我們的論文輸入到LLM中生成了另一篇論文），
違反倫理審查委員會（IRB）規(guī)定等。
在長時間的雙方溝通中，這些問題逐步被揭露出來。
在帖子后，ICLR 2025官方賬號，澄清了提交論文4488評審的過程，真如開頭所言。
NYU教授還原全過程
去年，《強(qiáng)模型崩潰》的作者Julia Kempe和「李鬼」Rylan Schaeffer多次溝通，公開了論文其他作者的道歉郵件。
特別是，模型崩潰、混合原始數(shù)據(jù)與合成數(shù)據(jù)等領(lǐng)域已有很多優(yōu)秀論文的情況下（包括在《自然》雜志上發(fā)表的文章），當(dāng)Gerstgrasser等人首次向發(fā)送他們《模型崩潰是不可避免的嗎？》的v1版本時，很少有對一發(fā)表論文的相關(guān)討論。
甚至有Rylan Schaeffer的合著者表示論文粗制濫造， 就是趕鴨子上架：
他們斯坦福的導(dǎo)師跟他們來往并不密切。
學(xué)生趕在截止日期前，馬上提交論文。我們對論文粗制濫造的關(guān)切，幾乎被漠視了。
可悲的是，這已經(jīng)成為他們的文化的一部分。
至于沒有引用相關(guān)論文的原因，我直到現(xiàn)在仍然不明白。
更加驚訝的是，「李鬼」Rylan Schaeffer所謂的「模型坍塌必讀理論」，是Julia Kempe之前定理的一個微不足道的推論，而且Rylan Schaeffer的論文還具有誤導(dǎo)性。
但奇怪的是，這些公式化的表述與論文中的語言相似，符號也古怪地相似：
左：「李逵」的論文符號，右：「李鬼」的論文符號
然而，隨后Julia Kempe等明白了！
在指出了最明顯的遺漏后，「李鬼」論文的作者等人發(fā)送了一份報告，暗示Julia Kempe等人的反饋，被AI用來合成論文。
Julia Kempe等人被當(dāng)作免費勞動力使用，這令Julia Kempe大開眼界！
但可悲的是，Rylan Schaeffer等人的論文雖被COLM 2024接受，但仍然包含誤導(dǎo)性結(jié)論。
在涉及到個人學(xué)術(shù)聲譽(yù)的斗爭中，Julia Kempe也得到了同事的支持，甚至得到了圖靈獎得主、AI大佬Yann Lecun的關(guān)注和支持！
模型崩潰與合成數(shù)據(jù)
雙方的焦點在于「模型崩潰」。
第1點：關(guān)于Gerstgrasser等人的論文與先前工作的科學(xué)矛盾。
Gerstgrasser等人的論文，并沒有以任何有意義的方式避免模型崩潰。
正方Julia Kempe等人，在ICLR 2025論文中，明確將「模型崩潰」定義為「AI模型性能的重大下降」。
避免模型崩潰意味著：縮小使用真實數(shù)據(jù)和合成數(shù)據(jù)訓(xùn)練時的性能差距。
反方Rylan Schaeffer、Gerstgrasser等人，將避免模型崩潰定義為：「在多次訓(xùn)練模型時，防止發(fā)生遞歸性退化」。
該論文承認(rèn)，盡管當(dāng)樣本逐漸積累時，性能退化是有界的，但仍然存在性能損失。
這一定義僅代表了縮小真實數(shù)據(jù)和合成數(shù)據(jù)之間差距的部分條件。從這個意義上講，Gerstgrasser等人并未解決或緩解模型崩潰問題。
在關(guān)于模型崩潰的大多數(shù)文獻(xiàn)中，主流觀點認(rèn)為，縮小性能差距是避免模型崩潰的主要標(biāo)準(zhǔn)。
從實際角度來看，縮小真實數(shù)據(jù)與合成數(shù)據(jù)之間的差距，是避免模型崩潰的更具操作性和相關(guān)性的定義。
僅僅確保性能不出現(xiàn)發(fā)散，仍然可能導(dǎo)致模型無法匹配合成數(shù)據(jù)生成器的質(zhì)量，從而使合成數(shù)據(jù)對性能造成損害。
只有當(dāng)性能差距完全縮小時，合成數(shù)據(jù)的負(fù)面影響才能完全減輕。
由于定義和理由上的差異，考慮到縮小性能差距是正確的定義，通過這一廣泛接受的視角，正方Julia Kempe等人已經(jīng)重新審視了所有關(guān)于模型崩潰的相關(guān)工作。
第二點：與Gerstgrasser等人的先前互動
不幸的是，公開評論似乎破壞了審稿過程的匿名性。
正反雙方的確有過互動。
以下是該互動的簡要總結(jié)：
技術(shù)上不足：Gerstgrasser等人的論文只是增量性的技術(shù)貢獻(xiàn)，而且非常薄弱。它不過是對已有論文的已有設(shè)定和論點的輕微修改。其結(jié)果是已有定理的簡單推論。
誤導(dǎo)性/不準(zhǔn)確的結(jié)論：Gerstgrasser等人的論文并未以任何合理的方式解決模型崩潰問題（請參見上文關(guān)于定義的討論）。
不幸的是，Gerstgrasser等人，基本上忽視了互動的建設(shè)性批評，甚至將評論僅作為腳注，附在論文的末尾。
因此，在目前的狀態(tài)下，正方仍然認(rèn)為Gerstgrasser等人的論文，在科學(xué)上并不成立，因此沒有覺得有必要引用。
最終的論文結(jié)果，說明榮耀應(yīng)該歸于Julia kempe等人。
這也與此前領(lǐng)域內(nèi)專家的意見一致。
參考資料：
https://x.com/dohmatobelvis/status/1911107171078615088
https://x.com/KempeLab/status/1817135401124934089
https://x.com/RylanSchaeffer/status/1911153029509992859
熱門跟貼