人工智能領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議NIPS 2024最佳論文近日出爐，北京大學(xué)和字節(jié)跳動(dòng)團(tuán)隊(duì)一篇關(guān)于視覺自回歸模型的論文位列其中。而該文的第一作者，正是此前被字節(jié)跳動(dòng)起訴索賠800萬元的前實(shí)習(xí)生田某某。
北京大學(xué)和字節(jié)跳動(dòng)團(tuán)隊(duì)獲獎(jiǎng)?wù)撐慕貓D。
所謂自回歸模型，其原理是基于序列前面的值（上下文）來預(yù)測(cè)生成后面的值，如GPT等大語言模型就是典型的自回歸模型。
北京大學(xué)和字節(jié)跳動(dòng)團(tuán)隊(duì)這篇獲獎(jiǎng)?wù)撐?，則展示了自回歸模型在圖像生成領(lǐng)域的潛力。該文提出名為Visual Autoregressive Modeling（VAR，視覺自回歸模型）的新型圖像生成范式，能夠快速學(xué)習(xí)視覺分布，并具有良好的泛化能力，從而驗(yàn)證了在圖像領(lǐng)域，VAR模型也擁有自然語言處理領(lǐng)域自回歸模型的擴(kuò)展定律（Scaling Law）和零樣本泛化能力。
具體效果上，VAR模型的圖像生成質(zhì)量、推理速度和可擴(kuò)展性等性能，超越了圖像生成領(lǐng)域中常用的擴(kuò)散模型（Diffusion Transformer）。而在VAR模型提出前，自回歸模型在圖像生成領(lǐng)域的表現(xiàn)顯著落后于擴(kuò)散模型。
NIPS（神經(jīng)信息處理系統(tǒng)大會(huì)）每年12月舉行，被視為機(jī)器學(xué)習(xí)領(lǐng)域最具影響力的會(huì)議之一，與ICML（國際機(jī)器學(xué)習(xí)大會(huì)）齊名。2024年的NIPS將于12月10日至12月15日在加拿大溫哥華召開。
上述獲獎(jiǎng)?wù)撐氖艿酵饨珀P(guān)注，部分緣于作者身份。在字節(jié)跳動(dòng)實(shí)習(xí)期間，北京大學(xué)在讀博士生田某某以第一作者發(fā)表這篇論文，但目前已陷入和字節(jié)跳動(dòng)的司法糾紛。
南都11月27日?qǐng)?bào)道，字節(jié)跳動(dòng)起訴前實(shí)習(xí)生田某某篡改代碼攻擊公司內(nèi)部模型訓(xùn)練一案，已獲北京市海淀區(qū)人民法院正式受理，案由為侵權(quán)責(zé)任糾紛。字節(jié)跳動(dòng)請(qǐng)求法院，判令田某某賠償公司侵權(quán)損失800萬元及合理支出2萬元，并公開賠禮道歉。（詳見：前實(shí)習(xí)生篡改代碼攻擊大模型訓(xùn)練，字節(jié)跳動(dòng)起訴索賠800萬）
談及起訴緣由，字節(jié)跳動(dòng)內(nèi)部人士介紹，由于田某某為在讀博士生，公司將其辭退后首先交由校方處理。但在事件處理期間，田某某多次對(duì)外否認(rèn)，稱攻擊模型訓(xùn)練任務(wù)的不是自己，而是別的實(shí)習(xí)生?？紤]到田某某完全沒有意識(shí)到錯(cuò)誤，且涉事行為已觸犯公司安全紅線，公司最終決定向法院起訴，以表明公司嚴(yán)肅態(tài)度、杜絕類似事件再次發(fā)生。
11月5日，字節(jié)跳動(dòng)內(nèi)部通報(bào)披露，2024年6月至7月，集團(tuán)商業(yè)產(chǎn)品與技術(shù)部門前實(shí)習(xí)員工田某某，因?qū)F(tuán)隊(duì)資源分配不滿，通過編寫、篡改代碼等形式惡意攻擊團(tuán)隊(duì)研究項(xiàng)目的模型訓(xùn)練任務(wù)，造成資源損耗。公司已與其解除實(shí)習(xí)協(xié)議，同步陽光誠信聯(lián)盟及企業(yè)反舞弊聯(lián)盟，并同步至其就讀學(xué)校處理。
南都記者多次通過郵箱、社交平臺(tái)等渠道和田某某聯(lián)系，均未收到回復(fù)。
采寫：南都記者 楊柳
熱門跟貼