一場“數(shù)字性侵”。

韓娛公司,正在反擊AI作惡。

上周,韓國娛樂公司HYBE宣布,將與京畿北道警察局(NGPPA)合作,共同打擊以HYBE藝人為對象的深度偽造(Deepfake)內(nèi)容。

HYBE與NGPPA簽署了一份協(xié)議,明確了合作細節(jié),包括加快相關案件的調(diào)查進程,并在韓國設立舉報熱線,方便公眾報告相關犯罪活動。同時,HYBE也宣布加強對深度偽造內(nèi)容的監(jiān)控和處理,尤其是在色情內(nèi)容方面,將專門設立響應機制,盡快采取行動。

打開網(wǎng)易新聞 查看精彩圖片

去年9月,韓國娛樂公司JYP、YG和 Cube也向使用其K-pop藝人圖像創(chuàng)建的深度偽造視覺內(nèi)容宣戰(zhàn)。YG指出,包括(G)I-dle、NewJeans、Twice、Kwon Eun-bi和BlackPink等知名K-Pop女子組合都是深度偽造內(nèi)容的受害者中的冰山一角。

打開網(wǎng)易新聞 查看精彩圖片

近年來,深度偽造內(nèi)容泛濫已成為全球關注的焦點,尤其是針對娛樂行業(yè)的惡意攻擊。那么,為什么深度偽造技術會集中盯上K-Pop圈?背后隱藏著怎樣的惡趣味?

困在AI色情視頻里的女明星

困在AI色情視頻里的女明星

深度偽造(DeepFake)是一種人工智能技術,依賴于深度學習技術,尤其是生成對抗網(wǎng)絡(GAN),來生成或篡改圖像和視頻。其中,GAN 由生成器和判別器組成,通過兩者不斷地對抗和博弈,生成器逐漸學會生成更加逼真的虛假內(nèi)容,直到能夠以假亂真。

借助深度偽造,可以把一個人的臉、聲音、動作換到另一個視頻或圖片上,讓它看起來像是真實發(fā)生的事情,比如讓某人“說”他從未說過的話,或者“做”他從未做過的事情。

打開網(wǎng)易新聞 查看精彩圖片

而在韓國娛樂行業(yè),許多女明星的形象被不法分子用來制作惡搞、色情等有害內(nèi)容,嚴重侵害了藝人的隱私和名譽。

美國網(wǎng)絡安全公司Home Security Heroes的一份報告顯示,在互聯(lián)網(wǎng)所有深度偽造視頻中,幾乎98%是深度偽造色情視頻,前10個專門用于深度偽造色情內(nèi)容的網(wǎng)站上,視頻總訪問量到超過3億次,總觀看次數(shù)超過3000萬。

打開網(wǎng)易新聞 查看精彩圖片

報告還指出,94%的深度偽造色情內(nèi)容都發(fā)生在娛樂業(yè),其中歌手、演員分別以58%、33%占據(jù)大頭。在深度偽造的色情內(nèi)容中,99%的受害者是女性,僅1%為男性。

而在10 個深度偽造色情網(wǎng)站和85個視頻共享平臺上的近 9.6萬個視頻中,53% 的人是韓國歌手和演員。

打開網(wǎng)易新聞 查看精彩圖片

在海外社交媒體Reddit上,有網(wǎng)友指出當搜索“K-Pop”相關的關鍵詞就會跳出熱門subreddit(討論社區(qū))幾乎都是18禁的話題,評論簡直令人作嘔。

打開網(wǎng)易新聞 查看精彩圖片

當前,深度偽造的色情內(nèi)容已經(jīng)蔓延到各種在線社交平臺。其中,曾引發(fā)韓國惡性集體性犯罪“N號房事件”的閱后即焚APP Telegram就是重災區(qū),甚至有人將其命名為“新N號房事件”。

去年8月,韓國女性民友會發(fā)布一組報告,指出在社交平臺Telegram的聊天群組中,只需上傳熟人照片,付費后5秒鐘內(nèi)就能生成不雅合成圖。令人震驚的是,這個聊天群的參與人數(shù)高達22.7萬。

打開網(wǎng)易新聞 查看精彩圖片

更惡心的是,一些深度偽造網(wǎng)站甚至列出了來自幾乎每一代K-Pop的200多名女性偶像的名字,包括多個第五代K-Pop團體的成員。

打開網(wǎng)易新聞 查看精彩圖片

去年,YG旗下女團BABYMONSTER的粉絲群體在社交平臺上發(fā)聲,呼吁粉絲暫時放下飯圈紛爭,共同保護女藝人。他們強調(diào),大家無論支持哪個團體,現(xiàn)在都應團結一致,堅決反對深度偽造色情內(nèi)容的行為,今天的受害者是她們,明天可能就是其他人。尤其是BABYMONSTER的7名成員中,有4人仍是未成年人,這足以說明問題的嚴重性。

打開網(wǎng)易新聞 查看精彩圖片

今年1月,韓國娛樂公司Starship因工作人員重大失誤,導致官方微博轉(zhuǎn)發(fā)了公司旗下K-Pop女子團體IVE成員張元英、安宥真的深度偽造內(nèi)容。

打開網(wǎng)易新聞 查看精彩圖片

盡管經(jīng)紀公司、粉絲群體、網(wǎng)友都對深度偽造內(nèi)容痛斥不已,紛紛敦促相關部門迅速采取法律行動來保護受害者,并追究責任人,但深度偽造內(nèi)容對女藝人的傷害卻難以完全遏制,它不僅是技術濫用的惡果,更是長期以來數(shù)字空間中性別暴力與隱私侵害問題的縮影。

目前,韓國政府和相關機構在輿論壓力下,已加快立法進程,以更嚴厲的法律打擊深度偽造色情內(nèi)容的制作和傳播。

深度偽造為何盯上K-Pop女明星?

深度偽造為何盯上K-Pop女明星?

可以說,技術的低門檻、藝人的高曝光、社會對女性偶像的物化、法律的滯后,種種因素交織,共同催生了這場韓娛生態(tài)中的“數(shù)字性侵”。

有報道顯示,在韓國,涉及深度偽造的色情案件從2022年的3725起激增到2023年的21019起。

盡管根據(jù)《關于處罰性犯罪的特殊案件法》,參與編輯、合成或處理深度偽造色情內(nèi)容的個人將面臨最高五年的監(jiān)禁或 5000 萬韓元的罰款,以營利為目的傳播此類內(nèi)容的發(fā)布者最高可被判處7年監(jiān)禁。

打開網(wǎng)易新聞 查看精彩圖片

然而,在2020年至2023年韓國對深度偽造犯罪做出的 71 項裁決中,只有4 起案件僅因深度偽造犯罪而被判處監(jiān)禁。目前還沒有針對下載或觀看深度偽造色情內(nèi)容的法律。

這意味著,現(xiàn)行法律只針對深度偽造色情內(nèi)容的制作和傳播者進行處罰,而觀看或持有這些內(nèi)容的人卻不受法律約束。這種法律漏洞使得“觀眾”可以毫無顧忌地瀏覽相關內(nèi)容,進一步助長了非法市場的需求,也使受害者更難獲得有效的法律保護。

根據(jù)Home Security Heroes統(tǒng)計,10大最常被深度偽造色情內(nèi)容攻擊的數(shù)據(jù)統(tǒng)計中,大部分受害者都是韓國歌手,其中一位歌手的視頻數(shù)量高達1595個,而另一位韓國歌手的深度偽造視頻觀看量超過了561萬。

打開網(wǎng)易新聞 查看精彩圖片

2017年,在一個名為DeepFake的Reddit用戶出現(xiàn),偽造出了一系列女性色情電影,后來,這個詞的含義逐漸擴大,不僅包括他制作的換臉視頻,還指各種利用 AI 技術生成的合成內(nèi)容。隨后,開源工具如DeepFaceLab和Faceswap相繼發(fā)布,使得用戶能夠更容易地創(chuàng)建深度偽造內(nèi)容。

當下,深度偽造內(nèi)容不再是一個高門檻的技術挑戰(zhàn),幾乎任何人都能輕松、高效地制作出逼真的虛假內(nèi)容。從操作難度來看,目前只需一臺手機就足以制作出 AI 換臉內(nèi)容,用戶只需要提供提供素材并簡單調(diào)整,技術本身就會完成大部分工作。

打開網(wǎng)易新聞 查看精彩圖片

而K-Pop產(chǎn)業(yè)在全球范圍內(nèi)的廣泛傳播,尤其是韓國女歌手通過社交媒體與粉絲的緊密互動,創(chuàng)造了極高的曝光度。這種高度可見性使得她們的形象成為了深度偽造內(nèi)容的理想素材。

去年3月,K-Pop女子團體ITZY成員黃禮志在一次粉絲連線活動中,意外地看到了一段自己的深度偽造的跳舞視頻。當時,黃禮志的表情顯然有些難以招架,既高興又有些困惑,只能尷尬地模仿起視頻中的舞蹈動作。盡管這段視頻表面上似乎并無惡意,但事后,許多人表示,觀看這段視頻讓人感到“毛骨悚然”。

打開網(wǎng)易新聞 查看精彩圖片

如今,偶像的每一個動作、每一個表情都可能成為被惡意利用的對象。任何人只需借助技術手段,就能利用公開的藝人影像、物料,制作出極為逼真的偽造視頻。這些偽造的視頻不僅可能被推向公共平臺,也有可能被泄露到私密場合,給偶像帶來無法預見的困擾和傷害。

另一方面,韓國社會對女性偶像的極度關注和物化,加劇了這種侵犯的普遍性。

在傳統(tǒng)的性別文化中,女性往往被視為視覺消費的對象,尤其是年輕的女歌手,她們的形象和形態(tài)經(jīng)常被放大、審視和評價,使得這些女明星成為了深度偽造內(nèi)容的高頻目標。對她們進行深度偽造不僅能夠迅速吸引眼球,其社會影響力也使得這些內(nèi)容具備了更高的傳播價值。

打開網(wǎng)易新聞 查看精彩圖片

而且,大多數(shù)觀看深度偽造色情的男性并不認為這種行為有道德問題。

以Home Security Heroes的1522名美國男性受訪者為例,74%的人對深度偽造色情內(nèi)容沒有罪惡感,其中“我知道這不是真人?!保?6%)、“只是我個人興趣,這不會傷害任何人?!保?0%)“深度偽造色情只是更逼真的性幻想?!保?9%)“深度偽造色情和普通色情沒有太大區(qū)別?!保?8%)

打開網(wǎng)易新聞 查看精彩圖片

其背后的邏輯,他們或是受名人吸引力驅(qū)使,或是“幻想滿足”,希望獲得更個性化、定制化的成人娛樂體驗,卻無視了基本道德界限,抱著輕視女性尊嚴的態(tài)度,這讓深度偽造色情在道德和法律的空白地帶肆意泛濫,進一步加深了對女性藝人的傷害與物化。

而對于經(jīng)紀公司而言,考慮到影像的殘留與輿論的烙印在互聯(lián)網(wǎng)難以抹去,甚至可能成為二次網(wǎng)絡暴力的導火索。大多時候沒有辦法透露深度偽造色情案件的具體細節(jié),這也讓外界難以全面了解案件的嚴重性和受害者所經(jīng)歷的困境。

打開網(wǎng)易新聞 查看精彩圖片

由此可見,K-pop女明星成為深度偽造內(nèi)容的高危群體,其背后既有深度偽造技術的隱蔽性與低門檻,也折射出部分男性對女性的輕視。

可以說,K-pop 產(chǎn)業(yè)高度的全球曝光度與對偶像形象的極致塑造,使得女藝人不僅是商業(yè)符號,更成為公眾欲望的投射對象。再加上法律體系在應對這一新興問題時的滯后,讓女性藝人淪為網(wǎng)絡上的玩偶,隨時可以被任何人肆意操控、貶低,甚至肆無忌憚地消耗。

當技術成為“賽博照妖鏡”

當技術成為“賽博照妖鏡”

一個更恐怖的事實,不僅是韓國,根據(jù)去年3月英國《衛(wèi)報》報道,在歐洲5個訪問量最大的深度偽造內(nèi)容網(wǎng)站上,有近4000位明星被AI換臉成色情內(nèi)容的主角,5個網(wǎng)站三個月的瀏覽量就達到了1億次。受害者包括女演員、電視明星、音樂家和YouTube網(wǎng)紅。

打開網(wǎng)易新聞 查看精彩圖片

去年年初,Taylor Swift的深度偽造色情圖片也曾在X(原推特)上廣泛傳播,在平臺而且被累計瀏覽超4700萬次。據(jù)相關統(tǒng)計顯示,當時全網(wǎng)已有超過9500 個網(wǎng)站“專門制作非自愿親密圖像”。最終, X一度封鎖了對斯威夫特的相關搜索,以遏制這些虛假內(nèi)容的傳播。

打開網(wǎng)易新聞 查看精彩圖片

而在國內(nèi),也出現(xiàn)了深度偽造的相關案件,且受害者并不限于女明星,更有你我這樣的普通人。

2020年,虞某一邊通過傳播換臉的淫穢視頻來“吸粉引流”,同時通過出售“AI換臉”軟件和提供所謂“AI換臉”的私人定制服務,在不到半年的時間里就獲利數(shù)萬元。2023年11月,杭州市蕭山區(qū)人民法院判決虞某犯制作、傳播淫穢物品牟利罪,判處有期徒刑七年三個月,并處罰金6萬元。這也是我國首例關于“AI換臉”侵犯公民個人信息公益訴訟案的審理判決。

打開網(wǎng)易新聞 查看精彩圖片

國內(nèi)在此類案件的處理中,該封號的封號,該處罰的處罰,但利益、欲望似乎總是先于規(guī)則,而法律的步伐卻往往滯后于技術變革。面對技術濫用的新型挑戰(zhàn),“以技術對抗技術”正成為重要的應對策略。

比如,去年推出的榮耀Magic7系列推出手機行業(yè)首個端側AI反詐檢測技術,可在識別內(nèi)容是否存在AI換臉的風險。該技術還獲得了2024年中國網(wǎng)絡安全創(chuàng)新創(chuàng)業(yè)大賽最具投資價值獎。

打開網(wǎng)易新聞 查看精彩圖片

當然,平臺的責任也不應該僅僅是“亡羊補牢”,否則規(guī)則再完善,也只是落后于人性弱點的一紙空文,既攔不住逐利的黑產(chǎn),也保護不了受害者的尊嚴。

社交平臺上,依然有大量不法分子在非法網(wǎng)站上傳不少女藝人的相關深度偽造視頻內(nèi)容,一些交易平臺的商家不過是換了張面孔,便在規(guī)則的夾縫中繼續(xù)游刃有余。

近年來,國內(nèi)雖然在相關立法方面有關注這一議題,但已出臺的規(guī)章制度還不具備可操作的細則和明確的處罰標準。在今年3月全國兩會上,全國人大代表,TCL創(chuàng)始人、董事長李東生也提出了關于加強AI深度偽造欺詐管理的建議。

打開網(wǎng)易新聞 查看精彩圖片

近幾年,“技術無善惡,但卻有邊界”類似的話術,幾乎成為每一篇關于技術濫用的報道中的口號。但技術無法為道德缺失填坑,每一幀都是施暴者的主動選擇,不是算法自作主張。

當技術成為了一部分人的“賽博照妖鏡”,或許我們更需要的不僅僅是更鋒利的監(jiān)管刀刃,也需要一場全民的精神覺醒。數(shù)字世界的“不要臉”,本質(zhì)是現(xiàn)實人格的徹底潰爛。

*本文圖源網(wǎng)絡,如侵權聯(lián)系刪改