來源：央視網
“全紅嬋家要蓋新房了
有視頻為證
‘千真萬確’！”
看到這樣的消息
你會信嗎？
近日社交平臺上出現了不少AI生成的視頻
全紅嬋的“爸爸”“哥哥”紛紛“出鏡”
邊“講述”邊帶貨
還有不少人被騙下單
究竟是誰在冒充奧運冠軍的家人？
AI仿冒詐騙
還有多少受害者？
“AI仿冒”家人
帶貨文案雷同
近日，有賬號在社交平臺發(fā)布圖文作品，稱為奧運冠軍全紅嬋家承建新房，且即將開工，并在評論區(qū)回應網友消息“千真萬確”。
據悉，此前在接受媒體采訪時，全紅嬋媽媽曾表示，自己的愿望是在村里蓋一個房子，讓孩子們回來能有房間住。
關于全紅嬋家建造新房消息是否屬實，記者求證了廣東湛江市麻章區(qū)政府相關部門及自稱承建新房方，截至發(fā)稿，尚未得到明確回應。
然而，在社交平臺上已經出現多個賬號使用AI合成的全紅嬋爸爸、哥哥聲音，用完全相同的文案介紹家里要蓋新房，以此來博取流量。
在AI合成視頻中攜帶有駱駝奶粉、土雞蛋、洗衣液等多種商品鏈接，流量較好的仿冒作品評論區(qū)中，不乏有人被騙下單購買。
全紅嬋父母與哥哥。圖源：九派新聞
據悉，全紅嬋的父母長期靠種植水果維持生計，全紅嬋的大哥全進華是一名三農主播，帶貨湛江本地的特產水果，全紅嬋的母親也時常入鏡，全家人直播帶貨曾引發(fā)不少網友的質疑。
對此，全進華在采訪中表示，自己做自媒體是想帶動三農產品銷售，當地種了很多水果，有時會出現滯銷的情況，自己想幫助果農。與此同時，自媒體工作也可以讓他兼顧照顧身體不好的母親。
他說：“雖然我還不是個（流量）很大的博主，也不一定能賣出很多東西，但我希望盡自己能力幫助家人、村里乃至湛江以及其他地方的農產品進行銷售?！?/p>
換臉、換聲音
多名公眾人物陷入“AI漩渦”
利用AI偽造視頻的現象并不罕見，此前，曾有多位明星成為AI偽造視頻的素材。
今年3月，有線上游戲平臺利用AI技術，將知名演員的肖像、聲音及過往視頻片段，合成制作為帶有賭博性質的代言宣傳片。這些AI合成的視頻顯示，演員講代言臺詞的聲線和口音聽得出均刻意模仿本人，整體畫面制作頗為粗糙，藝人講臺詞的嘴形僵硬不自然，AI合成痕跡十分明顯。
3月5日，相關演員經紀公司先后發(fā)布聲明，指出該宣傳片為合成影片，否認其與有關游戲平臺合作或代言、推廣它們的業(yè)務，提醒各方人士不要輕信，以免上當受騙。
除了明星，當普通人成為公眾人物，隨著流量的上漲，也會被別有用心之人盯上。
2023年，謝岳為尋找兒子發(fā)出千萬尋子的懸賞而登上熱搜，走入公眾視野，2025年3月14日，謝岳尋子成功，再次引發(fā)了廣泛關注。3月16日，在謝岳舉辦的認親團圓宴上，來了許多媒體和自媒體人員，甚至有人不聽勸阻，現場架起手機直播帶貨。
謝岳在公共場合舉著尋子告示。圖源：新京報
不僅如此，一些不良商家甚至利用謝家父子形象用AI生成帶貨視頻。據報道，在某短視頻平臺，一些商家或個人賬號剪輯謝岳、謝浩男此前的直播視頻畫面，利用AI對口型讓他們“說出”所謂“送福利”的內容，并在視頻內掛購物鏈接，制作帶貨視頻，帶貨的商品包括面膜、牙膏等。
謝浩男在某短視頻平臺上注冊了唯一認證賬號，他曾表示，接下來自己會繼續(xù)讀書，承諾不會帶貨，并稱網上所謂的“帶貨視頻”都是假的。
對此，河南澤槿律師事務所主任付建表示，商家剪輯尋親者相關視頻，利用AI技術制作帶貨視頻推銷商品，侵犯了當事人的肖像權。民法典規(guī)定，任何人未經授權不得擅自使用他人肖像，民法典中規(guī)定了對自然人聲音的保護參照適用肖像權保護的有關規(guī)定。如果有商家利用AI對口型功能讓尋親者帶貨，若公眾能根據音色、語調和發(fā)音風格等識別出是他們的聲音，也侵犯了其聲音等具有可識別性質的人格權益。商家需向被侵權人承擔停止侵害、消除影響、賠禮道歉、賠償損失等民事責任。
換臉、換聲詐騙
老年用戶難辨真假
記者了解到，近年來，全國發(fā)生了多起通過“AI換聲”實施詐騙的案件。日前，有不法分子通過“AI換聲”仿冒一位老人的孫子，以“打人須賠償，否則要坐牢”為由，詐騙老人2萬元。
AI如何生成以假亂真的聲音？受訪專家介紹，AI能夠“克隆”聲音，主要是依靠深度學習算法，即短時間內從采集的聲音樣本中提取關鍵特征，包括頻率、音色、聲調、語速、情感等，將這些特征記錄為數學模型，再通過算法合成。
中國科學院自動化研究所模式識別實驗室工程師牛少東說，隨著算法越來越先進，在高性能設備和高精度模型的加持下，AI生成的語音內容從兩年前的“一眼假”升級到如今的“真假難辨”。
大四學生耿孝存最近經常在網絡音樂播放器中收聽幾首翻唱歌曲，他一直以為這些歌曲由某知名女歌手翻唱，后來才得知其實全部是AI合成的。“聲音逼真到我從來沒懷疑過?！?/strong>耿孝存說。
AI聲音在最近一兩年時間內變得格外“流行”。清華大學新聞與傳播學院教授沈陽說，人工智能技術的普及，讓AI模擬聲音的門檻大幅降低。通過一些開源軟件和平臺，沒有專業(yè)知識的普通用戶也能操作。
大量App能夠進行AI合成聲音，最快只需十幾秒。記者在應用商店搜索發(fā)現，相關App有數十款，下載量最高超千萬次。
記者聯系了一款App的客服人員，對方表示，花198元就能解鎖付費會員，對著鏡頭說幾遍“12345”，AI就會根據聲音生成各類內容的出鏡口播視頻。記者操作后發(fā)現，通過這款軟件生成的名人聲音，基本可以以假亂真，且錄入名人聲音不需要提供任何授權證明。
AI生成的照片。圖源：新京報
業(yè)內人士告訴記者，AI模擬人聲在互聯網“流行”，有追逐流量和變現的目的。通過“克隆”名人聲音制作的惡搞、獵奇類視頻，在相關平臺播放和點贊量均不低，有的甚至還被推上熱搜。發(fā)布者也相應獲得流量曝光、粉絲增長、廣告收入等播放收益。
此外，“偷”人聲音也有不法利益驅動。國家金融監(jiān)管總局2024年7月發(fā)布的《關于防范新型電信網絡詐騙的風險提示》中提到，不法分子可能對明星、專家、執(zhí)法人員等音視頻進行人工合成，假借其身份傳播虛假消息，從而實現詐騙目的。
多舉措強化治理
新規(guī)9月起施行
用AI生成他人聲音，是否違法違規(guī)？多位受訪專家表示，個人聲音中包含的聲紋信息具備可識別性，能以電子方式記錄，能關聯到唯一自然人，是生物識別信息，屬于個人信息保護法規(guī)定的敏感個人信息之一。
2024年4月，北京互聯網法院宣判全國首例“AI聲音侵權案”，明確認定在具備可識別性的前提下，自然人聲音權益的保護范圍可及于AI生成聲音。該法院法官認為，未經權利人許可，擅自使用或許可他人使用錄音制品中的聲音構成侵權。
近年來，有關主管部門出臺《人工智能生成合成內容標識辦法（征求意見稿）》《互聯網信息服務深度合成管理規(guī)定》《生成式人工智能服務管理暫行辦法》等規(guī)定，一定程度上給AI技術使用劃定了紅線。
沈陽等專家認為，關于人工智能應用產生的造謠侵權、刑事犯罪、道德倫理等問題，建議有關部門細化完善相關規(guī)則，通過典型案例、司法解釋等方式給予更為明確的規(guī)范指引，厘清法律法規(guī)邊界。
中國科學院科技戰(zhàn)略咨詢研究院院長潘教峰認為，需進一步強化人工智能倫理規(guī)制，超前部署人工智能風險研究，提前預判人工智能技術應用可能帶來的社會影響。
近日，國家互聯網信息辦公室等四部門聯手發(fā)布了《人工智能生成合成內容標識辦法》（簡稱《標識辦法》），并定于2025年9月1日起正式施行。
《標識辦法》明確了服務提供者應當對文本、音頻、圖片、視頻、虛擬場景等生成合成內容添加顯式標識，在提供生成合成內容下載、復制、導出等功能時，應當確保文件中含有滿足要求的顯式標識；應當在生成合成內容的文件元數據中添加隱式標識。
有媒體評論稱，這一舉措，為AI生成內容設定了明確的標識規(guī)范，使得以往難以辨別的AI作品必須“持證上崗”，清晰標注其AI生成身份。不僅在AI作品與人類創(chuàng)作之間劃清了界限，有效解決了AI作品帶來的信任問題，讓AI作品從隱匿于人群之中回歸其專屬領域，為社會營造了一個純凈的創(chuàng)作環(huán)境。
來 源丨 央視網綜合九派新聞、羊城派、上游新聞、新華網、南方日報、新京報
熱門跟貼