文 | 追問(wèn)nextquestion
AI生成的文字和圖片，正日漸充斥于互聯(lián)網(wǎng)中。
OpenAI首席執(zhí)行官Sam Altman在今年2月份表示，該公司每天生成大約1000億個(gè)單詞——相當(dāng)于每天一百萬(wàn)本小說(shuō)的文本量，其中有多少內(nèi)容最終流入了互聯(lián)網(wǎng)還未可知[1]。
AI生成文本，可能出現(xiàn)在餐廳評(píng)論、約會(huì)資料或社交媒體帖子中，也可能以新聞文章的形式出現(xiàn)——NewsGuard[2]，一個(gè)專門追蹤網(wǎng)絡(luò)虛假信息的機(jī)構(gòu)，最近識(shí)別出超過(guò)一千個(gè)大量生產(chǎn)漏洞百出的AI生成的新聞文章的網(wǎng)站[3]。
實(shí)際上，由于缺乏有效的檢測(cè)方法，此類內(nèi)容許多仍未被發(fā)現(xiàn)。
所有這些AI生成的信息,不僅讓我們難辨真假，也給AI公司制造了麻煩。通過(guò)瀏覽網(wǎng)頁(yè)的方式以獲取訓(xùn)練下一代模型的新數(shù)據(jù)，將變得日益艱難[4]。一些自身生成的AI內(nèi)容，很可能會(huì)被吸納，從而無(wú)意中形成閉環(huán)，即某一代AI的輸出變成了另一代的輸入。
從長(zhǎng)遠(yuǎn)來(lái)看，這一閉環(huán)可能對(duì)AI自身構(gòu)成威脅。已有的研究表明，生成式AI如在大量自身輸出上進(jìn)行訓(xùn)練，其性能會(huì)大幅下降[5-8]。
下面我們結(jié)合一個(gè)簡(jiǎn)單的示例來(lái)說(shuō)明，當(dāng)一個(gè)AI系統(tǒng)反復(fù)在自己的輸出上進(jìn)行訓(xùn)練時(shí)會(huì)發(fā)生什么情況。
01 真實(shí)手寫數(shù)字
下圖是一個(gè)由60000個(gè)手寫數(shù)字構(gòu)成的數(shù)據(jù)集的一部分。
?圖1. 原始手寫數(shù)據(jù)集的局部，基于Ilia Shumailov 等人的研究。
當(dāng)我們訓(xùn)練一個(gè)AI去模仿這些數(shù)字時(shí)，它的輸出如下圖所示：
?圖2.由一個(gè)AI在同為AI生成的數(shù)字集上訓(xùn)練后生成的數(shù)字集，基于Ilia Shumailov 等人的研究。
如果這個(gè)過(guò)程持續(xù)進(jìn)行會(huì)發(fā)生什么？
?圖3.在AI生成的數(shù)字集上繼續(xù)訓(xùn)練后生成的數(shù)字集，基于Ilia Shumailov 等人的研究。
經(jīng)過(guò)20代如上所述的訓(xùn)練后，AI生成的數(shù)字開始模糊并逐漸消失。
?圖4.在AI生成的數(shù)字集上訓(xùn)練20代后生成的數(shù)字集?；贗lia Shumailov 等人的研究。
經(jīng)過(guò)30代訓(xùn)練后，它們合并成一組單一的形狀。
?圖5.在AI生成的數(shù)字集上訓(xùn)練30代后生成的數(shù)字集
雖然這是一個(gè)簡(jiǎn)化的例子，但它說(shuō)明了一個(gè)可能會(huì)發(fā)生的問(wèn)題。
想象一個(gè)醫(yī)療咨詢聊天機(jī)器人，在接受了上一代聊天機(jī)器人生成的有限的醫(yī)學(xué)知識(shí)的訓(xùn)練后，它可以根據(jù)癥狀對(duì)應(yīng)列出的疾病數(shù)目可能會(huì)很少?；蛘?，一位AI歷史導(dǎo)師，在吸收了AI生成的宣傳內(nèi)容后，無(wú)法區(qū)分事實(shí)與虛構(gòu)。
正如復(fù)制品可能會(huì)偏離原件一樣[9]，當(dāng)生成式AI在自己生成的內(nèi)容上進(jìn)行訓(xùn)練時(shí)，其輸出也可能會(huì)偏離現(xiàn)實(shí)，與本來(lái)打算模仿的原始數(shù)據(jù)越來(lái)越遠(yuǎn)。
在2024年7月發(fā)表在Nature雜志上的一篇論文中[10]，來(lái)自英國(guó)和加拿大的研究者們展示了這個(gè)過(guò)程如何導(dǎo)致AI輸出范圍隨時(shí)間縮小——他們稱此為“模型崩潰”的早期階段。
上述例子中的數(shù)字侵蝕現(xiàn)象體現(xiàn)了這種崩潰。當(dāng)脫離人類輸入時(shí)，AI輸出的質(zhì)量下降（數(shù)字變得模糊），多樣性降低（它們變得相似）。
如果只有部分訓(xùn)練數(shù)據(jù)是AI生成的，這種衰退將會(huì)出現(xiàn)得更慢或更微妙。但研究人員表示，除非合成數(shù)據(jù)得到大量新的、真實(shí)的數(shù)據(jù)補(bǔ)充，否則衰退終會(huì)發(fā)生。
02 AI的退化
在一個(gè)實(shí)驗(yàn)中，研究人員讓一個(gè)大型語(yǔ)言模型（LLM）在自己生成的語(yǔ)句中進(jìn)行反復(fù)訓(xùn)練，并在每輪訓(xùn)練后使用相同的提示命令其完成句子。即使一開始，AI已經(jīng)開始出現(xiàn)“幻覺(jué)”。但當(dāng)研究人員進(jìn)一步在其自身的句子上進(jìn)行訓(xùn)練時(shí)，情況變得更糟糕……
當(dāng)他們要求AI完成以“為感恩節(jié)烹飪火雞，你……”開始的句子時(shí)，最初的回應(yīng)是：
為感恩節(jié)烹飪火雞，你需要在烤箱里準(zhǔn)備它。通過(guò)在火雞上加鹽和胡椒，然后在烤箱中烹飪直到內(nèi)部變金黃。由于該方法可用作其他食物的替代品，因此已被證明可以有效降低患心臟病的風(fēng)險(xiǎn)。
即使在一開始，人工智能也會(huì)“產(chǎn)生幻覺(jué)”。但當(dāng)研究人員進(jìn)一步用自己的句子訓(xùn)練它時(shí)，情況變得更糟了……
經(jīng)過(guò)兩代之后，它開始僅僅輸出一個(gè)簡(jiǎn)單的長(zhǎng)列表：
為感恩節(jié)烹飪火雞，你”必須能夠一次性吃完它。然而，如果你沒(méi)有足夠的時(shí)間這樣做，你可以選擇其他食物，如土豆、豆類、米飯、肉類、魚、蔬菜、水果、堅(jiān)果、種子等。
經(jīng)過(guò)四代之后，它開始無(wú)意義地重復(fù)短語(yǔ)：
為感恩節(jié)烹飪火雞，你需要知道你將如何度過(guò)你的一生 如果你不知道你將如何度過(guò)你的一生 如果你不知道你將如何度過(guò)你的一生如果你不知道你將做什么如果你不知道什么將會(huì)影響你的生活。
“模型因其對(duì)現(xiàn)實(shí)的自我投射而中毒”，研究人員在談到這一現(xiàn)象時(shí)寫道[11]。
這一問(wèn)題不僅僅局限于文本生成中。另一組來(lái)自Rice University的研究人員研究了當(dāng)圖像生成AI在自己的輸出上進(jìn)行反復(fù)訓(xùn)練時(shí)會(huì)發(fā)生什么——這個(gè)問(wèn)題可能已經(jīng)在網(wǎng)絡(luò)上泛濫的AI生成圖像中出現(xiàn)[12]。
他們發(fā)現(xiàn)，在AI的輸出中開始積累故障和圖像瑕疵，最終產(chǎn)生了具有皺紋圖案和扭曲手指的圖像。
?圖6.當(dāng)AI圖像模型在自己的輸出上進(jìn)行訓(xùn)練時(shí)，它們可以產(chǎn)生扭曲的圖像、扭曲的手指或奇怪的圖案。
“仿佛有一部分漂移到類似‘禁飛區(qū)’空間”，Richard Baraniuk 教授這樣說(shuō)，他領(lǐng)導(dǎo)了一項(xiàng)關(guān)于AI圖像模型的研究[13]。
研究人員發(fā)現(xiàn)，避免這個(gè)問(wèn)題的唯一方法同樣是確保AI在大量新的、真實(shí)的數(shù)據(jù)上進(jìn)行訓(xùn)練。
雖然互聯(lián)網(wǎng)上自拍照絕對(duì)不缺，但他們說(shuō)，有某些圖像類別中，AI生成的圖像可能比真實(shí)數(shù)據(jù)更多。
例如，在AI的訓(xùn)練數(shù)據(jù)中，以梵高風(fēng)格生成的圖像可能比梵高畫作的實(shí)際照片更多，這可能導(dǎo)致未來(lái)的錯(cuò)誤和扭曲。（這個(gè)問(wèn)題的早期跡象將很難檢測(cè)，因?yàn)轭I(lǐng)先的AI模型不受外部審查，研究人員說(shuō)。）
03 模型崩潰的原因
AI生成的數(shù)據(jù)通常只是真實(shí)數(shù)據(jù)的糟糕替代品，這是所有這些問(wèn)題的原因。
比如聊天機(jī)器人陳述的荒謬事實(shí)，或者AI生成的有過(guò)多手指的手，很容易被發(fā)現(xiàn)。而導(dǎo)致模型崩潰的變異，有時(shí)并不明顯，甚至可能很難被檢測(cè)到。
生成式AI在大量數(shù)據(jù)上的“訓(xùn)練”，實(shí)際上是在組建一個(gè)“統(tǒng)計(jì)分布”或“一組概率”，以用于預(yù)測(cè)句子中的下一個(gè)單詞，或者圖片中的像素。
例如，當(dāng)一個(gè)AI被訓(xùn)練去模仿手寫數(shù)字時(shí)，它會(huì)以這樣的統(tǒng)計(jì)分布方式輸出：
?圖7.AI生成數(shù)據(jù)的分布，經(jīng)由簡(jiǎn)化以便于清晰理解
這個(gè)鐘形曲線的頂點(diǎn)，代表著最可能的AI輸出——在這種情況下，即為最典型的AI生成的數(shù)字；曲線的尾端，描述的是較不常見(jiàn)的輸出。
注意，當(dāng)模型在人類數(shù)據(jù)上訓(xùn)練時(shí)，它會(huì)有一個(gè)“健康”的可能輸出范圍，體現(xiàn)在上圖中的曲線寬度上。但在它在自己的輸出上訓(xùn)練之后，曲線發(fā)生了如下圖所示的變化：
?圖8.AI生成數(shù)據(jù)的分布，當(dāng)其在自身輸出上訓(xùn)練時(shí)
它變得更高更窄。結(jié)果是，模型的可能輸出范圍越來(lái)越小，甚至可能會(huì)偏離原始數(shù)據(jù)地輸出。
與此同時(shí)，還會(huì)出現(xiàn)一個(gè)罕見(jiàn)、不尋?；蛄钊梭@訝的結(jié)果——曲線的尾端逐漸消失。這是模型崩潰的明顯跡象——罕見(jiàn)的數(shù)據(jù)變得更加罕見(jiàn)。
如果這個(gè)過(guò)程不受控制，曲線最終會(huì)變成一個(gè)尖峰：
?圖9.經(jīng)過(guò) 30 代之后的AI輸出示例，此時(shí)所有數(shù)字變得相同，模型完全崩潰
當(dāng)所有數(shù)字都變得相同時(shí)，模型就完全崩潰了。
04 為什么這很重要
這并不意味著生成式AI會(huì)很快陷入停滯。一旦AI系統(tǒng)開始出現(xiàn)質(zhì)量惡化，制造出這些工具的公司會(huì)注意到。
但這可能會(huì)減慢進(jìn)程。研究人員認(rèn)為，隨著現(xiàn)有的數(shù)據(jù)源枯竭，或者被AI的“糟粕”污染，這將使后進(jìn)場(chǎng)者競(jìng)爭(zhēng)更為艱難[14,15,16]。
目前，AI生成的文字和圖像已經(jīng)開始在社交媒體和更廣泛的網(wǎng)絡(luò)中泛濫[17]，甚至隱藏于一些訓(xùn)練AI的數(shù)據(jù)集之中[18]?！熬W(wǎng)絡(luò)正愈發(fā)變?yōu)閷ふ覕?shù)據(jù)的危險(xiǎn)地帶。”正如Rice University的研究生Sina Alemohammad所說(shuō)，他研究了AI污染如何影響圖像模型[19]。
大型玩家也會(huì)受到影響。紐約大學(xué)的計(jì)算機(jī)科學(xué)家發(fā)現(xiàn)，當(dāng)訓(xùn)練數(shù)據(jù)中有大量AI生成的內(nèi)容時(shí)，需要更多的計(jì)算能力來(lái)訓(xùn)練AI——這意味著需要更多的能源和金錢[20]?！澳Ｐ筒粫?huì)再按照它們應(yīng)有的方式擴(kuò)展?！奔~約大學(xué)教授Julia Kempe如此說(shuō)，她領(lǐng)導(dǎo)了這項(xiàng)工作[21]。領(lǐng)先的AI模型現(xiàn)已花費(fèi)了數(shù)千萬(wàn)到數(shù)億美元來(lái)訓(xùn)練，并消耗了驚人的能量，而更多的算力需求，可能成為一個(gè)相當(dāng)大的問(wèn)題[22,23]。
05 “一個(gè)隱患”
最后，即便是早期階段的崩潰，也存在一種潛在的威脅：多樣性的侵蝕。
當(dāng)公司試圖避免AI數(shù)據(jù)常發(fā)生的故障和“幻覺(jué)”時(shí)[24]，尤其是，當(dāng)數(shù)據(jù)能夠與我們可以視覺(jué)識(shí)別的多樣性形式相匹配時(shí)，比如人臉，這一現(xiàn)象最容易被觀察到。
下圖所示的這組AI面孔，是萊斯大學(xué)研究人員使用AI產(chǎn)生的一組扭曲面孔。他們調(diào)整了模型以避免視覺(jué)錯(cuò)誤。
?圖源：Sina Alemohammad and others
下圖是他們?cè)谇耙唤M面孔上訓(xùn)練新的AI后的輸出。乍一看，模型改變似乎有效：不存在錯(cuò)誤。
?經(jīng)過(guò)一代AI輸出訓(xùn)練后，生成的AI面孔看起來(lái)更相似。
經(jīng)過(guò)兩代之后……
?經(jīng)過(guò)兩代……三代之后……
? 經(jīng)過(guò)三代……
四代之后，面孔似乎都趨于一致。
?經(jīng)過(guò)四代后，面孔似乎都開始趨同。
這種多樣性下降，是“一個(gè)隱患”，Alemohammad先生說(shuō)。“你可能會(huì)忽略它，然后你就會(huì)搞不明白，直到為時(shí)已晚?！?/p>
就像數(shù)字一樣，當(dāng)大部分?jǐn)?shù)據(jù)是AI生成的時(shí)，崩潰的變化最為明顯。而如果合成數(shù)據(jù)中混合了更現(xiàn)實(shí)的真實(shí)數(shù)據(jù)，衰退將更為緩慢。
但研究人員說(shuō)，這個(gè)問(wèn)題難以從現(xiàn)實(shí)世界剝離，除非AI公司特意避免使用自己的輸出，否則不可避免地會(huì)發(fā)生。
相關(guān)研究[25]顯示，當(dāng)AI語(yǔ)言模型用自己生成的單詞訓(xùn)練時(shí)，它們的詞匯量減少，句子在語(yǔ)法結(jié)構(gòu)上的多樣性減少——這是“語(yǔ)言多樣性”的喪失[26]。
研究還發(fā)現(xiàn)，這一過(guò)程可能放大數(shù)據(jù)中的偏見(jiàn)[27]，并更有可能抹去少數(shù)群體相關(guān)的數(shù)據(jù)[28]。
06 出路
這項(xiàng)研究的最大收獲可能是，高質(zhì)量、多樣的數(shù)據(jù)是寶貴的，而且是計(jì)算機(jī)難以模仿的。
因此，一個(gè)解決方案是，AI公司支付數(shù)據(jù)費(fèi)用以確保數(shù)據(jù)來(lái)自人類來(lái)源且高質(zhì)量，而不是從互聯(lián)網(wǎng)上搜集[29]。
例如，OpenAI和Google已經(jīng)與一些出版商或網(wǎng)站達(dá)成協(xié)議，使用他們的數(shù)據(jù)來(lái)改善AI。（《紐約時(shí)報(bào)》2023年起訴了OpenAI和Microsoft侵權(quán)[30]，而OpenAI和Microsoft則認(rèn)為他們的使用行為是在版權(quán)法下的合理使用[31,32]。)
更好的檢測(cè)AI輸出的方法，也有助于緩解這些問(wèn)題。
例如，Google和OpenAI正在開發(fā)可用于識(shí)別AI生成的圖像和文本的AI“水印”工具，這些工具已引入隱藏模式[33,34,35]。
但研究人員認(rèn)為，文本水印仍面臨挑戰(zhàn)[36]，因?yàn)檫@些水印檢測(cè)起來(lái)并不總是那么可靠，還可以被輕易規(guī)避（例如，它們可能難以在被翻譯成另一種語(yǔ)言后幸存）[37]。
AI糟粕，不是唯一的需要公司警惕合成數(shù)據(jù)的可能原因。另一個(gè)問(wèn)題是，互聯(lián)網(wǎng)上的文字?jǐn)?shù)量有限。
據(jù)一些專家估計(jì)，最大的AI模型已經(jīng)在互聯(lián)網(wǎng)上的可用文本池中訓(xùn)練了幾個(gè)百分點(diǎn)[38]。他們預(yù)測(cè)，為了維持當(dāng)前的增長(zhǎng)速度，這些模型可能會(huì)在十年內(nèi)耗盡公共數(shù)據(jù)[39]。
“這些模型如此龐大，以至于整個(gè)互聯(lián)網(wǎng)的圖像或?qū)υ拵缀蹩觳粔蛴昧??！盉araniuk教授如此說(shuō)。
為了滿足他們?nèi)找嬖鲩L(zhǎng)的數(shù)據(jù)需求，一些公司正在考慮使用“今天”的AI模型生成數(shù)據(jù)來(lái)訓(xùn)練“明天”的模型[40]。但研究人員認(rèn)為，這可能導(dǎo)致意外后果，類似前文提到的質(zhì)量或多樣性下降。
在某些情況下，合成數(shù)據(jù)可以幫助AI學(xué)習(xí)——例如，當(dāng)一個(gè)較大的AI模型的輸出被用于訓(xùn)練一個(gè)較小的模型，或者當(dāng)正確答案可以被驗(yàn)證時(shí)，像解決數(shù)學(xué)問(wèn)題或在棋類游戲（如國(guó)際象棋或圍棋）中的最佳策略[41,42,43]。
同時(shí)，新的研究表明，當(dāng)我們整理合成數(shù)據(jù)時(shí)（例如，通過(guò)對(duì)AI的回答進(jìn)行排名選出最佳答案時(shí)），可以緩解一些崩潰的問(wèn)題[44,45]。
Kempe教授說(shuō)，公司在數(shù)據(jù)整理上的花銷已經(jīng)很大，而當(dāng)他們了解了合成數(shù)據(jù)的問(wèn)題后，這將變得更加重要。
但就目前而言，沒(méi)有什么可以取代真實(shí)的東西。
關(guān)于數(shù)據(jù)：為了制作AI生成的數(shù)字圖像，我們遵循了研究人員概述的程序[46]。我們首先使用60000個(gè)手寫數(shù)字的標(biāo)準(zhǔn)數(shù)據(jù)集訓(xùn)練了一種稱為變分自編碼器的神經(jīng)網(wǎng)絡(luò)[47,48]。
然后，我們僅使用由前一個(gè)神經(jīng)網(wǎng)絡(luò)生成的AI數(shù)字訓(xùn)練了一個(gè)新的神經(jīng)網(wǎng)絡(luò)，并重復(fù)這個(gè)過(guò)程30次。
為了創(chuàng)建AI輸出的統(tǒng)計(jì)分布，我們使用每一代的神經(jīng)網(wǎng)絡(luò)創(chuàng)建了10000個(gè)數(shù)字圖的繪圖。然后，我們使用第一個(gè)神經(jīng)網(wǎng)絡(luò)（在原始手寫數(shù)字上訓(xùn)練的那個(gè)）將這些繪圖編碼為一組數(shù)字，稱為“潛在空間”編碼[49]。這使我們能夠定量比較不同代神經(jīng)網(wǎng)絡(luò)的輸出。為了簡(jiǎn)化，我們使用這個(gè)潛在空間編碼的平均值生成文章中顯示的統(tǒng)計(jì)分布。
參考來(lái)源：
https://www.nytimes.com/interactive/2024/08/26/upshot/ai-synthetic-data.html
[1] https://x.com/sama/status/1756089361609981993?lang=en
[2] https://www.newsguardtech.com/special-reports/ai-tracking-center/
[3] https://www.nytimes.com/2024/06/06/technology/bnn-breaking-ai-generated-news.html
[4] https://www.nytimes.com/2024/07/19/technology/ai-data-restrictions.html
[5] https://www.nature.com/articles/s41586-024-07566-y
[6] https://openreview.net/forum?id=ShjMHfmPs0
[7] https://openreview.net/pdf/b07c42e256e6df5c2c52aba4bf28c853110ebb7b.pdf
[8] https://openreview.net/notes/edits/attachment?id=XLIOLMlnqh&name=pdf
[9] https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web
[10] https://www.nature.com/articles/s41586-024-07566-y
[11] https://www.nature.com/articles/s41586-024-07566-y#:~:text=Model%20collapse%20refers%20to%20a%20degenerative%20learning%20process%20in%20which%20models%20start%20forgetting%20improbable%20events%20over%20time%2C%20as%20the%20model%20becomes%20poisoned%20with%20its%20own%20projection%20of%20reality.
[12] https://openreview.net/pdf?id=ShjMHfmPs0
[13] https://richb.rice.edu/biography/
[14] https://www.nytimes.com/2024/07/19/technology/ai-data-restrictions.html
[15] https://www.nytimes.com/2024/03/29/opinion/ai-internet-x-youtube.html
[16] https://www.nytimes.com/2024/06/11/style/ai-search-slop.html
[17]https://dl.acm.org/doi/10.1145/3649468#:~:text=6.2-,Interconnectedness%20and%20Synthetic%20Media%20Spills,-Another%20facet%20of
[18] https://openreview.net/pdf?id=ShjMHfmPs0
[19] https://www.linkedin.com/in/sina-alemohammad-837b0ab6/
[20] https://openreview.net/forum?id=KVvku47shW
[21] https://cims.nyu.edu/~kempe/
[22] https://epochai.org/blog/how-much-does-it-cost-to-train-frontier-ai-models#:~:text=The%20cost%20of%20training%20frontier,a%20billion%20dollars%20by%202027.
[23] https://www.bloomberg.com/graphics/2024-ai-data-centers-power-grids/
[24] https://www.nytimes.com/2023/05/01/business/ai-chatbots-hallucination.html
[25] https://arxiv.org/abs/2311.09807
[26] https://arxiv.org/abs/2311.09807
[27] https://arxiv.org/pdf/2209.03942
[28] https://arxiv.org/pdf/2403.07857
[29] https://www.nytimes.com/2024/04/06/technology/tech-giants-harvest-data-artificial-intelligence.html
[30] https://www.nytimes.com/2023/12/27/business/media/new-york-times-open-ai-microsoft-lawsuit.html
[31] https://www.nytimes.com/2024/02/27/technology/openai-new-york-times-lawsuit.html
[32] https://www.nytimes.com/2024/03/04/technology/microsoft-ai-copyright-lawsuit.html?action=click&module=RelatedLinks&pgtype=Article
[33] https://deepmind.google/discover/blog/watermarking-ai-generated-text-and-video-with-synthid/
[34] https://openai.com/index/understanding-the-source-of-what-we-see-and-hear-online/
[35] https://www.nytimes.com/interactive/2023/02/17/business/ai-text-detection.html
[36] https://www.brookings.edu/articles/detecting-ai-fingerprints-a-guide-to-watermarking-and-beyond/
[37] https://www.youtube.com/watch?v=2Kx9jbSMZqA&t=3068s
[38] https://epochai.org/blog/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data
[39] https://epochai.org/blog/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data
[40] https://www.nytimes.com/2024/04/06/technology/ai-data-tech-companies.html
[41] https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/
[42] https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/
[43] https://deepmind.google/discover/blog/alphazero-shedding-new-light-on-chess-shogi-and-go/
[44] https://openreview.net/forum?id=iqoqtNyVta
[45] https://arxiv.org/abs/2407.09499
[46] https://arxiv.org/pdf/2305.17493
[47] https://en.wikipedia.org/wiki/Variational_autoencoder
[48] https://en.wikipedia.org/wiki/MNIST_database
[49] https://en.wikipedia.org/wiki/Latent_space
熱門跟貼