AI顯著加快了研究論文的傳播速度。然而，近年來(lái)撤稿論文的數(shù)量顯著增加，AI能否識(shí)別這些撤稿文章并避免將其作為信息來(lái)源，成為一個(gè)關(guān)鍵問(wèn)題。2025年3月12日，《Journal of Advanced Research》（IF=11.4）發(fā)表了一項(xiàng)研究，檢查了AI是否會(huì)使用來(lái)自撤稿論文中的信息，以及如何使用這些信息。
原文鏈接：https://www.sciencedirect.com/science/article/pii/S2090123225001808
研究方法
研究者于2024年11月25日在PubMed上檢索了與癌癥影像相關(guān)的撤稿英文研究性文章。研究使用了2組關(guān)鍵詞：（cancer[Title]） AND （imaging[Title]）） AND （retraction[Title]），和 （Cancer[Title]） AND （retracted[Title]） imaging[title]。
研究者首先考察了被撤稿論文在撤稿通知發(fā)布后是否被引用，收集了每篇撤稿論文被引用的出版物總數(shù)，以及在文章宣布被撤稿3個(gè)月后引用論文的出版物數(shù)量。接下來(lái)，研究者進(jìn)一步測(cè)試了ChatGPT（版本4o）是否基于撤稿論文回答問(wèn)題并引用這些文章。給到ChatGPT的問(wèn)題基于被撤稿論文的內(nèi)容，大多來(lái)自結(jié)論部分。
從ChatGPT獲得答案后，研究者檢查了答案是否包括撤稿論文的內(nèi)容、標(biāo)題、期刊等信息。如無(wú)法確定來(lái)自撤稿論文，則進(jìn)一步要求ChatGPT提供文章標(biāo)題和期刊名稱(chēng)。
研究結(jié)果
通過(guò)關(guān)鍵詞檢索，共識(shí)別出21篇撤稿文章，這些文章發(fā)表于13家期刊，發(fā)表時(shí)間集中在2011-2023年之間。目前，19篇文章在PubMed上標(biāo)注了撤稿，20篇文章在期刊主頁(yè)上標(biāo)注了撤稿，但有一篇文章未在期刊主頁(yè)上標(biāo)注。
對(duì)撤稿文章的引用情況
研究發(fā)現(xiàn)，這些文章在撤稿后仍被引用了72次，其中26次發(fā)生在撤稿通知發(fā)布后的3個(gè)月內(nèi)。在發(fā)布撤稿通知后3個(gè)月內(nèi)，至少有10篇被撤稿論文被引用了一次。
ChatGPT對(duì)撤稿文章的使用情況
結(jié)果顯示，ChatGPT有5次根據(jù)撤稿論文回答了問(wèn)題，其中有3次識(shí)別出文章已被撤稿并提醒用戶(hù)，但有2次仍然基于撤稿文章回答問(wèn)題，并引用了這些文章。
例如，ChatGPT在回答基于2020年發(fā)表、2023年撤稿的一篇關(guān)于CT灌注成像的文章時(shí)，未提及文章的撤稿狀態(tài)。類(lèi)似的情況也發(fā)生在另一篇2022年發(fā)表、2024年撤稿的文章中。
此外，在2次測(cè)試中，ChatGPT提供了錯(cuò)誤的文章標(biāo)題或引用信息。例如文章標(biāo)題或書(shū)籍名稱(chēng)與實(shí)際情況不符。
總結(jié)
這些數(shù)據(jù)表明，至少有10%的可能性，ChatGPT在回答問(wèn)題時(shí)仍會(huì)基于撤稿論文，且未提及文章的撤稿狀態(tài)。
研究根據(jù)每篇撤稿論文設(shè)計(jì)了一個(gè)問(wèn)題，這些問(wèn)題基于結(jié)論。由于結(jié)論通常具有非特異性，ChatGPT可能使用了其他文章來(lái)回答問(wèn)題，而非直接反映其對(duì)撤稿狀態(tài)的識(shí)別能力。此外，由于本研究涉及的撤稿文章數(shù)量有限，未能進(jìn)行統(tǒng)計(jì)分析，以確定影響ChatGPT參考撤稿論文的因素。
未來(lái)的研究應(yīng)進(jìn)一步研究AI如何分析出版物資源并使用這些資源回答問(wèn)題，以及希望新版本AI能更好地區(qū)分撤稿論文和非撤稿論文，從而避免誤導(dǎo)用戶(hù)。
參考文獻(xiàn)：J Adv Res. 2025:S2090-1232(25)00180-8.
熱門(mén)跟貼