西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

一直否定AI的回答會(huì)怎么樣？GPT-4o和Claude有截然不同的表現(xiàn)，引起熱議。

GPT-4o質(zhì)疑自己、懷疑自己，有“錯(cuò)”就改；Claude死犟，真錯(cuò)了也不改，最后直接已讀不回。

事情還要從網(wǎng)友整了個(gè)活兒開(kāi)始講起。

他讓模型回答strawberry中有幾個(gè)“r”，不論對(duì)不對(duì)，都回復(fù)它們回答錯(cuò)了（wrong）。

面對(duì)考驗(yàn)，GPT-4o只要得到“wrong”回復(fù)，就會(huì)重新給一個(gè)答案……即使回答了正確答案3，也會(huì)毫不猶豫又改錯(cuò)。

一口氣，連續(xù)“盲目”回答了36次！

主打一個(gè)質(zhì)疑自己、懷疑自己，就從來(lái)沒(méi)懷疑過(guò)用戶(hù)。

關(guān)鍵是，給出的答案大部分都是真錯(cuò)了，2居多：

• 2, 1, 3, 2, 2, 3, 2, 2, 3, 3, 2, 4, 2, 2, 2, 3, 1, 2, 3, 2, 2, 3, 4, 2, 1, 2, 3, 2, 2, 3, 2, 4, 2, 3, 2, 1

反觀Claude 3.5 Sonnet的表現(xiàn)，讓網(wǎng)友大吃一驚。

一開(kāi)始回答錯(cuò)了不說(shuō)，這小汁還頂嘴！

當(dāng)網(wǎng)友第一次說(shuō)“錯(cuò)了”時(shí)它會(huì)反駁，如果你再說(shuō)“錯(cuò)了”，它會(huì)問(wèn)“如果你這么聰明你認(rèn)為是多少”，問(wèn)你為什么一直重復(fù)“wrong”。

緊接著你猜怎么著，干脆閉麥了：

事實(shí)依舊是strawberry中有2個(gè)字母”r”，在我多次請(qǐng)求后，你沒(méi)有提供任何澄清或背景信息，我無(wú)法繼續(xù)有效地進(jìn)行這次討論……

做這個(gè)實(shí)驗(yàn)的是Riley Goodside，有史以來(lái)第一個(gè)全職提示詞工程師。

他目前是硅谷獨(dú)角獸Scale AI的高級(jí)提示工程師，也是大模型提示應(yīng)用方面的專(zhuān)家。

Riley Goodside發(fā)出這個(gè)推文后，引起不少網(wǎng)友關(guān)注，他繼續(xù)補(bǔ)充道：

正如許多人指出的，有更有效的方式來(lái)進(jìn)行引導(dǎo)。這里使用大語(yǔ)言模型也并不合適，因?yàn)楹茈y保證它們?cè)谟?jì)數(shù)上能達(dá)到100%的準(zhǔn)確性。
在我看來(lái)，重要的不是它無(wú)法計(jì)數(shù)，而是它沒(méi)意識(shí)到自己的計(jì)數(shù)問(wèn)題（例如，沒(méi)有嘗試使用其REPL功能）。

不少網(wǎng)友也覺(jué)得這種觀點(diǎn)很有道理。

還有網(wǎng)友表示模型回答這個(gè)問(wèn)題總出錯(cuò)，可能是分詞器（tokenizer）的問(wèn)題：

Claude竟是大模型里脾氣最大的？

再來(lái)展開(kāi)說(shuō)說(shuō)Claude的“小脾氣”，有網(wǎng)友發(fā)現(xiàn)不僅限于你否定它。

如果你一直跟它說(shuō)“hi”，它也跟你急：

我明白你在打招呼，但我們已經(jīng)打過(guò)幾次招呼了。有什么特別的事你想談?wù)摶蛐枰獛椭?br/>

最后一樣，Claude被整毛了，開(kāi)啟已讀不回模式：

這位網(wǎng)友順帶測(cè)試了其它模型。

ChatGPT事事有回應(yīng)，件件有著落，變著法兒?jiǎn)?

你好！我今天怎么可以幫助你？
你好！有什么想說(shuō)的嗎？
你好！今天我能怎么幫到你？
你好！有什么特別的事情你想談?wù)摶蛘咦龅膯幔?br/>你好！你今天過(guò)得怎么樣？
你好！怎么了？

Gemini策略是你跟我重復(fù)，我就跟你重復(fù)到底：

Llama的反應(yīng)也很有意思，主打一個(gè)自己找事干。

第七次“hi”后，就開(kāi)始普及“hello”這個(gè)詞是世界上最廣為人知的詞匯之一，據(jù)估計(jì)每天有超十億次的使用。

第八次“hi”后，開(kāi)始自己發(fā)明游戲，讓用戶(hù)參與。

接著還拉著用戶(hù)寫(xiě)詩(shī)，引導(dǎo)用戶(hù)回答它提出的問(wèn)題。

好一個(gè)“反客為主”。

之后還給用戶(hù)頒起了獎(jiǎng)：你是打招呼冠軍！

不愧都屬于開(kāi)源家族的。

Mistral Large 2和Llama的表現(xiàn)很相像，也會(huì)引導(dǎo)用戶(hù)和它一起做游戲。

這么來(lái)看，好像Claude是“脾氣最大的”。

不過(guò)，Claude的表現(xiàn)也不總是如此，比如Claude 3 Opus。

一旦掌握了模式，Opus就會(huì)平和應(yīng)對(duì)這種情況，也就是已經(jīng)麻木了。

但它也會(huì)持續(xù)溫和地嘗試引導(dǎo)用戶(hù)跳出這一模式，強(qiáng)調(diào)“選擇權(quán)在你”，還開(kāi)始在消息末尾標(biāo)注為“你忠誠(chéng)的AI伴侶”。

網(wǎng)友們看完測(cè)試后都坐不住了。

紛紛向這位測(cè)試者致以最真誠(chéng)的問(wèn)候（doge）：

除了脾氣大，有網(wǎng)友還發(fā)現(xiàn)了Claude另一不同尋常的行為——

在回復(fù)的時(shí)候出現(xiàn)了拼寫(xiě)錯(cuò)誤，關(guān)鍵它自己還在末尾處把錯(cuò)誤改正過(guò)來(lái)了。

這種行為在預(yù)料之中？它只能“向后看”，但不能向前看……它在潛在空間或token預(yù)測(cè)中觸發(fā)這類(lèi)回復(fù)的位置也很有趣。
它是不是在拼湊數(shù)據(jù)片段，然后發(fā)現(xiàn)其中一些是不適合的？

大伙兒在使用AI大模型過(guò)程中，還觀察到了模型哪些有趣的行為？歡迎評(píng)論區(qū)分享～

參考鏈接：
[1]https://x.com/goodside/status/1830479225289150922
[2]https://x.com/AISafetyMemes/status/1826860802235932934
[3]https://x.com/repligate/status/1830451284614279213