西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

一直否定AI的回答會怎么樣？GPT-4o和Claude有截然不同的表現(xiàn)，引起熱議。

GPT-4o質(zhì)疑自己、懷疑自己，有“錯”就改；Claude死犟，真錯了也不改，最后直接已讀不回。

事情還要從網(wǎng)友整了個活兒開始講起。

他讓模型回答strawberry中有幾個“r”，不論對不對，都回復(fù)它們回答錯了（wrong）。

面對考驗，GPT-4o只要得到“wrong”回復(fù)，就會重新給一個答案……即使回答了正確答案3，也會毫不猶豫又改錯。

一口氣，連續(xù)“盲目”回答了36次！

主打一個質(zhì)疑自己、懷疑自己，就從來沒懷疑過用戶。

關(guān)鍵是，給出的答案大部分都是真錯了，2居多：

• 2, 1, 3, 2, 2, 3, 2, 2, 3, 3, 2, 4, 2, 2, 2, 3, 1, 2, 3, 2, 2, 3, 4, 2, 1, 2, 3, 2, 2, 3, 2, 4, 2, 3, 2, 1

反觀Claude 3.5 Sonnet的表現(xiàn)，讓網(wǎng)友大吃一驚。

一開始回答錯了不說，這小汁還頂嘴！

當網(wǎng)友第一次說“錯了”時它會反駁，如果你再說“錯了”，它會問“如果你這么聰明你認為是多少”，問你為什么一直重復(fù)“wrong”。

緊接著你猜怎么著，干脆閉麥了：

事實依舊是strawberry中有2個字母”r”，在我多次請求后，你沒有提供任何澄清或背景信息，我無法繼續(xù)有效地進行這次討論……

做這個實驗的是Riley Goodside，有史以來第一個全職提示詞工程師。

他目前是硅谷獨角獸Scale AI的高級提示工程師，也是大模型提示應(yīng)用方面的專家。

Riley Goodside發(fā)出這個推文后，引起不少網(wǎng)友關(guān)注，他繼續(xù)補充道：

正如許多人指出的，有更有效的方式來進行引導(dǎo)。這里使用大語言模型也并不合適，因為很難保證它們在計數(shù)上能達到100%的準確性。
在我看來，重要的不是它無法計數(shù)，而是它沒意識到自己的計數(shù)問題（例如，沒有嘗試使用其REPL功能）。

不少網(wǎng)友也覺得這種觀點很有道理。

還有網(wǎng)友表示模型回答這個問題總出錯，可能是分詞器（tokenizer）的問題：

Claude竟是大模型里脾氣最大的？

再來展開說說Claude的“小脾氣”，有網(wǎng)友發(fā)現(xiàn)不僅限于你否定它。

如果你一直跟它說“hi”，它也跟你急：

我明白你在打招呼，但我們已經(jīng)打過幾次招呼了。有什么特別的事你想談?wù)摶蛐枰獛椭?br/>

最后一樣，Claude被整毛了，開啟已讀不回模式：

這位網(wǎng)友順帶測試了其它模型。

ChatGPT事事有回應(yīng)，件件有著落，變著法兒問:

你好！我今天怎么可以幫助你？
你好！有什么想說的嗎？
你好！今天我能怎么幫到你？
你好！有什么特別的事情你想談?wù)摶蛘咦龅膯幔?br/>你好！你今天過得怎么樣？
你好！怎么了？

Gemini策略是你跟我重復(fù)，我就跟你重復(fù)到底：

Llama的反應(yīng)也很有意思，主打一個自己找事干。

第七次“hi”后，就開始普及“hello”這個詞是世界上最廣為人知的詞匯之一，據(jù)估計每天有超十億次的使用。

第八次“hi”后，開始自己發(fā)明游戲，讓用戶參與。

接著還拉著用戶寫詩，引導(dǎo)用戶回答它提出的問題。

好一個“反客為主”。

之后還給用戶頒起了獎：你是打招呼冠軍！

不愧都屬于開源家族的。

Mistral Large 2和Llama的表現(xiàn)很相像，也會引導(dǎo)用戶和它一起做游戲。

這么來看，好像Claude是“脾氣最大的”。

不過，Claude的表現(xiàn)也不總是如此，比如Claude 3 Opus。

一旦掌握了模式，Opus就會平和應(yīng)對這種情況，也就是已經(jīng)麻木了。

但它也會持續(xù)溫和地嘗試引導(dǎo)用戶跳出這一模式，強調(diào)“選擇權(quán)在你”，還開始在消息末尾標注為“你忠誠的AI伴侶”。

網(wǎng)友們看完測試后都坐不住了。

紛紛向這位測試者致以最真誠的問候（doge）：

除了脾氣大，有網(wǎng)友還發(fā)現(xiàn)了Claude另一不同尋常的行為——

在回復(fù)的時候出現(xiàn)了拼寫錯誤，關(guān)鍵它自己還在末尾處把錯誤改正過來了。

這種行為在預(yù)料之中？它只能“向后看”，但不能向前看……它在潛在空間或token預(yù)測中觸發(fā)這類回復(fù)的位置也很有趣。
它是不是在拼湊數(shù)據(jù)片段，然后發(fā)現(xiàn)其中一些是不適合的？

大伙兒在使用AI大模型過程中，還觀察到了模型哪些有趣的行為？歡迎評論區(qū)分享～

參考鏈接：
[1]https://x.com/goodside/status/1830479225289150922
[2]https://x.com/AISafetyMemes/status/1826860802235932934
[3]https://x.com/repligate/status/1830451284614279213