本文來自微信公眾號：阿茶的AI之路，作者：起名賊費勁的阿茶，題圖來自：AI生成
那天中午，我在知乎上看到一個有趣的問題：
把一篇英語文章的所有aeiou替換成t，它還有可能被完全破譯嗎？
我翻閱了許多回答，有的列舉了tt、ttt、tttt...這樣的例子、有的則一本正經(jīng)地胡說八道、還有人干脆把問題丟給大模型解決....
我覺得這本質(zhì)上是一個信息論的問題。當(dāng)我們把所有元音替換成't'后，剩余的信息是否足夠支撐我們還原原文？英語本身就有很高的冗余性，比如語法結(jié)構(gòu)、詞語搭配等都能提供大量上下文信息。因此，在長文本中，這種還原應(yīng)該是可行的。關(guān)鍵在于，這種替換究竟損失了多少有效信息，剩下的部分是否還足以支撐我們的理解和還原。
說到信息論，我與它的聯(lián)系大概是大學(xué)選過的一門課，叫《多媒體技術(shù)》。選課之前，我天真地以為這門課會教我如何用PS，如何剪視頻，如何做PPT。因為從小就在說的“多媒體教育”，感覺就是通過ppt來上課。還有“多媒體教室”，就是多了個投影，所以我一直以為這就是“多媒體”。我選它的原因也很簡單，我真的不會用PS，我想學(xué)學(xué)。而且這門課應(yīng)該比較簡單。
上課之后：奈奎斯特定理、信息熵、zigzag、JPEG圖像壓縮原理...
我以為的課設(shè)：剪一個視頻。
實際上的課設(shè)：
就這么一門和我想象大相徑庭的課，我現(xiàn)在卻覺得是我學(xué)過最有用的一門課。因為“信息”無處不在。你看的新聞是信息，你與他人的交流是信息，甚至你設(shè)計的產(chǎn)品界面也在給用戶傳遞信息。
尤其是在當(dāng)下，信息生產(chǎn)的成本急劇降低，各種公眾號...一個事件可能會被上百個號重復(fù)報道。此外，AI領(lǐng)域的進(jìn)展也是日新月異。相比之下，我們就像大海中的小船，隨時可能被信息淹沒。接受吧，腦子好像又處理不過來；不接受吧，又怕錯過了什么。而信息論，正是幫助我們找到理解這些信息的角度，以及制定獲取信息策略的工具。
說遠(yuǎn)了，我去簡單復(fù)習(xí)了一下信息論的基礎(chǔ)知識，也分享給大家。
從生活中理解信息
最開始寫這篇文章的時候，我從定義和公式的角度介紹信息、信息熵、自信息這些概念...但發(fā)現(xiàn)太專業(yè)了，不適合閱讀。所以我打算放棄那些專業(yè)的知識，從一個簡單的游戲理解信息論。這種直觀理解對于非專業(yè)人士來說更為重要。
首先，信息是消除不確定性的。
假設(shè)我心里想了一個1到100的數(shù)字，請你來猜。在沒有任何提示的情況下，這就是一個完全不確定的系統(tǒng) —— 每個數(shù)字的可能性都是相等的。
如果我告訴你：“今天天氣不錯，我覺得等會我們可以出去玩，順便去吃個火鍋”。
這句話你會發(fā)現(xiàn)對你猜測毫無作用。
而如果我告訴你：“這個數(shù)字大于50”。你的猜測范圍就減少了一半，然后你猜了個75。
我繼續(xù)說：“這個數(shù)字的范圍在60-70之間”。你的猜測范圍進(jìn)一步縮小，你猜了個63。
我說：“猜對了！”
通過這個簡單的游戲，我們就能理解信息論中的幾個核心概念：
首先，根據(jù)信息論中的定義，信息是用來消除不確定性的。你試圖猜我心中想的數(shù)字，通過不斷的嘗試，來降低這個不確定性。直到你猜到我所想的。
自信息：單個事件發(fā)生時帶來的信息量。這里的事件指的是我給你的提示。其中“這個數(shù)字是73”這個事件的自信息就很大，因為它的發(fā)生概率很小（1/100）。
信息熵：系統(tǒng)的平均不確定性，當(dāng)你完全不知道我內(nèi)心所想的時候，信息熵達(dá)到最大。
信息增益：獲得這個信息后，系統(tǒng)不確定性減少的程度。它實際上是信息熵的變化量：原來的信息熵 減去獲得信息后的信息熵。在這個對話中，“60-70之間”能帶來的信息增益一定大于“大于50”，因為它幫你排除了更多的干擾。你只需要在10個數(shù)里面選一個。而不是50個數(shù)。如果我直接告訴你這個數(shù)字是63，那么它會將整個游戲的信息熵降為0。因為你已經(jīng)不需要猜了。
這就是信息的本質(zhì)：消除不確定性。當(dāng)你獲得的有效信息越多，系統(tǒng)的信息熵就越小，你就越接近信源。
再舉個生活中的例子。當(dāng)你在考慮是否購買一件商品時，每條信息都在幫你消除不確定性：
“這是一件純棉T恤”（確定了品類和材質(zhì)）
“價格299元”（確定了價格區(qū)間）
“隔壁店同款199元”（這個信息增益很大，可能直接影響你的決策）
很明顯，這些概念不僅存在于理論中，更與我們的日常生活密切相關(guān)。每當(dāng)我們需要做決策時，都在不斷地收集信息，評估信息的價值，通過獲取高信息增益的內(nèi)容來幫助我們作出更好的選擇。希望這兩個例子能夠讓你有一個直觀的印象。
現(xiàn)在我們再來看看開頭的問題，用剛學(xué)到的信息論概念來分析一下。當(dāng)我們把所有元音都替換成't'時，表面上看是損失了一些信息。但英語文本中其實存在大量的“信息冗余”。比如語法結(jié)構(gòu)（主謂賓的位置）、單詞搭配（即使“make a decision”中的元音被替換，我們也大概能猜出來），以及整句話的語境，這些都在幫我們消除不確定性。即使失去了元音信息，其他信息的存在依然能幫助我們很大程度推測出原文。當(dāng)然，這說的是大部分場景，信息越多，能還原成功的概率越高。
信息論給我們的啟示
理解了信息的本質(zhì)，我們就能以不同視角看待一些問題：
1. 為什么大模型會“胡說八道”？
我經(jīng)常強(qiáng)調(diào)大模型回復(fù)質(zhì)量是跟用戶的提問質(zhì)量密切相關(guān)的。
當(dāng)它在面對高度不確定的問題時，沒有足夠的信息來降低系統(tǒng)的信息熵。就像你在猜數(shù)字時，如果得到的提示太少或者有誤導(dǎo)，也可能作出錯誤的判斷。
相比之下，提示詞技術(shù)這些都是輔助減少信息噪聲的方法，核心只有一個，就是讓用戶如何清晰準(zhǔn)確的表達(dá)問題。
2. “冗余”的必要性
在信息傳遞過程中，噪聲是不可避免的。就像在電話里說話，可能會遇到信號不好、背景音嘈雜等情況。這時候，如果信息沒有任何冗余，一旦受到干擾，就很難還原出原始信息了。
這個問題在內(nèi)容總結(jié)類功能中其實特別明顯。很多人讓大模型總結(jié)文章時，會要求“只給我重點”。結(jié)果得到的往往是一堆要點的堆砌。一旦大模型的理解有所誤解，就會導(dǎo)致信息失真極為嚴(yán)重。
此外，要點的堆砌雖然信息密度很高，但讀起來特別費勁。這就像把文章中的所有廢話都刪掉，只留下核心觀點。表面上看起來很高效，實際上反而增加了讀者的理解成本。人類理解信息時需要上下文。那些看似冗余的內(nèi)容，比如例子、類比、過渡語句，它們就像語言中的語法結(jié)構(gòu)和單詞搭配一樣，能夠幫助我們的大腦更好地處理和吸收信息。當(dāng)這些必要的冗余被去掉，即使信息都在那里，我們也需要耗費更多精力去理解和連接它們。
3. 信息獲取策略
說到如何提高信息獲取效率，我的策略很簡單：不主動刷新聞。
因為有價值的信息會自然傳遞。重要的事情總會通過各種渠道傳到你耳朵里。即使你不主動去搜集，該知道的總會知道。反而是那些不重要的信息，如果你不去主動獲取，它們就會自然消失。
現(xiàn)在AI領(lǐng)域每天都在爆出新模型、新突破。但仔細(xì)觀察就會發(fā)現(xiàn)，真正的突破性進(jìn)展很少，大部分都是正常的科學(xué)研究。對于并不需要專注于科研的人來說，沒有必要去刷那么多新聞。
那些真正重要的突破，必然會在多個渠道反復(fù)出現(xiàn)，而且會持續(xù)發(fā)酵。就像GPT-4的發(fā)布，它帶來的不僅是一個新聞，而是一系列的技術(shù)討論和應(yīng)用探索。這種持續(xù)的信息流才是值得關(guān)注的。比如說這幾天的Deepseek。
從信息論的角度看，當(dāng)一個信息通過多個渠道重復(fù)出現(xiàn)時，不僅提高了信息的可靠性，更重要的是往往會帶來不同的視角和解讀。這些差異恰恰能幫助我們更全面地理解這個信息的價值。與其追求信息的全面，不如追求信息的深度。當(dāng)你對某個領(lǐng)域有足夠深的理解時，判斷一個新信息的價值往往只需要幾秒鐘。那些看似錯過的信息，很可能對你并不重要；而那些真正重要的信息，一定會以各種形式重復(fù)出現(xiàn)在你面前。
在信息爆炸的時代，保持定力比追求全面更重要。讓信息自然流動，而不是焦慮地追逐每一個新聞，這可能才是最高效的信息獲取策略。
4. 充滿包容的溝通
很多時候并不是對方笨，而是因為你們對信息的理解不對等。這讓我想起一個很有意思的游戲：Tick Tock。一個雙人互動游戲，但它不需要通過服務(wù)器聯(lián)機(jī)：兩個玩家各自在自己的手機(jī)上玩，一個人解謎的同時，另一個人要配合完成某些操作。但關(guān)鍵是兩個人并不能看到對方的視角，只能通過其中一方的描述，來讓雙方理清處境和需求。
這個游戲完美地詮釋了信息不對等的本質(zhì)。當(dāng)我們覺得“其他人怎么這么笨”的時候，往往不是對方真的笨，而是我們站在已知信息的角度，忽略了對方的信息盲區(qū)。就像在游戲中，如果沒有跟對方描述清楚你的畫面，他就沒法給予你幫助。游戲也就永遠(yuǎn)無法推進(jìn)。
我們經(jīng)常吐槽用戶使用軟件的時候總是“不按套路出牌”。但換個角度想，這不是用戶的問題，而是我們在設(shè)計時，沒有考慮到用戶的信息認(rèn)知水平。我們覺得理所當(dāng)然的操作流程，對用戶來說可能充滿了不確定性。
其實大模型的使用就是一個很好的證據(jù)。它就像一個沒有說明書的產(chǎn)品，即使開發(fā)者也不能完全了解它。作為使用者，我們也在不斷摸索，各種提示詞技術(shù)都是試出來的。從更高維度看，我們所有人都是愚蠢的用戶。
所以，好的溝通不是簡單地傳遞信息，而是要考慮：對方當(dāng)前的信息狀態(tài)是什么，如何通過適當(dāng)?shù)男畔⑷哂鄟泶_保理解，以及如何建立反饋機(jī)制，驗證信息是否被正確接收。
有時候，我們需要的可能不是更多的解釋，而是更多的包容。畢竟，在信息不對等的世界里，我們每個人都在靠著自己的認(rèn)知摸索前行。
本文來自微信公眾號：阿茶的AI之路，作者：起名賊費勁的阿茶
本內(nèi)容為作者獨立觀點，不代表虎嗅立場。未經(jīng)允許不得轉(zhuǎn)載，授權(quán)事宜請聯(lián)系 hezuo@huxiu.com
熱門跟貼