你可試過用手機拍月亮？月亮一直是中國人核心的審美意象，古人在飲酒賞月中抒懷，留下千古名篇。只可惜當時相機尚未發(fā)明，不然我想李白杜甫們一定也很有雅興將相機記錄下來，古今同賞一輪月。
以下三幅圖是筆者拍攝的月亮，使用的設備分別是2011年的某中古機型、2019年的某標準版機型和今年最新的某旗艦攝影手機。三幅圖從模糊到清晰，從抽象到具體，體現(xiàn)了顯像技術的飛速發(fā)展。
左右滑動可以查看不同清晰程度的月亮~
Hold on！這里有一個問題：大家不覺得最后一張月亮的照片“清晰”過頭了嗎？從環(huán)形山到隕石坑，月亮的陰影紋路看得一清二楚，幾乎已經達到了價值數(shù)萬元的長焦鏡頭相機的攝像效果。這是因為手機成像硬件方面的巨大進步，還是另有玄機？
相機：束縛重重的“黑箱”
為了搞清楚這個問題，我們得回到相機工作的基本原理上來。關于相機成像質量好壞的判斷標準有很多，但在本文中，我們先聚焦在一個指標：分辨率。相機拍出來的照片畫質是否細膩，取決于在單位面積內有沒有足夠多的“色塊”來展現(xiàn)拍攝物體的復雜細節(jié)。分辨率越高，同時沒有各種“噪聲”來搗亂，你拍出來的照片就越清晰。
在大家的一般理解中，相機就是一個接收光線的“黑箱”：拍攝物體的光線通過相機鏡頭收集起來，成在底片上。然后我們只要把底片收集起來，讓它“顯影”就好了。這樣一個基于19世紀技術的關于相機“黑箱”的想象大體上仍然是正確的。它暗示了想要最終獲得一張照片所必需的兩個環(huán)節(jié)：一個是成像，一個是顯影。前者和光線和透鏡組本身的物理性質有關，對應著光學分辨率；后者則涉及光信息的收集和呈現(xiàn)方式，對應著圖像分辨率。二者共同決定了成像系統(tǒng)的解析力。
這個比喻唯一不足的地方在于，我們已經不再利用化學試劑，在一個昏暗的廂房里“洗照片”。現(xiàn)代相機往往利用CMOS或者CCD收集光強信號。你可以把它想象成一個格子組成的陣列，光子打到每一個格子上后，光子被吸收，轉化為電子的躍遷。這樣，光強信息就轉化為了每一個格子上的電流信號。我們再通過模數(shù)轉換器將電信號化為數(shù)字信號，成為手機可以理解的“語言”，一張照片才最終呈現(xiàn)在我們的手機屏幕上。
很自然地想到，只要我們把傳感器的陣列做的夠密，每一個單位面積上都有很多個像素點來接收光的信息，那最后呈現(xiàn)的照片不就可以有超高的分辨率了嘛! 沒錯，提升傳感器的圖像分辨率的確是提升最終成像質量的最關鍵因素之一。手機廣告詞里常說的“xx萬鏡頭像素”指的實際上就是傳感器的圖像分辨率，全畫幅、半畫幅”等專業(yè)相機的指標也是基于傳感器的面積和密度區(qū)分的。
但是手機鏡頭發(fā)展到今天，圖像分辨率和畫質的提升已經越來越難，幾乎到達了瓶頸。這其中的原因是多方面的。首先最現(xiàn)實的因素是，目前的探測器尺寸已經接近物理極限，通過減小元尺寸和增加陣元數(shù)量的方式提高分辨率已經十分困難。特別對于某些特殊波段的探測器，如紅外探測器，受制作工藝、工作條件、功耗成本等因素的限制，陣列規(guī)模仍然較小、像元尺寸較大無法完整記錄光學圖像的全部信號，從而難以滿足對遠距離弱小目標精準探測/識別所需要的成像分辨率的需求。
好吧，那我們先退一步。假設半導體工藝足夠強，我們能把像素點做的更多更密，是不是成像質量就一定提高呢？也不行，因為每一個“格點”做小了，光打到每一個接收器的信號就變弱了，相應地，噪聲就會凸顯出來，也就是我們常說的信噪比變低。這也就是為什么使用同樣的相機，你夜間拍攝的圖片似乎比白天要更“糊”。此外，高密度的探測器陣列會引入光電串擾問題，使得圖像質量進一步惡化。
我們再退一步，假設有一些神奇的設計和算法，能讓我們的探測器集成的越來越密，同時不發(fā)生信噪比降低和串擾，是不是我們的成像就能“無限”地好下去呢？此刻我們發(fā)現(xiàn)了一堵高墻，一個受物理法則支配、幾乎無法逾越的極限：光學衍射極限。
衍射極限：不可逾越的高墻？
上面的討論集中在探測器的圖像分辨率上，但是相機畢竟首先是一個光學成像系統(tǒng)，它受著物理定律的支配。在大部分時間里，對于日常的攝影光學，你可以放心地將光視作一條條射線經過透鏡成像。空間中每一個幾何物點對應一個幾何像點，而幾何像點在概念上，是沒有面積的——它可以無限小。
但不幸的是，隨著成像分辨率越來越高，以至于和光的波長量級接近的時候，光的波動性開始顯現(xiàn)。以至于即使是對于一個理想物點，經過一個沒有任何像差的完美透鏡成像，也得不到一個理想的幾何像點，而一定是一個光斑——這就是艾里斑。艾里斑的直徑可以由如下公式表達：
其中
是光的波長，
表示鏡頭的光圈值。
物理學家瑞利勛爵（Lord Rayleigh）由此提出：當一個艾里斑的邊緣與另一個艾里斑的中心恰好重合時，此時對應的兩個物點剛好能被人眼或光學儀器所分辨，這就是著名的瑞利判據(jù)：
簡單的計算便可知，取綠光波長λ=520nm、鏡頭光圈值F#=1.4，δ=0.89μm；而取F#=5.6時，δ=3.56μm。
此時你會發(fā)現(xiàn)，將傳感器的像素越做越小的動力消失了——因為傳感器像素的大小至少要大于瑞利判據(jù)，你才能分辨出空間兩點的成像，否則即使像素再密，你得到的也只是一團重疊的、“糊掉”的光斑。而目前的手機像素傳感器，實際上已經達到甚至超過了這個極限。以今年發(fā)布的某款手機為例，其ISOCELL傳感器已經達到了4800萬像素，每個像素的尺寸小到了0.8μm，與上面計算的瑞利判據(jù)非常接近?？梢哉f，手機攝像的硬件傳感器已經基本走到了極限。
(a) 艾里斑的形成 (b)-(d) 瑞利判據(jù)的可視化表達
（圖片來源：參考文獻[1]）
計算成像：是輔助工具，
還是突破極限的“神劍”？
結合以上知識，這里可以回答文章最開始的問題了：受限于手機相機的像素尺寸、調焦的范圍，以及光學衍射極限的限制，我們幾乎不可能用傳統(tǒng)技術拍出紋理都顯示得一清二楚的月球照片。
那么難道手機拍出的超高清月亮是“假”月亮？這就涉及到一個富有爭議的話題：有沒有可能打破光學衍射極限，使得小小的手機也能進行超分辨成像？
超分辨成像一直是科研界非常關心的一個方向。小到藥物分子的輸運，大到恒星之間的合并，科學家們常常需要在極端條件下獲得高清的圖像，理解現(xiàn)象背后的機制。美國及德國三位科學家Eric Betzig、Stefan W. Hell和William E. Moerner就因為發(fā)明受激輻射損耗（Stimulated Emission Depletion，STED）顯微鏡以及單分子熒光定位技術獲得2014年諾貝爾化學獎。由于他們的貢獻，我們可以利用光學顯微鏡對納米世界一探究竟。這是通過設計新穎的光與物質相互作用的方法“繞過”光學衍射極限，因此是在底層物理上實現(xiàn)的“真正”的超分辨成像。
STED顯微鏡的基本結構和工作原理圖
（圖片來源：參考資料[3]）
然而，小小的手機上很難加裝如此龐大、復雜的科研設備。實際上，手機的超分辨成像走的是另外一條路——算法，尤其是基于深度學習和AI的算法。
我們從一個最直觀，也是最廣泛應用的例子談起。如果單張照片拍出來不夠清晰，或者是因為手抖，或者是因為特定的拍攝角度導致部分信息的缺失，或者是夜間光通量較少等各種原因，那么多拍幾張不就得了！獲取多個圖像后，再把每一張中有用的信息都提取出一點，最后“合成”在一張照片上，那么這張照片所包含的信息，不就遠遠超過單張照片所包含的信息量了？我們日常手機拍攝的照片中，很多都有這種“多幀合成”算法的影子。
用深度卷積神經網絡（SRCNN）重建單幀圖像
（圖片來源：參考資料[4]）
隨著算法不斷改進，現(xiàn)在甚至只需要一張照片就能進行超分辨重建。用通俗的語言來說，算法首先將待重建的圖像放大，再利用卷積神經網絡學習圖片的不同特征，建立從低分辨率圖像到高分辨率圖像的關系。最后，在每一個局部都通過擬合將低分辨率的圖像映射到高分辨率的圖像，這樣就完成了超分辨圖像的“重建”。
然而，算法帶來了清晰的圖像，卻也模糊了“真”和“假”的界限。算法生成的圖像不是光學上真實捕捉到的圖像，而是一種“合理的想象”。如果我們要記錄一個確定已知的事物，同時有豐富的高清素材庫來預訓練神經網絡，那么任何輸入進網絡的圖片，都能“自動”補齊它其實根本沒有捕捉到的細節(jié)。換言之，給一張低分辨率的圖片補充太多的先驗知識，它就會“有一個錘子，就看什么都像錘子”。即使是一只足球，經過算法處理后，也許也能呈現(xiàn)出月亮的模樣。
當照相機第一次被發(fā)明時，人們確信自己找到了忠實記錄光與影的方法；而在AI算法深度參與成像的今天，真實與虛構的界限再次變得模糊。李白的月亮有李白的情調，杜甫的月亮有杜甫的風雅，而現(xiàn)代人拍攝的月亮出奇的高清，卻也可能走向越發(fā)的一致。
參考文獻：
[2] 熊婭維, 王安志, and 張凱麗. '基于深度學習的光場超分辨率算法綜述.' Laser & Optoelectronics Progress 61.18 (2024): 1800003-1800003.
[3] Pa?s G, Habrant A, Terryn C. Fluorescent nano-probes to image plant cell walls by super-resolution STED microscopy[J]. Plants, 2018, 7(1): 11.
[4] Shi, Wenzhe, et al. 'Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network.' Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.
作者：陳明遠
作者單位：南京大學
文章首發(fā)于科學大院，僅代表作者觀點。
科學大院是中國科學院官方科普微平臺，致力于最新科研成果的深度解讀、社會熱點事件的科學發(fā)聲
主辦機構：中國科學院學部工作局
運行機構：中國科學院計算機網絡信息中心
技術支持：中國科普博覽
特別聲明：本文經上觀新聞客戶端的“上觀號”入駐單位授權發(fā)布，僅代表該入駐單位觀點，“上觀新聞”僅為信息發(fā)布平臺，如您認為發(fā)布內容侵犯您的相關權益，請聯(lián)系刪除!
熱門跟貼