新的光譜 JPEG XL 壓縮技術(shù)減少了文件大小，使光譜成像更加實用。
想象一下使用特殊相機捕捉你眼睛無法看到的光線——導致曬傷的紫外線或揭示隱藏文字的紅外熱信號?；蛘呤褂米銐蜢`敏的專用相機，在特定照明下區(qū)分油漆中細微的色彩變化?？茖W家和工程師每天都在做這件事——而由此產(chǎn)生的數(shù)據(jù)文件非常龐大，令人應接不暇。
一種名為光譜 JPEG XL 的新壓縮格式可能終于解決了科學可視化和計算機圖形領(lǐng)域日益嚴重的問題。英特爾公司的研究員 Alban Fichet 和 Christoph Peters 在最近發(fā)表在《計算機圖形技術(shù)雜志》（JCGT）上的一篇論文中詳細介紹了這一格式。它解決了處理這些專用圖像的行業(yè)面臨的嚴重瓶頸。這些光譜文件每個像素可以包含 30、100 或更多數(shù)據(jù)點，導致文件大小膨脹到多吉字節(jié)的范圍，使其難以存儲和分析。
當我們想到數(shù)字圖像時，通常會想象只存儲三種顏色的文件：紅色、綠色和藍色（RGB）。這對于日常照片來說效果很好，但捕捉光的真實顏色和行為需要更多的細節(jié)。光譜圖像通過記錄光的強度，不僅在廣泛的 RGB 類別中，而是在數(shù)十甚至數(shù)百個狹窄、特定的波長波段中，實現(xiàn)了更高的保真度。這些詳細信息主要跨越可見光譜，通常延伸到近紅外和近紫外區(qū)域，這對于準確模擬材料與光的相互作用至關(guān)重要。
圖1：論文中的圖1，顯示光譜圖像的相對壓縮評分。
與擁有三個通道的標準 RGB 圖像不同，這些文件在眾多通道中存儲信息，每個通道代表特定、狹窄波長范圍內(nèi)的光強度。論文中討論了包含 31 個不同通道的光譜圖像，甚至展示了包含多達 81 個光譜波段的示例。
這些通道通常需要捕捉比典型照片更廣泛的亮度值范圍。為此，光譜圖像經(jīng)常使用高精度格式，如每個通道的 16 位或 32 位浮點數(shù)，實現(xiàn)高動態(tài)范圍（HDR）數(shù)據(jù)捕捉。這與標準的 8 位圖像相去甚遠，是準確表示光源強烈亮度與較暗場景元素的關(guān)鍵。
探索超越 RGB 的世界
為什么有人需要圖像中這種級別的波長細節(jié)？原因有很多。汽車制造商希望準確預測不同照明下油漆的外觀?？茖W家使用光譜成像通過獨特的光信號識別材料。渲染專家需要它來準確模擬現(xiàn)實世界中的光學效果，如色散（例如，通過棱鏡產(chǎn)生的彩虹）和熒光。
例如，過去《科技內(nèi)幕》的報道強調(diào)了天文學家如何分析伽瑪射線爆發(fā)的光譜發(fā)射線以識別爆炸中的化學物質(zhì)，物理學家如何重建開創(chuàng)性的 19 世紀照片中的原始顏色，以及多光譜成像如何揭示像《沃伊尼奇手稿》等中世紀手稿上的隱藏、已有幾個世紀的文本和注釋，有時甚至通過微弱的表面蝕刻揭示過去讀者或抄寫員的身份。
中世紀學者 Lisa Fagin Davis 檢查了《沃伊尼奇手稿》10 頁的多光譜圖像。
當前存儲此類數(shù)據(jù)的標準格式 OpenEXR 并未考慮到這些巨大的光譜需求。即使使用內(nèi)置的無損壓縮方法如 ZIP，這些文件對于實際工作來說仍然笨重，因為這些方法難以處理大量的光譜通道。
光譜 JPEG XL 利用了一種在人類可見圖像中使用的技術(shù)——一種稱為離散余弦變換（DCT）的數(shù)學技巧，使這些龐大的文件變得更小。它不再存儲每個波長的確切光強度（這會生成巨大的文件），而是將這些信息轉(zhuǎn)化為另一種形式。
可以這樣理解：當你看到彩虹的顏色過渡時，你不需要記錄每一個可能的波長就能理解你所看到的。DCT 的工作原理是將這些平滑的波長模式轉(zhuǎn)換為一組類似波浪的模式（頻率系數(shù)），這些模式相加后重新創(chuàng)建原始的光譜信息。
借用音樂的一個類比，這大致類似于 MP3 壓縮對音頻的工作方式——它有選擇地保留人類最容易感知的頻率，舍棄大多數(shù)聽眾不會注意到的細微細節(jié)。同樣，光譜 JPEG XL 保留定義光與材料相互作用的關(guān)鍵模式，舍棄較不重要的細節(jié)。
重要的是，它然后應用了加權(quán)步驟，將較高頻率的光譜系數(shù)除以整體亮度（直流成分），允許對不太重要的數(shù)據(jù)進行更積極的壓縮。然后將其輸入編解碼器，而不是發(fā)明一種全新的文件類型，該方法使用標準化的 JPEG XL 圖像格式的壓縮引擎和功能來存儲專門準備的光譜數(shù)據(jù)。
讓光譜圖像更易于使用
根據(jù)研究人員的說法，光譜圖像的巨大文件大小被認為是阻礙那些本可以從其準確性中受益的行業(yè)采用的實際障礙。較小的文件意味著更快的傳輸時間，降低的存儲成本，以及在無需專用硬件的情況下更互動地處理這些圖像的能力。
研究人員報告的結(jié)果似乎令人印象深刻——通過他們的技術(shù)，光譜圖像文件相比標準的 OpenEXR 無損壓縮縮小了 10 到 60 倍，使其大小與普通高質(zhì)量照片相當。它們還保留了 OpenEXR 的關(guān)鍵功能，如元數(shù)據(jù)和高動態(tài)范圍支持。
雖然在壓縮過程中會犧牲一些信息——使其成為一種“有損”格式——研究人員設(shè)計它是為了首先丟棄最不顯眼的細節(jié)，集中壓縮工件在較不重要的高頻光譜細節(jié)上，以保留重要的視覺信息。
當然，也有一些限制。將這些研究成果轉(zhuǎn)化為廣泛的實際應用取決于處理 JPEG XL 編碼和解碼的軟件工具的持續(xù)開發(fā)和完善。像許多前沿格式一樣，初始的軟件實現(xiàn)可能需要進一步開發(fā)，以充分釋放每個功能。這仍在進行中。
雖然光譜 JPEG XL 大大減少了文件大小，但其有損方法可能對某些科學應用構(gòu)成缺點。一些使用光譜數(shù)據(jù)的研究人員可能會為了較小的文件和更快的處理時間而很容易接受這種權(quán)衡。處理特別敏感測量數(shù)據(jù)的研究人員可能需要尋找替代的存儲方法。
目前，這項新技術(shù)主要引起科學可視化和高端渲染等專用領(lǐng)域的興趣。然而，隨著從汽車設(shè)計到醫(yī)學成像等行業(yè)繼續(xù)生成更大的光譜數(shù)據(jù)集，像這樣的壓縮技術(shù)可能有助于使這些龐大的文件更實用。
熱門跟貼