在過去兩年中，生成式 AI 已經(jīng)滲透到科技巨頭和各類企業(yè)中，這促使從硬件制造商到組件供應商再到企業(yè)應用開發(fā)商在內(nèi)的 IT 供應商們快速調(diào)整其發(fā)展路線，以應對這一新興技術帶來的特殊需求和機遇。

Pure Storage 技術副總裁 Chadd Kenney 表示，這包括眾多數(shù)據(jù)存儲系統(tǒng)制造商，他們此前已經(jīng)解決了 HPC 中心和其他大規(guī)模計算組織帶來的擴展性挑戰(zhàn)。但這些存儲系統(tǒng)（包括并行文件系統(tǒng)和分離式存儲）并不能完全滿足 AI 環(huán)境的需求。

Kenney 向 The Next Platform 解釋說，與傳統(tǒng)應用相比，AI 工作負載更難預測、更復雜，且具有多模態(tài)特性 - 需要處理和輸出文本、圖像和視頻。雖然現(xiàn)有工作負載的性能和可擴展性已經(jīng)得到保證，但對于包含數(shù)千到數(shù)萬個昂貴 GPU 的 AI 環(huán)境來說卻不盡如人意。企業(yè)反饋稱，由于存儲瓶頸的限制，他們無法充分利用所有 GPU，性能（本質(zhì)上是持續(xù)讀寫的能力）和可擴展性都受到影響。

"隨著模型的發(fā)展變得更加多模態(tài)化，許多企業(yè)開始意識到這不再僅僅是基于文本的問題，"他說。"現(xiàn)在這些系統(tǒng)必須處理各種不同類型的媒體，這與傳統(tǒng)的 HPC 工作負載有很大的不同。雖然這些工作負載類型存在差異，但它們在數(shù)據(jù)處理方式上往往相對一致。"

同時，多個不同命名空間的需求以及管道不同部分的新型產(chǎn)品都增加了復雜性，這些都導致了高成本和低投資回報率。

對 Pure Storage 來說，最大的痛點出現(xiàn)在特定市場細分領域。Kenney 表示，其橫向擴展的 FlashBlade 存儲平臺已被數(shù)百個組織用于企業(yè)工作負載。同樣，Pure Storage 最近還宣布與 Meta Platforms 達成設計合作，這是該公司首次與超大規(guī)模企業(yè)合作，為公司打入超高端市場奠定基礎，這些企業(yè)在其系統(tǒng)中運行著數(shù)萬個 GPU，需要持續(xù)供給數(shù)據(jù)。

但根據(jù) Kenney 的說法，市場中間部分的客戶 - 那些運行一個到數(shù)萬個 GPU，需要存儲陣列提供 1TB/秒到 50TB/秒性能，正在建設 Nvidia 所說的 AI 工廠的客戶 - Pure Storage 和幾乎所有其他公司都未能很好地滿足他們的需求。

"目前購買大多數(shù) GPU 的人都在進行大規(guī)模訓練，"Kenney 解釋道。"我們想了解這些客戶的需求。我們知道企業(yè)級需求是什么。對于大多數(shù)客戶來說，每秒一太字節(jié)就足夠了，因為他們?nèi)蕴幱谠缙趯嶒炿A段。我們看到的大多數(shù)企業(yè)通常擁有不到一千個 GPU。超大規(guī)模企業(yè)則處于超高端，他們需要每秒 50+ 太字節(jié)的性能，而且他們正在構(gòu)建完全不同的架構(gòu)。在超大規(guī)模設計合作過程中，我們學到了很多，這讓我們開始以不同于以往的方式思考我們的產(chǎn)品。"

這種思考促使 Pure 本周推出了 FlashBlade//EXA，這是一個建立在 FlashBlade 基礎設施之上的存儲平臺，專注于高并發(fā)性和 HPC 與 AI 工作負載中大量元數(shù)據(jù)的處理，這些元數(shù)據(jù)一直是導致 AI 性能受阻的存儲瓶頸的主要原因。FlashBlade//EXA 通過獨立擴展數(shù)據(jù)和元數(shù)據(jù)來解決這個問題。

在嘗試解決元數(shù)據(jù)挑戰(zhàn)時，Pure Storage 考慮了兩個概念。一個是為 HPC 構(gòu)建的并行文件系統(tǒng)，在可擴展性和性能方面表現(xiàn)出色，但在升級厚客戶端和管理系統(tǒng)方面比較復雜。另一個是分離式架構(gòu)，這種架構(gòu)在當前 AI 時代之前就已存在，但存在自身的性能瓶頸，特別是在寫入方面，因為元數(shù)據(jù)和數(shù)據(jù)攝入都在同一層進行。

Kenney 表示，Pure Storage 工程師知道 FlashBlade 中的元數(shù)據(jù)經(jīng)過高度優(yōu)化，但供應商希望通過傳統(tǒng)協(xié)議實現(xiàn)數(shù)據(jù)節(jié)點的無限擴展，便于企業(yè)輕松將其引入其環(huán)境中。

"我們使用 FlashBlade 作為元數(shù)據(jù)核心構(gòu)建了這個 FlashBlade//EXA 架構(gòu)，然后利用數(shù)據(jù)節(jié)點實現(xiàn)超高可擴展性，允許您根據(jù)需要靈活地向任何方向擴展，"他說。"如果您真的需要，可以擁有十個數(shù)據(jù)節(jié)點和大量元數(shù)據(jù)節(jié)點來處理極小的文件。您也可以擁有許多數(shù)據(jù)節(jié)點和只有一個元數(shù)據(jù)節(jié)點。這個擴展模型沒有限制。該平臺現(xiàn)在成為 FlashBlade 的擴展。"

他補充說，高度分離和并行的架構(gòu)將消除多模態(tài)模型的性能影響，并將在單個命名空間中開始提供 10TB/秒的讀取性能。此外，組織可以使用一些現(xiàn)成的技術 - 它與其他存儲制造商的數(shù)據(jù)節(jié)點兼容，而 FlashBlade 將用于元數(shù)據(jù) - 以及 Pure Storage 自己的技術。

"從一開始就會提供這些現(xiàn)成的數(shù)據(jù)節(jié)點，因為當我們開始與客戶討論這個可能性時，他們就提出了這個要求，"Kenney 說。"他們希望立即利用現(xiàn)有投資。"

Pure 計劃提供基于其 DirectFlash Module (DFM) 構(gòu)建的數(shù)據(jù)節(jié)點，起始容量為 75TB 和 150TB，后續(xù)將提供 300TB，可在 2U 模型中提供 1.8PB 到 7.2PB 的容量。

Pure 本月開始讓客戶測試該平臺，約有十幾個客戶正在進行概念驗證，計劃在今年夏天正式發(fā)布。系統(tǒng)最初將支持 pNFS 訪問，之后將提供基于 RDMA 的 S3 支持，以及 DFM 數(shù)據(jù)節(jié)點、Nvidia 認證和與 Pure 的 Fusion 存儲即代碼服務的集成。