打開網(wǎng)易新聞 查看精彩圖片

全球最大云計算巨頭,今日掏出硬核家底!

智東西12月3日拉斯維加斯報道,在年度云計算產(chǎn)業(yè)盛會AWS re:Invent大會上,AWS(亞馬遜云科技)一口氣發(fā)布6款大模型、預告2款大模型,還推出3nm第三代AI訓練芯片Trainum3及其迄今最強AI服務器Trn2 UltraServer。

打開網(wǎng)易新聞 查看精彩圖片

這是Amazon Nova系列基礎模型首次亮牌。

包括Micro、Lite、ProPremier四個版本的語言模型,還有圖像生成模型Canvas、視頻生成模型Reel。其中Reel現(xiàn)支持生成6秒視頻,很快將會延長到2分鐘。

打開網(wǎng)易新聞 查看精彩圖片

亞馬遜總裁兼CEO安迪·賈西現(xiàn)場劇透:明年,AWS不僅將發(fā)布語音轉(zhuǎn)語音模型,還有更高能的任意轉(zhuǎn)任意(Any-to-Any)模型——能輸入和輸出文本、圖像、音頻、視頻等任何模態(tài)的內(nèi)容

這些模型均在Bedrock中提供,可微調(diào)和蒸餾。

此外,AWS CEO馬特·加曼宣布推出最新生成式AI實例Amazon EC2 Trn2,比當前基于GPU的EC2實例的性價比高出30%~40%。

蘋果機器學習和人工智能高級總監(jiān)Benoit Dupin來到現(xiàn)場,稱蘋果在iPad、Apple Music、Apple TV、新聞、App Store、Siri等產(chǎn)品和服務上廣泛使用了亞馬遜服務。

他特別分享道,與x86實例相比,蘋果已用Amazon Graviton、Inferentia等AWS芯片在機器學習推理工作負載方面實現(xiàn)了40%以上的效率提升,并預計在Trainium 2上預訓練模型時,效率將提高50%

打開網(wǎng)易新聞 查看精彩圖片

被亞馬遜豪擲80億美元投資的Anthropic,宣布與AWS共同構建面向機器學習訓練的世界最大計算集群,其下一代Claude大模型將在擁有數(shù)十萬顆Trainium2芯片的集群上進行訓練。

總體來看,AWS的計算、存儲、數(shù)據(jù)庫、AI推理,四大板塊都迎來一大波重要更新。

01.全新自研大模型Amazon Nova系列登場!文本、圖像、視頻齊活了

亞馬遜總裁兼CEO安迪·賈西現(xiàn)場分享了生成式AI如何貫穿亞馬遜不同業(yè)務,包括改善了電商客服、賣家詳情頁創(chuàng)建、庫存管理、機器人、Alexa、Amazon Lens、線上購物衣服尺碼匹配、Prime Video等的效率和體驗。

然后,他公布全新大模型系列——Amazon Nova!

打開網(wǎng)易新聞 查看精彩圖片

Nova語言模型有四款:

(1)Micro:純文本模型,128k上下文窗口,延遲最低,響應速度最快。

(2)Lite:成本很低的多模態(tài)模型,300k上下文窗口,可快速處理圖像、視頻和文本輸入。

(3)Pro:多模態(tài)模型,300k上下文窗口,兼顧準確度、速度和成本,能進行視頻理解、生成創(chuàng)意素材。

(4)Premier:亞馬遜功能最強的多模態(tài)模型,可用于執(zhí)行復雜的推理任務,并可用作蒸餾自定義模型的最佳老師(將于2025年第一季度推出)。

據(jù)介紹,Micro、Lite和Pro的價格至少比Amazon Bedrock中各自智能類別中性能最佳的模型便宜75%。它們也是Amazon Bedrock中各自智能類別中速度最快的模型。

AWS稱到2025年初,某些Nova模型的上下文窗口將擴展以支持超過200萬個token。

在基準測試中,Micro版整體性能超過Gemini 1.5 Flash 8B和Llama 3.1 8B。

打開網(wǎng)易新聞 查看精彩圖片

Lite在處理輕量級任務時是最低成本的多模態(tài)模型。

打開網(wǎng)易新聞 查看精彩圖片

新發(fā)布的另外兩個Nova模型是圖形生成模型Canvas和視頻生成模型Reel,可用于提升宣傳廣告的創(chuàng)意。

打開網(wǎng)易新聞 查看精彩圖片

Canvas支持生成編輯圖像,提供配色方案布局控件,并內(nèi)置有安全控件,用于可追溯性的水印和用于限制有害內(nèi)容生成的內(nèi)容審核。

打開網(wǎng)易新聞 查看精彩圖片

Reel可根據(jù)關鍵詞或可選的參考圖像生成6秒視頻,支持用戶調(diào)整攝像機運動以生成具有平移、360度旋轉(zhuǎn)和縮放的視頻??芍谱?strong>2分鐘視頻的版本即將推出。

打開網(wǎng)易新聞 查看精彩圖片

這些模型支持自定義微調(diào)和蒸餾。

還有One More Thing

AWS將在明年推出另外兩款Nova模型,一款是“語音轉(zhuǎn)語音”模型;另一款是“任意轉(zhuǎn)任意”多模態(tài)模型,其輸入和輸出可以是文本、圖像、音頻或視頻,也就是能用同一個模型執(zhí)行各種任務

打開網(wǎng)易新聞 查看精彩圖片

除了發(fā)布自研模型,AWS也公布了跟Anthropic的合作新進展。

AWS與Anthropic合作推出了Claude 3.5 Haiku延遲優(yōu)化版,將推理速度提高60%

客戶只需打開API的開關,請求就會被發(fā)到新的Trainium2服務器上。

Amazon Bedrock提供的延遲優(yōu)化選項,支持客戶訪問其最新AI硬件和其他軟件優(yōu)化,以獲得模型的最佳推理性能。除了Claude模型外,還包括Llama 405B和較小的Llama 270B模型,處理請求和生成相應的總耗時比其他產(chǎn)品低得多。

打開網(wǎng)易新聞 查看精彩圖片

02.AWS Trainium2實例全面推出,發(fā)布第三代AI訓練芯片、最強AI服務器

AWS全面推出由Trainium2芯片驅(qū)動的Amazon EC2 Trn2實例,相比當前基于GPU的EC2實例,性價比高出30%~40%

打開網(wǎng)易新聞 查看精彩圖片

全新Amazon EC2 Trn2實例專為包括大語言模型和潛在擴散模型在內(nèi)的生成式AI高性能深度學習訓練而構建。

其AI硬件全家桶也哐哐上新,推出第三代自研AI訓練芯片Trainium3,還發(fā)布了其史上最強AI服務器Trn2 UltraServer。

1、第三代自研AI訓練芯片

AWS發(fā)布了新一代AI訓練芯片Trainium3。這是首款采用3nm工藝節(jié)點制造的AWS芯片,能效提高40%、性能翻倍提升。

搭載Trainium3的UltraServer性能預計將比Trn2 UltraServer高出4倍。首批基于Trainium3的實例預計將于2025年底上市。

2、最強AI服務器,64Trainium2合體

AWS發(fā)布其史上最強AI服務器AWS Trn2 UltraServer,能支撐萬億參數(shù)AI模型的實時推理性能。

打開網(wǎng)易新聞 查看精彩圖片

全新Trn2 UltraServer使用超高速NeuronLink互連,將4臺Trn2服務器連接在一起,形成1臺巨型服務器,實現(xiàn)更快的大模型訓練和推理。

單個Trn2實例結合了16顆Trainium2芯片,可提供20.8PFLOPS,適合訓練和部署有數(shù)十億個參數(shù)的大語言模型。

打開網(wǎng)易新聞 查看精彩圖片

全新EC2產(chǎn)品Trn2 UltraServer則將64顆Trainium2芯片互連,可提供相比當前EC2 AI服務器多達5倍的算力和10倍的內(nèi)存,將FP8峰值算力擴展到83.2PFLOPS(單個實例的4倍)。

打開網(wǎng)易新聞 查看精彩圖片

AWS已與Adobe、AI軟件開發(fā)平臺Poolside、數(shù)據(jù)分析平臺Databricks、高通等幾個早期客戶進行了Beta測試培訓。

3、與Anthropic擴大合作,要建全球最大AI計算集群

美國AI大模型獨角獸Anthropic的聯(lián)合創(chuàng)始人兼CTO Tom Brown現(xiàn)場分享說,就像俄羅斯方塊游戲,機器內(nèi)部構造越緊密,跑模型就越便宜越快。一年多來,Anthropic性能工程團隊與亞馬遜和Annapurna團隊密切合作,應對這一挑戰(zhàn)。

他宣布AWS與Anthropic正合作構建一個名為Project RainierTrn2 UltraServers EC2 UltraCluster,它將在數(shù)十萬顆Trainium2芯片上擴展分布式模型訓練。

這些芯片與第三代低延遲PB級EFA網(wǎng)絡互連,是Anthropic用于訓練其當前一代領先AI模型的百億億次浮點運算數(shù)量的5倍多。

打開網(wǎng)易新聞 查看精彩圖片

建成后,預計它將成為迄今世界上最大的AI計算集群,可供Anthropic構建和部署其未來模型。

使用Project Rainer后,用戶將能夠以更低價格、更快速度獲得更多智能、更聰明的Agent。

4、新一代AI網(wǎng)絡結構tnp10

為Trainium2 UltraServer提供動力的是最新一代AI網(wǎng)絡結構tnp10。AWS在基于Trainium和NVIDIA芯片的集群都使用了這個網(wǎng)絡。它能在10微秒延遲下為數(shù)千臺服務器提供數(shù)十PB網(wǎng)絡容量,實現(xiàn)了AWS迄今擴展速度最快的網(wǎng)絡。

打開網(wǎng)易新聞 查看精彩圖片

Tnp10網(wǎng)絡的大規(guī)模并行、緊密互聯(lián)和彈性的,可縮小到幾個機架,也可以將其擴展到跨越多個物理數(shù)據(jù)中心園區(qū)的集群。

AI網(wǎng)絡中的最大故障來源是光鏈路。多年來,AWS一直在設計和運行自家定制光學系統(tǒng),以持續(xù)降低故障率。為了進一步優(yōu)化網(wǎng)絡,AWS在tnp10網(wǎng)絡中建立了一個全新的網(wǎng)絡路由協(xié)議“可擴展意圖驅(qū)動路由(CIDR)”,通過分散的速度和彈性提供了集中的計劃、控制和優(yōu)化。

03.生成式AI平臺Bedrock服務三大更新:自動推理檢查、多Agent協(xié)同、模型蒸餾

AWS Bedrock服務可幫助企業(yè)構建和擴展生成式AI應用程序,今天公布關于自動推理檢查、多agent協(xié)作、模型蒸餾的新功能。

AWS將Bedrock標榜為“構建生成式AI應用的最簡單方式”。據(jù)加曼透露,每天都有成千上萬的客戶將Bedrock用于生產(chǎn)應用程序,這幾乎是去年一年增長率的5倍。

打開網(wǎng)易新聞 查看精彩圖片

1、自動推理檢查,可預防AI幻覺

AI幻覺是妨礙AI應用進入企業(yè)實際生產(chǎn)的關鍵。AWS在探索過程中發(fā)現(xiàn),自動推理可以被應用于解決這個問題。自動推理通常用于證明系統(tǒng)是否按指定方式工作。這個工具可以自動檢查方案和軟件,驗證在遇到意外事件時如何正確響應等。

基于此,AWS推出了AWS Automated Reasoning checks,可驗證事實響應的準確性、生成可審計的輸出,并向客戶展示模型得出結果的確切原因。

打開網(wǎng)易新聞 查看精彩圖片

同時,Amazon Bedrock會自動制定必要的規(guī)則,引導客戶對其進行迭代測試,以確保模型調(diào)整到正確的響應。

2、多Agent協(xié)作,1小時完成此前1周任務

Bedrock的新功能還有幫助企業(yè)輕松構建、部署、編排agent團隊,使其寫作解決復雜多步驟任務。

打開網(wǎng)易新聞 查看精彩圖片

使用Amazon Bedrockmulti-agent collaboration,企業(yè)可通過為項目的特定步驟創(chuàng)建和分配專門Agent來獲得更準確的結果,并通過協(xié)調(diào)多個并行工作的Agent來加速任務。

打開網(wǎng)易新聞 查看精彩圖片

比如企業(yè)可以在Bedrock上構建自己的專業(yè)Agent,然后創(chuàng)建主管Agent或協(xié)調(diào)Agent來幫助管理其他Agent。

AWS的客戶稱,這種多Agent協(xié)作使其此前需要大約1周時間的相同任務,現(xiàn)在可以在1小時內(nèi)完成。

3、模型蒸餾,速度最高提升500%

當下每周都有新版本的模型發(fā)布,企業(yè)需要基于自己的實際需求找到更適合的模型,需要適當?shù)膶I(yè)知識、適當延遲、適當成本以完成任務。

企業(yè)目前解決的方案之一是模型蒸餾,將性能強大的基礎模型中的數(shù)據(jù)和答案拿出來訓練更小的模型,這需要企業(yè)對訓練數(shù)據(jù)進行管理,并同時考慮到模型參數(shù)和權重的問題。

打開網(wǎng)易新聞 查看精彩圖片

借助Amazon BedrockModel Distillation,客戶只需針對給定用例選擇最佳模型,并從同一模型系列中選擇較小的模型,即可以合適的成本提供其應用程序所需的延遲。

與原始模型相比,蒸餾模型速度最高可提高500%,運行成本降低75%,對于檢索增強生成(RAG)等用例,準確度損失不到2%。

04.Amazon Q Developer超越代碼,覆蓋更廣泛開發(fā)任務

Amazon Q Developer輔助編程平臺此次升級的重點是超越代碼完成,幫助開發(fā)人員完成端到端軟件生命周期中涉及的更廣泛日常任務。

打開網(wǎng)易新聞 查看精彩圖片

Amazon Q Developer的新功能主要包括:

將Windows .NET應用程序現(xiàn)代化為Linux,速度提高4倍,并將許可成本降低多達40%。

將VMware工作負載轉(zhuǎn)變?yōu)樵圃軜?/strong>,agents自動規(guī)劃、鑒別、決定和轉(zhuǎn)換網(wǎng)絡配置,在數(shù)小時內(nèi)將本地網(wǎng)絡配置轉(zhuǎn)換為AWS等效配置。

通過簡化代碼分析、文檔、規(guī)劃和重構應用程序等勞動密集型工作來加速大型機現(xiàn)代化

Q Developer現(xiàn)可自動生成單元測試,并幫助開發(fā)人員編寫和維護代碼文檔。它可以生成第一個代碼審查,供開發(fā)人員提交代碼時使用。一旦代碼投入生產(chǎn),Q的新運營Agent就自動從公司的監(jiān)控服務AWS CloudWatch中提取數(shù)據(jù),并在警報響起時立即開始調(diào)查。

打開網(wǎng)易新聞 查看精彩圖片

AWS還推出了一款用于現(xiàn)代化COBOL大型機應用程序的Agent。

此外,開發(fā)人員和安全平臺GitLab和AWS宣布已聯(lián)手將GitLab的Duo AI助手與亞馬遜的Q自主Agent結合起來。GitLab用戶可用Duo的聊天功能訪問Amazon Q Developer中提供的許多Agent,以幫助進行代碼審查、生成單元測試和現(xiàn)代化他們的Java應用程序,該功能現(xiàn)在已直接集成到GitLab聊天UI中。

打開網(wǎng)易新聞 查看精彩圖片

05.與英偉達合作14年,明年初發(fā)布Blackwell架構P6實例

AWS將核心服務通過構建block提供,企業(yè)可以更容易將這些服務進行組合,并建立真正有趣的應用。這個構建Block的概念一直是AWS構建服務、支持客戶運行的基礎,目前其已經(jīng)提供了大量服務模塊。

例如,在生物領域,AWS開發(fā)了ESM模型系列,幫助全球科學家理解和設計蛋白質(zhì)。ESM3已經(jīng)被訓練了1萬億兆兆次,計算了超20億個蛋白質(zhì)序列,這意味著科學家可以像設計芯片一樣設計蛋白質(zhì),朝著生物可編程邁出一步。

加曼談到企業(yè)選擇AWS的一個重要原因就是安全。重視安全是AWS開展業(yè)務的基礎,這關系到其如何設計數(shù)據(jù)中心、芯片、虛擬化堆棧以及服務體系結構。

打開網(wǎng)易新聞 查看精彩圖片

在這之上,截至目前,AWS提供了比任何供應商都更多的計算資源。亞馬遜EC2擁有更多選項、實例和功能,可以讓企業(yè)找到適合其工作負載的應用程序的對應性能。

例如,企業(yè)正在運行一個用于分析工作流的大型數(shù)據(jù)庫,AWS可以在任何地方運行最大的存儲系統(tǒng);如果企業(yè)正在運行一個HPC集群、大模型以及所有集群,并需要快速的網(wǎng)絡將這些東西進行連接,而AWS擁有訂購速度最快的熟練網(wǎng)絡。

AWS自研芯片為其提供了更大的靈活性,當其單獨移動Nitro系統(tǒng)中的虛擬化設計時,可以無需重做虛擬化堆棧。基于新的實例類型,快速、簡單的進行開發(fā)。

打開網(wǎng)易新聞 查看精彩圖片

AWS的Graviton系列處理器目前已經(jīng)被幾乎所有的AWS客戶廣泛使用,其性價比提高了40%。Graviton可以處理更廣泛的工作負載,包括標量代碼、數(shù)據(jù)庫等。

目前,絕大多數(shù)的模型運行在英偉達的GPU之上,AWS和英偉達合作已經(jīng)14年,加曼宣布其合作升級,發(fā)布P6實例。P6系列將采用新Blackwell芯片,明年初發(fā)布,P6實例將提供最多2個,計算速度比當前一代GPU快5倍。

打開網(wǎng)易新聞 查看精彩圖片

06.Amazon S3存儲功能擴展,更快數(shù)據(jù)湖分析、自動元數(shù)據(jù)生成

AWS致力于推出簡單可擴展的存儲方式。它在2006年推出的Amazon S3從根本上改變管理數(shù)據(jù)的想法,這一服務過去十幾年來爆炸式增長。Amazon S3 Intelligent-Tiering智能分層已為客戶節(jié)省40億美元。

打開網(wǎng)易新聞 查看精彩圖片

在此基礎上,AWS推出Amazon S3 Tables功能,使S3成為首個完全托管支持Apache Iceberg的云對象存儲,可實現(xiàn)更快分析,并以最簡單的方式存儲和管理任何規(guī)模的表(Table)數(shù)據(jù)。

許多客戶將用于分析的數(shù)據(jù)組織為表數(shù)據(jù),通常存儲在Apache Parquet中。Parquet已是S3中增長最快的數(shù)據(jù)類型之一,Iceberg已成為管理Parquet文件的最流行的開放表格式(OTF)。

AWS將S3 Tables稱作“對S3中的Apache Iceberg表執(zhí)行分析的最簡單快捷的方法”。它專為管理數(shù)據(jù)湖的Apache Iceberg表而構建,是第一個具有內(nèi)置Apache Iceberg表支持的云對象存儲并引入了一種新的存儲桶類型,來優(yōu)化以Iceberg表形式存儲和查詢表數(shù)據(jù)。

與通用S3存儲桶相比,S3 Tables可提供3倍的查詢性能、10倍的每秒事務數(shù)(TPS),并會自動管理表維護任務。

打開網(wǎng)易新聞 查看精彩圖片

AWS還推出了Amazon S3 Metadata,可以近乎實時地自動生成可查詢的目標元數(shù)據(jù)(metadata),并使其可通過新S3 Tables進行查詢,讓發(fā)現(xiàn)和管理S3中的海量數(shù)據(jù)變得更簡單快捷。

打開網(wǎng)易新聞 查看精彩圖片

S3 Tables(正式發(fā)布)、S3 Metadata(預覽版)現(xiàn)已推出,與Apache Iceberg表兼容,支持用AWS分析服務和開源工具輕松查詢數(shù)據(jù)。

07.兩大數(shù)據(jù)庫上新:能跨區(qū)域運行,具備強一致性

AWS今日宣布推出Amazon Aurora DSQLAmazon DynamoDB global tables新功能,以支持一些工作負載對跨區(qū)域運行、強一致性、低延遲、高可用性的嚴苛需求,兩個數(shù)據(jù)庫的跨區(qū)域強一致性功能現(xiàn)已推出預覽版。

打開網(wǎng)易新聞 查看精彩圖片

今年是Amazon Aurora發(fā)布的十周年。它是迄今發(fā)展最快的AWS服務。每天有數(shù)十萬客戶依賴的Amazon Aurora,提供了企業(yè)級商用數(shù)據(jù)庫的性能以及開源的靈活性和經(jīng)濟性。

打開網(wǎng)易新聞 查看精彩圖片

如今AWS再次重新構想關系數(shù)據(jù)庫,讓客戶無需在低延遲或SQL之間做選擇。

Amazon Aurora DSQL是一種新型無服務器分布式SQL數(shù)據(jù)庫,既可以提供高端商用數(shù)據(jù)庫的所有性能和功能,又具有開源數(shù)據(jù)庫的靈活性和成本效益。

打開網(wǎng)易新聞 查看精彩圖片

與其他流行的分布式SQL數(shù)據(jù)庫相比,Aurora DSQL的讀寫速度快至4倍,多區(qū)域可用性高達99.999%,可擴展性幾乎無限,而且無需管理基礎設施,無需配置、修補或管理數(shù)據(jù)庫實例。

打開網(wǎng)易新聞 查看精彩圖片

Aurora DSQL克服了分布式數(shù)據(jù)庫的兩個歷史挑戰(zhàn)——實現(xiàn)多區(qū)域低延遲強一致性,以及在全球范圍內(nèi)以微秒級精度同步服務器。

該數(shù)據(jù)庫通過將事務處理與存儲分離來克服當前方法的局限性,僅在提交時檢查每個事務,并在提交時并行化所有區(qū)域的所有寫入,以提供具有強一致性和快速寫入的多區(qū)域數(shù)據(jù)庫,且所有更新和安全修補都無需停機,也不會對性能產(chǎn)生任何影響。

為了確保每個區(qū)域都能按照發(fā)生的確切順序看到每個數(shù)據(jù)庫操作,Aurora DSQL使用了Amazon Time Sync Service,該服務在每個 Amazon EC2實例上添加了硬件參考時鐘,將它們同步到與衛(wèi)星連接的原子鐘,以提供世界任何地方的微秒級精確時間。

打開網(wǎng)易新聞 查看精彩圖片

Amazon DynamoDB第一個完全托管的無服務器NoSQL數(shù)據(jù)庫,通過重新定義性能和簡化操作,在任何規(guī)模下都無需基礎設施管理,并且始終保持個位數(shù)毫秒級的性能。

該數(shù)據(jù)庫現(xiàn)支持多區(qū)域強一致性,確保客戶的多區(qū)域應用程序始終讀取最新數(shù)據(jù),而無需更改任何應用程序代碼。

08.面向高密度AI工作負載,推出全新靈活數(shù)據(jù)中心組件

AWS宣布推出全新數(shù)據(jù)中心組件(電源、冷卻、硬件設計),旨在支持高密度AI工作負載。

(1)簡化電氣和機械設計:使基礎設施可用性達到99.9999%,還將可能受電氣問題影響的機架數(shù)量減少了89%。

(2)冷卻、機架設計和控制系統(tǒng)的創(chuàng)新:開發(fā)全新可配置液冷解決方案,通過優(yōu)化數(shù)據(jù)中心機架的定位方式來最大限度利用電力,更新了標準化監(jiān)控、報警和操作順序的控制系統(tǒng)。

(3)提高能源效率和可持續(xù)性:與之前的設計相比,預計在峰值冷卻條件下機械能消耗可降低多達46%;與行業(yè)平均水平相比,數(shù)據(jù)中心建筑外殼混凝土中的隱含碳減少35%;備用發(fā)電機將能夠使用可生物降解且無毒的可再生柴油燃料。

09.結語:一場大型科技創(chuàng)新秀場

歷屆AWS re:Invent大會,都是計算、安全、存儲系統(tǒng)和AI基礎設施等的大型創(chuàng)新秀場。

從2003年秋天啟程開始,AWS不斷降低云服務的門檻,將大公司級成本結構和規(guī)模的基礎設施變成人人隨處可得,讓大中小型企業(yè)團隊不必在計算、存儲、數(shù)據(jù)庫、分析等方面重復造輪子。

在全棧創(chuàng)新的深度和產(chǎn)品組合的廣度,使得這家云大廠能夠持續(xù)鞏固高性能、節(jié)能、安全、合規(guī)、擴展性等方面的口碑,并跟上快速變化的AI需求,有更充足的經(jīng)驗和儲備來幫助客戶更好地專注于自身業(yè)務和適應創(chuàng)新。