編輯部 發(fā)自 AIGC現(xiàn)場
量子位 | 公眾號 QbitAI
敦煌網(wǎng)突然飆到蘋果美區(qū)AppStore排名第二，面對如此潑天的流量，該用什么“姿勢”來接住？
在千變?nèi)f化、快速發(fā)展的生成式AI時代下，如此“灰犀?！笔录瑧?yīng)當(dāng)給每一個企業(yè)敲響一個警鐘——
如何確保企業(yè)的系統(tǒng)能夠應(yīng)對突發(fā)的用量激增？
針對這一問題，亞馬遜云科技大中華區(qū)數(shù)據(jù)及存儲產(chǎn)品總監(jiān)Troy Cui在量子位舉辦的中國AIGC產(chǎn)業(yè)峰會上，給出了他的見解：
- 每個企業(yè)在做架構(gòu)之前，都需要思考：當(dāng)DAU從1萬增長到千萬級，當(dāng)每日Token處理量從幾千飆升到上億時，現(xiàn)有架構(gòu)能否持續(xù)支撐？
基于此，它也以云計算一哥為例給出了獨到的解法。
△亞馬遜云科技大中華區(qū)數(shù)據(jù)及存儲產(chǎn)品總監(jiān)Troy Cui
為了完整體現(xiàn)Troy Cui的思考，在不改變原意的基礎(chǔ)上，量子位對演講內(nèi)容進(jìn)行了編輯整理，希望能給你帶來更多啟發(fā)。
中國AIGC產(chǎn)業(yè)峰會是由量子位主辦的AI領(lǐng)域前沿峰會，20余位產(chǎn)業(yè)代表與會討論。線下參會觀眾超千人，線上直播觀眾320萬+，累計曝光2000萬+。
話題要點
- 要想提高AI能力，核心競爭力是自己的數(shù)據(jù)
- 快速將數(shù)據(jù)轉(zhuǎn)化為業(yè)務(wù)洞察、提升數(shù)據(jù)質(zhì)量、促進(jìn)跨部門協(xié)作是AI賦能的重要前提
- “灰犀?！笔录l發(fā)的時代，企業(yè)如何應(yīng)對激增的流量是關(guān)鍵
- 做架構(gòu)需提前思考：當(dāng)每日Token處理量從幾千飆升到上億時如何應(yīng)對
以下是演講全文：
發(fā)展AI的核心競爭力是自己的數(shù)據(jù)
謝謝大家今天上午的時間，我剛才也聽了其他嘉賓的一些演講，也深受啟發(fā)，包括阮總介紹百度智能云在各個行業(yè)里面的落地、在產(chǎn)業(yè)的深耕，以及對未來發(fā)展的展望。
包括微軟的劉博士給我們介紹RD-Agent，以及PPIO的姚總跟我們介紹怎么樣在底層把算力推廣到前線的應(yīng)用上，包括剛剛譚總介紹數(shù)據(jù)的Agent。
這些東西都是為了一個目的，把我們AI的能力“多、快、好、省”地向前線的用戶賦能和推進(jìn)。
我們要想把AI的能力更快地向前走，毫無疑問最核心的競爭力來自于自己的數(shù)據(jù)，因為我們的模型，你和你的友商，你和你的競爭對手都可以拿到相對來說同樣級別的能力。
但是核心競爭力仍然源于企業(yè)自身的數(shù)據(jù)資產(chǎn)。
正如譚總剛才所說，如何將數(shù)據(jù)更快地轉(zhuǎn)化為業(yè)務(wù)洞察，如何最大程度提升數(shù)據(jù)質(zhì)量，以及如何讓更多人參與決策過程，這些都是為AI賦能的重要前置條件。同時他也指出，目前并非所有擁有數(shù)據(jù)的用戶都能夠有效實現(xiàn)這一目標(biāo)。
過去24小時內(nèi)，若要討論什么最受關(guān)注，每個人可能有不同看法。但我昨晚看到一則關(guān)于敦煌網(wǎng)的新聞特別引人深思。近期外貿(mào)環(huán)境的變化對許多B2B平臺產(chǎn)生了巨大影響。
值得注意的是，越來越多用戶選擇將業(yè)務(wù)遷移到云端，主要因為云平臺能夠支持?jǐn)?shù)據(jù)的快速擴(kuò)展。
在當(dāng)前”灰犀牛”事件頻發(fā)的時代，敦煌網(wǎng)APP的下載量據(jù)報道在蘋果應(yīng)用商店從百名之外飆升至第二位，這一現(xiàn)象反映出一個關(guān)鍵問題：如何確保我們的系統(tǒng)能夠應(yīng)對突發(fā)的用量激增？
這種大規(guī)模擴(kuò)展的能力，顯然不是依靠企業(yè)自身的運維團(tuán)隊就能輕易實現(xiàn)的。
SageMaker：亞馬遜云科技應(yīng)對大規(guī)模擴(kuò)展之道
作為亞馬遜云科技的一員，我們的核心優(yōu)勢在于幫助客戶充分利用其高質(zhì)量數(shù)據(jù)，即使在需要自動擴(kuò)展到極限的情況下，也能保證卓越的可用性和可靠性。
我們?yōu)橛脩籼峁┽槍Σ煌?fù)載量身定制的最佳業(yè)務(wù)解決方案和工具支持。
隨著業(yè)務(wù)日益復(fù)雜化，單一引擎已無法解決所有問題，用戶在不同引擎間切換往往會帶來碎片化的體驗。
值得一提的是，亞馬遜云科技不僅服務(wù)于個人開發(fā)者和未來的獨角獸企業(yè)，還服務(wù)于眾多大型企業(yè)客戶。
這些企業(yè)客戶通常有多個部門需要協(xié)作，因此如何在這種協(xié)作環(huán)境中確保有效的數(shù)據(jù)治理，仍然是一個亟待解決的重要問題。
舉例來說，我們目前為一家重要的搜索引擎公司提供服務(wù)，該公司在海外市場擁有龐大規(guī)模。其TPM（每分鐘處理的令牌數(shù)）已達(dá)千萬級別，即將突破億級門檻。
在如此大規(guī)模的計算環(huán)境中，如何確保從數(shù)據(jù)處理到算力調(diào)配的整個系統(tǒng)穩(wěn)健運行，是我們在生成式AI領(lǐng)域亟需解決的關(guān)鍵問題。
針對這些挑戰(zhàn)，亞馬遜云科技提供了清晰的解決方案：我們致力于實現(xiàn)企業(yè)內(nèi)不同部門、不同角色之間的高效協(xié)作。
最關(guān)鍵的是，我們確保所有項目參與者都能在同一個統(tǒng)一規(guī)范的數(shù)據(jù)和AI平臺上管理數(shù)據(jù)資產(chǎn)、代碼資產(chǎn)以及訪問權(quán)限控制。
這正是我們開發(fā)SageMaker Unified Studio這一綜合性平臺的核心原因。
在這個主平臺下，開發(fā)者可以輕松構(gòu)建智能問答系統(tǒng)等應(yīng)用。通過這種低代碼(CNC)的方式，開發(fā)者只需幾分鐘就能搭建出完整的端到端智能問答平臺。
借助這一基礎(chǔ)架構(gòu)，你可以迅速利用現(xiàn)有數(shù)據(jù)資源，快速構(gòu)建和開發(fā)智能化解決方案。
實現(xiàn)這一目標(biāo)的前提條件是廣泛獲取數(shù)據(jù)，同時確保合規(guī)性，尤其是對企業(yè)客戶而言，合規(guī)的數(shù)據(jù)管控和治理至關(guān)重要。
視頻地址：
https://mp.weixin.qq.com/s/vZjUKZUejVYTHiOmzo-TNQ
Amazon Q：使用自然語言發(fā)現(xiàn)數(shù)據(jù)
此外，我們需要配備足夠智能的工具支持。亞馬遜云科技推出的Amazon Q正是這樣一款A(yù)I助手產(chǎn)品，它提供最先進(jìn)的代碼開發(fā)體驗。
無論是將自然語言轉(zhuǎn)換為SQL查詢，還是進(jìn)行代碼審查，都能高效完成。特別值得一提的是，對于那些關(guān)注知識產(chǎn)權(quán)問題的開發(fā)者來說，Amazon Q還能幫助判斷生成代碼是否存在潛在的IP風(fēng)險——
這一功能尤為重要，因為在傳統(tǒng)模式下，開發(fā)者往往無法確定后臺生成的代碼究竟源自何處。
這邊跟大家介紹一個視頻，這個視頻是一個叫Media To Cloud的方案，是可以在亞馬遜上有一個prime video，通過自然語言搜索，我去希望找到一個什么樣的視頻，最后根據(jù)你的要求找到了一個making the cut這樣一個視頻。
視頻地址：
https://mp.weixin.qq.com/s/vZjUKZUejVYTHiOmzo-TNQ
實際上如果做一些源數(shù)據(jù)的工作，其實可以非常方便的可以用自然語言完成很多的searching的工作。
僅僅找到視頻還不夠，更重要的是如何將其變現(xiàn)，比如通過廣告植入。
借助Media To Cloud平臺，我們能夠精準(zhǔn)定位最佳廣告投放時機(jī)，確保廣告內(nèi)容與視頻的上下文、語境、情緒完美契合。
這展示了生成式AI如何深度融入實際業(yè)務(wù)場景。正如剛才討論的金融行業(yè)，以及阮總分享的制造業(yè)和醫(yī)療行業(yè)案例，這里我展示的是我們在新媒體和泛客戶領(lǐng)域的實際應(yīng)用案例。
在推動數(shù)據(jù)整合與跨部門協(xié)同的同時，數(shù)據(jù)普惠仍是當(dāng)前面臨的核心挑戰(zhàn)。我們需要在保障數(shù)據(jù)資產(chǎn)安全的前提下，盡可能降低風(fēng)險，賦能不同角色和部門。
這一目標(biāo)的實現(xiàn)，關(guān)鍵在于通過統(tǒng)一平臺協(xié)調(diào)各方，統(tǒng)籌數(shù)據(jù)與AI的治理。與傳統(tǒng)依賴人工管理的方式不同，如今可以借助AI技術(shù)實現(xiàn)更高效的治理。
傳統(tǒng)企業(yè)與新興互聯(lián)網(wǎng)用戶在技術(shù)棧上的差異
在治理之外，企業(yè)還面臨一個現(xiàn)實挑戰(zhàn)：傳統(tǒng)企業(yè)與新興互聯(lián)網(wǎng)用戶在技術(shù)棧上的差異。
亞馬遜云科技觀察到，擁有二三十年歷史的傳統(tǒng)企業(yè)客戶，往往基于Oracle或Teradata等老一代數(shù)據(jù)庫，對SQL技術(shù)棧更為熟悉；而原生云上的互聯(lián)網(wǎng)用戶則更適應(yīng)大數(shù)據(jù)生態(tài)。
當(dāng)這些企業(yè)上云時，需要將兩種技術(shù)路線融合——既保留數(shù)據(jù)倉庫的事務(wù)處理能力，又兼顧大數(shù)據(jù)的彈性擴(kuò)展需求。
這正是近年來“湖倉一體”概念興起的原因：傳統(tǒng)企業(yè)加速上云并擁抱大數(shù)據(jù)，而互聯(lián)網(wǎng)企業(yè)也逐漸向規(guī)范化發(fā)展，推動了兩者的技術(shù)融合。
在數(shù)據(jù)賦能的實際落地過程中，我們觀察到前端存在大量隱性工作。以亞馬遜云科技為例，數(shù)據(jù)可能分散存儲在S3數(shù)據(jù)湖、數(shù)據(jù)倉庫、傳統(tǒng)數(shù)據(jù)庫或本地環(huán)境中。如何將這些異構(gòu)數(shù)據(jù)源高效整合到消費端，一直是行業(yè)面臨的挑戰(zhàn)。
傳統(tǒng)解決方案依賴于ETL流程，但開發(fā)者們都知道，隨著業(yè)務(wù)需求的持續(xù)迭代，ETL管道的開發(fā)和維護(hù)會變得異常復(fù)雜。這不僅涉及初始開發(fā)成本，更面臨著持續(xù)的運維挑戰(zhàn)。
亞馬遜云科技在過去幾年致力于，大家在更多關(guān)注生成式AI應(yīng)用的開發(fā)和構(gòu)建的時候，盡可能去減少在后端非常復(fù)雜。
我記得劉博士說我們做RD-Agent也是要解決臟活累活的問題，我們也同樣在數(shù)據(jù)的處理上，數(shù)據(jù)的治理上要解決臟活累活的問題。
這也是亞馬遜云科技在做Zero-ETL，如果大家聽過這個詞，我們會把前線不斷源的數(shù)據(jù)能夠通過Zero-ETL的手段自動化地去匯聚到數(shù)倉，匯聚到湖倉，后面再到數(shù)據(jù)消費或者AI的應(yīng)用構(gòu)建上。
我們在整個這套管理上，上面會通過一個統(tǒng)一的數(shù)據(jù)和AI的平臺，有一個完備的數(shù)據(jù)治理，下面再通過統(tǒng)一的湖倉大家存儲在不同位置上的數(shù)據(jù)統(tǒng)一納管和構(gòu)建，而且具備相當(dāng)能力的數(shù)據(jù)質(zhì)量，像數(shù)據(jù)治理層的管理能力。
通過這種方式能夠幫助我們的用戶切實有效地構(gòu)建他們的生成式AI的應(yīng)用。
以豐田北美為例，這家業(yè)務(wù)覆蓋研發(fā)、生產(chǎn)、供應(yīng)鏈、銷售和服務(wù)的跨國企業(yè)，在供應(yīng)鏈管理中長期面臨數(shù)據(jù)資產(chǎn)跨部門流轉(zhuǎn)、治理和賦能的挑戰(zhàn)。
我們的解決方案有效解決了其核心痛點：將多源異構(gòu)數(shù)據(jù)高效轉(zhuǎn)化為可供分析和高價值A(chǔ)I應(yīng)用構(gòu)建的高質(zhì)量數(shù)據(jù)資產(chǎn)。
今天的分享希望能幫助大家建立關(guān)鍵認(rèn)知：在構(gòu)建生成式AI應(yīng)用時，必須提前規(guī)劃可擴(kuò)展的架構(gòu)。無論您未來是初創(chuàng)公司的技術(shù)負(fù)責(zé)人還是決策者，都需要思考：
當(dāng)DAU從1萬增長到千萬級，當(dāng)每日Token處理量從幾千飆升到上億時，現(xiàn)有架構(gòu)能否持續(xù)支撐？
實際上我相信什么事情如果想得更早，不管是我的Infrastructure，還是Data，都會是蠻重要的一點。
最后分享一下亞馬遜云科技自己的產(chǎn)品大會，每年的re:Invent，其實我自己很深的感受，我們在過去幾年定義我們的云服務(wù)，很多時候我們會聊計算、存儲、網(wǎng)絡(luò)和數(shù)據(jù)庫，這是我們在云服務(wù)上最重要的四個基線。
當(dāng)前構(gòu)建生成式AI應(yīng)用的關(guān)鍵在于建立具備自動擴(kuò)展能力的底層架構(gòu)。當(dāng)存儲、計算、數(shù)據(jù)基礎(chǔ)設(shè)施和AI平臺都具備彈性伸縮能力時，才能真正支撐業(yè)務(wù)從初期驗證到規(guī)?；鲩L的全生命周期需求，實現(xiàn)您的戰(zhàn)略目標(biāo)。
謝謝大家！
熱門跟貼