如果您希望可以時(shí)常見(jiàn)面，歡迎標(biāo)星收藏哦~
來(lái)源：內(nèi)容來(lái)自半導(dǎo)體行業(yè)觀察綜合，謝謝。
據(jù)theinformation報(bào)道，Nvidia 完成了對(duì) GPU 云初創(chuàng)公司 Lepton 的收購(gòu)。
資料顯示，Lepton AI成立于2023年，由 Meta Platforms Inc. 人工智能實(shí)驗(yàn)室前研究員賈揚(yáng)清和Junjie Bai 聯(lián)手創(chuàng)立。
兩人幫助開(kāi)發(fā)了多種行業(yè)標(biāo)準(zhǔn)的 AI 工具，包括 Facebook 母公司流行的模型開(kāi)發(fā)框架 PyTorch。據(jù)報(bào)道，Lepton AI 擁有約 20 名員工，其客戶包括多家風(fēng)險(xiǎn)投資支持的初創(chuàng)公司。
該公司的同名云平臺(tái)針對(duì) AI 工作負(fù)載進(jìn)行了優(yōu)化?？蛻艨梢允褂盟鼇?lái)訓(xùn)練 AI 模型和執(zhí)行推理，即在訓(xùn)練完成后在生產(chǎn)中運(yùn)行神經(jīng)網(wǎng)絡(luò)的任務(wù)。
Lepton AI 提供了一個(gè)可視化界面，用于在其云中設(shè)置訓(xùn)練集群。該公司提供多種 Nvidia 顯卡供您選擇。對(duì)于同時(shí)訓(xùn)練多個(gè)模型的團(tuán)隊(duì)，該平臺(tái)提供了一種工具，可用于集中管理分配給每個(gè)項(xiàng)目的硬件數(shù)量。
在訓(xùn)練過(guò)程中，AI 模型有時(shí)會(huì)遇到錯(cuò)誤，從而降低其輸出質(zhì)量。Lepton AI 平臺(tái)提供了檢測(cè)此類錯(cuò)誤的功能。它還能發(fā)現(xiàn)更細(xì)微的技術(shù)問(wèn)題，例如神經(jīng)網(wǎng)絡(luò)在訓(xùn)練期間可能使用的內(nèi)存超過(guò)應(yīng)有的內(nèi)存的情況。
模型開(kāi)發(fā)完成后，Laptop AI 客戶可以將其部署在公司云中經(jīng)過(guò)推理優(yōu)化的實(shí)例上。該平臺(tái)承諾提供每秒超過(guò) 600 個(gè)令牌的處理速度，同時(shí)將延遲保持在 10 毫秒以下。當(dāng)需求增加時(shí)，自動(dòng)擴(kuò)展功能會(huì)自動(dòng)向客戶的推理環(huán)境添加更多硬件資源。
Lepton AI 使用 vLLM 等開(kāi)源工具來(lái)加速推理。該技術(shù)將類似的 LLM 提示合并為單個(gè)請(qǐng)求，從而減少了模型必須執(zhí)行的處理量。開(kāi)發(fā)人員還使用 vLLM 來(lái)減少其模型的內(nèi)存占用。
目前尚不清楚 Nvidia 是尋求收購(gòu) Lepton AI 以獲得其機(jī)器學(xué)習(xí)人才，還是計(jì)劃繼續(xù)提供這家初創(chuàng)公司的云平臺(tái)。該平臺(tái)與幾家 Nvidia 主要客戶的產(chǎn)品競(jìng)爭(zhēng)。其中一家客戶是人工智能云運(yùn)營(yíng)商 CoreWeave Inc.，該公司計(jì)劃于今天晚些時(shí)候進(jìn)行首次公開(kāi)募股。
就在英偉達(dá)可能收購(gòu) Lepton AI 的報(bào)道發(fā)布幾天前，有消息稱該公司收購(gòu)了另一家風(fēng)險(xiǎn)投資支持的人工智能初創(chuàng)公司 Gretel Labs Inc.。據(jù)報(bào)道，這筆交易的價(jià)值超過(guò) 3.2 億美元。Gretel 提供用于創(chuàng)建合成數(shù)據(jù)的工具，這些數(shù)據(jù)是自動(dòng)生成的，可用于訓(xùn)練人工智能模型。
對(duì)于英偉達(dá)來(lái)說(shuō)，他們也提供云中云服務(wù)，這單收購(gòu)會(huì)讓他們大有裨益。Nvidia 的 DGX Cloud 于 2023 年推出，是在其他公司的云平臺(tái)上提供的服務(wù)。云提供商租用 Nvidia 的服務(wù)器并將其部署為云，Nvidia 可以向?qū)で蟠笮?GPU 超級(jí)計(jì)算機(jī)的企業(yè)營(yíng)銷和銷售這些云。
谷歌、微軟、甲骨文和 AWS 均采用該產(chǎn)品，其中 AWS 將于2024 年 12 月采用該解決方案。
雖然這看起來(lái)很復(fù)雜，但真正開(kāi)發(fā)和提供自己的云計(jì)算平臺(tái)將使 Nvidia 成為其一些最大客戶的直接競(jìng)爭(zhēng)對(duì)手——在 2024 年 11 月的 2025 年第三季度財(cái)報(bào)電話會(huì)議上，該公司表示，“云服務(wù)提供商約占我們數(shù)據(jù)中心銷售額的一半，收入同比增長(zhǎng)超過(guò) 2 倍。”
該公司還擁有新興的云和軟件業(yè)務(wù)，該業(yè)務(wù)直接向企業(yè)出租服務(wù)器并提供用于開(kāi)發(fā) AI 模型和應(yīng)用程序的軟件。在同一財(cái)報(bào)電話會(huì)議上，Nvidia 表示其軟件、服務(wù)和支持收入創(chuàng)造了 15 億美元的年收入。
該公司去年增加了對(duì)云服務(wù)的投資。Nvidia 在其 2024 年 5 月的收益報(bào)告中表示，它已承諾在未來(lái)幾年內(nèi)至少在云計(jì)算服務(wù)上投入 90 億美元，高于 1 月份承諾的 45 億美元。這個(gè)數(shù)字包括 DGX Cloud。
半導(dǎo)體精品公眾號(hào)推薦
專注半導(dǎo)體領(lǐng)域更多原創(chuàng)內(nèi)容
關(guān)注全球半導(dǎo)體產(chǎn)業(yè)動(dòng)向與趨勢(shì)
*免責(zé)聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個(gè)人觀點(diǎn)，半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達(dá)一種不同的觀點(diǎn)，不代表半導(dǎo)體行業(yè)觀察對(duì)該觀點(diǎn)贊同或支持，如果有任何異議，歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。
今天是《半導(dǎo)體行業(yè)觀察》為您分享的第4088期內(nèi)容，歡迎關(guān)注。
『半導(dǎo)體第一垂直媒體』
實(shí)時(shí) 專業(yè) 原創(chuàng) 深度
公眾號(hào)ID：icbank
喜歡我們的內(nèi)容就點(diǎn)“在看”分享給小伙伴哦
熱門跟貼