3 月 27 日，阿里云消息隊列 ApsaraMQ 與全球消息流領(lǐng)域領(lǐng)導(dǎo)者 Confluent 聯(lián)合舉辦“云原生 Kafka 線上沙龍”，在阿里云與 CSDN 相關(guān)平臺同步直播（查看回放：https://live.csdn.net/room/programmer_editor/C0mn93Ug），重磅發(fā)布云原生 Kafka 10x 降本與 10x 無損彈性規(guī)格，深度解析 Confluent 亞太獨家合作版方案與實踐。旨在助力企業(yè)深入了解和高效使用經(jīng)濟(jì)、穩(wěn)定、彈性的云原生 Kafka 產(chǎn)品方案，在數(shù)字化與智能化轉(zhuǎn)型中實現(xiàn)業(yè)務(wù)的穩(wěn)定增長與創(chuàng)新突破。
云消息隊列 Kafka 版是基于 Apache Kafka 構(gòu)建的高吞吐、高可擴(kuò)展的分布式消息隊列服務(wù)，廣泛應(yīng)用于日志收集、監(jiān)控數(shù)據(jù)聚合、流式數(shù)據(jù)處理及在離線分析等場景，是 AI 與大數(shù)據(jù)時代企業(yè)數(shù)據(jù)處理的核心組件。其 Serverless 系列圍繞“經(jīng)濟(jì)、穩(wěn)定、彈性”三大核心方向，基于阿里云基礎(chǔ)設(shè)施深度重構(gòu)Apache Kafka，通過存算分離架構(gòu)等創(chuàng)新升級，構(gòu)建端到端競爭力，實現(xiàn)彈性降本、穩(wěn)定可靠和高吞吐低延時等顯著優(yōu)勢。同時，阿里云作為 Confluent 在中國大陸地區(qū)唯一的合作商，推出云消息隊列 Confluent 版，為企業(yè)提供集成消息流式處理與大數(shù)據(jù)系統(tǒng)的一站式解決方案。
Kafka Serverless 新規(guī)格：10 倍降本、10 倍無損彈性
1、精準(zhǔn)選型，技術(shù)降本
云消息隊列 Kafka 版 Serverless 系列基礎(chǔ)版與專業(yè)版，與現(xiàn)有標(biāo)準(zhǔn)版共同構(gòu)建分層規(guī)格體系，精準(zhǔn)適配企業(yè)多樣化業(yè)務(wù)需求：
- 基礎(chǔ)版[new]SLA 99.5%，采用更大比例的低成本資源（包括 HDD、OSS、Spot 實例等），適合測試或流量穩(wěn)定的業(yè)務(wù)場景。
- 標(biāo)準(zhǔn)版：SLA 99.95%，2 倍無損彈性，兼顧性能與穩(wěn)定性，推薦用于生產(chǎn)環(huán)境。
- 專業(yè)版[new]SLA 99.99%，3AZ 環(huán)境容災(zāi)，RTO=數(shù)秒，RPO=0，10 倍無損彈性，是企業(yè)級場景的推薦版本。
以搭建一個吞吐量 1200MB/s，讀寫比 1:1，SSD 云盤三副本的 Kafka集群為例，云消息隊列 Kafka 版 Serverless 系列相比自建顯著降低成本：基礎(chǔ)版約降低90%，標(biāo)準(zhǔn)版約降低75%，專業(yè)版約降低60%。
2、架構(gòu)升級，超越開源
云消息隊列 Kafka 版 Serverless 系列通過架構(gòu)升級實現(xiàn)以下核心特性，較開源 Apache Kafka 具備顯著優(yōu)勢。
- 強(qiáng)兼容性：100% 協(xié)議兼容，廣泛適配開源 Apache Kafka 生態(tài)工具與組件。
- 高吞吐：基于 盤古 DFS 跨數(shù)據(jù)中心容災(zāi)和單存儲節(jié)點 200 Gbps IOPS，讀寫吞吐橫向擴(kuò)展，數(shù)據(jù)可靠性達(dá) 12個9，可用性高達(dá) 5個9。
- 低延時：存儲層通過用戶態(tài)協(xié)議棧、閃存介質(zhì)和高性能 RDMA 網(wǎng)絡(luò)，實現(xiàn)百微秒級平均延遲，毫秒級長尾延遲。計算層，針對平均延遲，通過無復(fù)制流量充分降低網(wǎng)絡(luò)吞吐以避免擁塞；針對長尾延遲，采用新一代分代無暫停 GC 和基于 eRDMA 的共享內(nèi)存，實現(xiàn)高性能內(nèi)核網(wǎng)絡(luò)協(xié)議棧，實現(xiàn)最高約 30% 時延減少和 5% CPU 資源節(jié)省。
- 高可用：采用輕量且安全的 HA 機(jī)制代替開源傳統(tǒng)的 ISR 復(fù)制，支持跨 K8s 集群、跨可用區(qū)、跨 Region 的容災(zāi)能力，確保在 K8s 集群級和 AZ 級故障時，仍具備極高可用保障。
- 秒級彈性：通過存算分離架構(gòu)實現(xiàn)計算節(jié)點無狀態(tài)，結(jié)合輕量級 HA 機(jī)制保障秒級故障恢復(fù)，實現(xiàn)資源的秒級彈性。
- 低成本：采用按量付費(fèi)的計費(fèi)模型，結(jié)合資源彈性與存儲優(yōu)化技術(shù)，顯著降低使用成本。
3、規(guī)?；炞C，多行業(yè)實踐
云消息隊列 Kafka 版 Serverless 系列經(jīng)互聯(lián)網(wǎng)、金融、汽車、制造等多行業(yè)實踐驗證，充分彰顯其應(yīng)用價值。
- 曹操出行借助 ApsaraMQ for Kafka Serverless 提升效率，成本節(jié)省超 20%
隨著業(yè)務(wù)規(guī)模不斷擴(kuò)大，曹操出行面臨兩大核心挑戰(zhàn)：業(yè)務(wù)流量顯著波動，突增流量對技術(shù)架構(gòu)造成壓力；數(shù)據(jù)來源廣泛且需要被采集、緩存及分發(fā)至不同數(shù)據(jù)系統(tǒng)處理。借助云消息隊列 Kafka 版 Serverless 系列秒級彈性擴(kuò)展和按量付費(fèi)等優(yōu)勢，實現(xiàn)技術(shù)架構(gòu)敏捷響應(yīng)，保障服務(wù)穩(wěn)定性，實現(xiàn)資源利用率優(yōu)化，節(jié)省成本超過 20%。
- 道旅科技借助云消息隊列 Kafka 版加速旅游大數(shù)據(jù)創(chuàng)新發(fā)展
道旅科技采用云消息隊列 Kafka 版 Serverless 系列作為實時流處理核心組件，滿足實時數(shù)據(jù)收集、傳輸及高并發(fā)消息處理需求。依托持久化與副本機(jī)制，確保數(shù)據(jù)可靠性及業(yè)務(wù)連續(xù)性，高負(fù)載場景下仍可穩(wěn)定傳輸消息，避免數(shù)據(jù)丟失，維護(hù)數(shù)據(jù)完整；基于存算分離架構(gòu)和動態(tài)資源調(diào)整策略，實現(xiàn)業(yè)務(wù)負(fù)載自動彈性伸縮，按量付費(fèi)模式無需預(yù)估和配置實例規(guī)格，顯著降低了運(yùn)維復(fù)雜度和使用成本。
ApsaraMQ for Confluent：企業(yè)級核心數(shù)據(jù)流處理平臺
1、強(qiáng)強(qiáng)聯(lián)合的產(chǎn)品方案
2021 年，阿里云與全球消息流領(lǐng)域領(lǐng)導(dǎo)者 Confluent 公司建立合作關(guān)系，在云市場聯(lián)合發(fā)布數(shù)據(jù)流服務(wù)。
2023 年，Confluent 升級為阿里云戰(zhàn)略合作伙伴，阿里云成為 Confluent 中國大陸地區(qū)唯一合作云廠商，聯(lián)合聚焦亞太市場，共同構(gòu)建更全面的 Kafka 消息流解決方案。
2024 年，阿里云與 Confluent 攜手發(fā)布云消息隊列 Confluent 版（ApsaraMQ for Confluent），為企業(yè)提供集成消息流式處理與大數(shù)據(jù)系統(tǒng)的一站式解決方案及專業(yè)化服務(wù)。
Confluent 服務(wù)于全球 5000+ 客戶，覆蓋各行業(yè)頭部企業(yè)。其核心始創(chuàng)團(tuán)隊為開源 Apche Kafka 的創(chuàng)造者，為項目貢獻(xiàn)了 70% 到 80% 代碼，并擁有超百萬小時 Kafka 技術(shù)經(jīng)驗。
云消息隊列 Confluent 版（ApsaraMQ for Confluent）是阿里云基于 Confluent Platform 提供的全托管 SaaS 服務(wù)，開箱即用，靈活彈性，具備 SLA 保障，支持無縫遷移，大幅降低遷移成本和技術(shù)風(fēng)險，由阿里云與 Confluent 共同提供專業(yè)咨詢和技術(shù)支持。
產(chǎn)品核心能力涵蓋 Self-Balancing 等企業(yè)級特性，120+ 全托管 Connector 簡化數(shù)據(jù)流入流出，支持輕量級 SQL 實現(xiàn)實時流處理，具備行業(yè)領(lǐng)先的數(shù)據(jù)治理及版本兼容。其技術(shù)架構(gòu)深度融合開源生態(tài)與云原生優(yōu)勢，為企業(yè)構(gòu)建實時數(shù)據(jù)流基礎(chǔ)設(shè)施，提供標(biāo)準(zhǔn)化、一站式的解決方案。
2、全球領(lǐng)先的技術(shù)優(yōu)勢
- 穩(wěn)定性和性能：ApsaraMQ for Confluent 提供完全自動化的再平衡，避免人為錯誤的風(fēng)險；支持即時彈性伸縮，輕松應(yīng)對業(yè)務(wù)負(fù)載波動；通過分層存儲架構(gòu)實現(xiàn)海量數(shù)據(jù)的彈性管理，存儲資源無限伸縮，無需新增代理節(jié)點，僅需配置熱存儲層容量，系統(tǒng)即自動完成數(shù)據(jù)分層存儲與調(diào)度，無需修改代碼或額外開發(fā)，顯著降低存儲擴(kuò)展的復(fù)雜度和存儲成本，同時確保業(yè)務(wù)連續(xù)性。
- 容災(zāi)：ApsaraMQ for Confluent 提供多種部署模式，包括單地域集群（默認(rèn)模式，跨可用區(qū)災(zāi)難恢復(fù)），雙地域雙集群（可選主從或雙主，Cluster Linking 跨地域數(shù)據(jù)同步）和跨地域擴(kuò)展集群（以單一邏輯集群簡化多地域部署管理，無數(shù)據(jù)丟失的跨地域容災(zāi)，RPO 等于零，故障時可自動恢復(fù)）。此外，通過自動觀察者升級 AOP 支持自動恢復(fù)和 Min ISR，避免對單應(yīng)用開發(fā)復(fù)雜的故障轉(zhuǎn)移邏輯，減少在災(zāi)難恢復(fù)規(guī)劃上花費(fèi)的時間。
- 集成和流處理：ApsaraMQ for Confluent 提供超過 120 個預(yù)構(gòu)建 Connector，通過簡單配置即可實現(xiàn)零開發(fā)運(yùn)維的數(shù)據(jù)集成，覆蓋各類數(shù)據(jù)源，企業(yè)可快速將業(yè)務(wù)所需數(shù)據(jù)接入 Kafka 平臺，通過自動化、智能化的流程把數(shù)據(jù)分發(fā)到目標(biāo)系統(tǒng)完成轉(zhuǎn)換與集成，實現(xiàn)業(yè)務(wù)需求的敏捷響應(yīng)。既支持 Java，Python，NodeJS，.Net等主流語言的客戶端，也支持僅用少量 SQL 語句即可構(gòu)建實時應(yīng)用，顯著提升開發(fā)效率。此外，其 REST 代理可將應(yīng)用程序與常用數(shù)據(jù)源快速、無縫地連接到 Kafka 集群，提高整體架構(gòu)的靈活性與擴(kuò)展性。
- 安全、合規(guī)和管制：ApsaraMQ for Confluent 在認(rèn)證、授權(quán)、加密及審計方面，提供全面的安全保障。認(rèn)證方面，支持 OAuth 單點登錄實現(xiàn)統(tǒng)一身份驗證；授權(quán)方面，支持基于角色（含預(yù)定義與自定義）對關(guān)鍵資源（Kafka 集群、Connector、模式注冊表、Rest 代理和控制中心等）的統(tǒng)一授權(quán)管理和細(xì)粒度訪問控制；審計方面，覆蓋業(yè)務(wù)操作與管理行為；數(shù)據(jù)管制方面，提供模式注冊表和數(shù)據(jù)合同，若數(shù)據(jù)不符合預(yù)注冊模式則無法寫入 Kafka Topic，還提供模式變更凈化政策，若不符合凈化政策會拒絕模式更改。數(shù)據(jù)合同還支持無代碼驗證多源數(shù)據(jù)，提高數(shù)據(jù)之間的兼容性。
3、全球化與智能化場景最佳實踐
- 跨國業(yè)務(wù)場景 —— BMW 案例
寶馬集團(tuán)成立于 1916 年，在 15 個國家/地區(qū)經(jīng)營著 31 家工廠，全球銷售網(wǎng)絡(luò)覆蓋 140 個國家/地區(qū)。其智能制造與業(yè)務(wù)運(yùn)營依賴海量實時 IoT 數(shù)據(jù)（如機(jī)器溫度、設(shè)備性能、裝配線零件位置），需要一個高度可靠且可擴(kuò)展的實時數(shù)據(jù)流中樞系統(tǒng)。
寶馬集團(tuán)早期采用開源 Apache Kafka 取代舊的批處理模型，實現(xiàn)多應(yīng)用連接與集群統(tǒng)一，卻因架構(gòu)復(fù)雜性導(dǎo)致運(yùn)營負(fù)擔(dān)加劇、成本攀升，且系統(tǒng)可靠性無法滿足全球業(yè)務(wù)全天候運(yùn)行的需求。
通過使用 Confluent，寶馬集團(tuán)將 Apache Kafka 的部署達(dá)到企業(yè)級標(biāo)準(zhǔn)，使整個組織能夠高效利用大規(guī)模實時數(shù)據(jù)，并構(gòu)建了一個支持創(chuàng)新用例的、面向未來的數(shù)據(jù)流架構(gòu)，為其全球化的智能制造與業(yè)務(wù)決策提供了關(guān)鍵支撐。
- GenAI 場景 —— GEP 案例
GEP 作為全球領(lǐng)先的供應(yīng)鏈咨詢公司，其原有 Kafka 架構(gòu)因批處理周期長達(dá)三個月導(dǎo)致決策滯后，且 20 人團(tuán)隊難以支撐單集群每月多達(dá) 50 萬條事件的規(guī)模。
GEP 通過采用 Confluent 實現(xiàn)架構(gòu)升級：利用預(yù)構(gòu)建連接器實現(xiàn)系統(tǒng)間（含SQL數(shù)據(jù)庫、Elasticsearch等）500+ 微服務(wù)無縫連接和數(shù)據(jù)流轉(zhuǎn)；免于管理基礎(chǔ)設(shè)施，使開發(fā)團(tuán)隊得以專注 AI 產(chǎn)品創(chuàng)新，通過實時數(shù)據(jù)管道向集成 GPT 模型的 AI 堆棧持續(xù)傳輸背景化數(shù)據(jù)，成功開發(fā)可為用戶提供實時情境化洞察的生成式 AI 聊天機(jī)器人；系統(tǒng)處理能力從單集群每月處理 50 萬條事件，擴(kuò)展至跨多個集群每月處理超過十億條事件，并且實現(xiàn)零數(shù)據(jù)丟失；預(yù)測性 AI 性能提升 1400%，使設(shè)備故障預(yù)測窗口從原來的不足30分鐘，到能夠提前 30 分鐘預(yù)測故障。助力 GEP 通過實時數(shù)據(jù)流加速智能決策、優(yōu)化用戶體驗并釋放業(yè)務(wù)創(chuàng)新潛力。
“過去幾年，越來越多涉及到金融、保險、零售、游戲等領(lǐng)域的客戶，需要 Confluent 能在云上提供服務(wù)，這其中很多企業(yè)有國際業(yè)務(wù)。通過與阿里云的緊密合作，能夠加速這些企業(yè)的數(shù)字化進(jìn)程?！盋onfluent 聯(lián)合創(chuàng)始人饒軍曾在云消息隊列 Confluent 版的發(fā)布會上表示。
阿里云與 Confluent 將繼續(xù)深化技術(shù)協(xié)同與生態(tài)共建，攜手為企業(yè)提供集成消息流式處理與大數(shù)據(jù)系統(tǒng)的一站式解決方案，并持續(xù)探索與拓展數(shù)據(jù)湖和 AI 應(yīng)用構(gòu)建等場景，加速企業(yè)數(shù)字化與智能化進(jìn)程。
熱門跟貼