Akamai 發(fā)布 Akamai Cloud Inference，進一步強化其在 AI 領(lǐng)域的優(yōu)勢

與傳統(tǒng)的超大規(guī)模基礎(chǔ)架構(gòu)相比，新服務(wù)能夠幫助企業(yè)實現(xiàn)吞吐量提升 3 倍、延遲降低 60%，并且成本降低 86%

2025 年 4 月 15 日 - 負責(zé)支持和保護網(wǎng)絡(luò)生活的云服務(wù)提供商阿卡邁技術(shù)公司（Akamai Technologies, Inc.，以下簡稱：Akamai）今日發(fā)布 Akamai Cloud Inference。這款解決方案旨在幫助希望落地實施預(yù)測和大型語言模型 (LLM) 的企業(yè)，掀起更快、更高效的創(chuàng)新浪潮。為應(yīng)對集中式云模型日益嚴重的局限性，Akamai Cloud Inference 選擇在全球廣泛分布的 Akamai Cloud 平臺上運行。

Akamai 云技術(shù)部門首席運營官兼總經(jīng)理 Adam Karon 表示：“讓 AI 數(shù)據(jù)更靠近用戶和設(shè)備并非易事，而這正是傳統(tǒng)云服務(wù)所面臨的難題。作為核心計算任務(wù)，大型語言模型的訓(xùn)練仍將依賴于大型超大規(guī)模數(shù)據(jù)中心，然而，將其付諸實踐的推理環(huán)節(jié)卻在網(wǎng)絡(luò)邊緣完成。為此，Akamai 在過去二十五年精心建了我們的平臺，它不僅對 AI 的未來發(fā)展至關(guān)重要，也讓我們擁有了與眾不同的優(yōu)勢。”

基于 Akamai Cloud 的 AI 推理

Akamai 的全新解決方案為平臺工程師和開發(fā)人員提供了切實有效的工具，讓他們能夠在更靠近最終用戶的位置構(gòu)建和運行 AI 應(yīng)用程序及數(shù)據(jù)密集型工作負載，使得吞吐量提升了 3 倍，同時將延遲降低多達 2.5 倍。與傳統(tǒng)的超大規(guī)模基礎(chǔ)架構(gòu)相比，使用 Akamai 的解決方案讓企業(yè)可以將 AI 推理和 AI 智能體工作負載的成本降低多達 86%。Akamai Cloud Inference 具備以下能力：

• 計算：Akamai Cloud 提供了一個多功能計算庫，不僅有用于微調(diào)推理的傳統(tǒng) CPU 和功能強大的 GPU 加速計算方案，還有量身定制的 ASIC VPU，可提供出色的算力來應(yīng)對各種 AI 推理挑戰(zhàn)。Akamai 與 NVIDIA 的 NVIDIA AI Enterprise 生態(tài)系統(tǒng)進行了整合，利用 Triton、TAO Toolkit、TensorRT 和 NVFlare 來優(yōu)化 NVIDIA GPU 上 AI 推理的性能。

  
  

• 數(shù)據(jù)管理：Akamai 讓客戶能夠利用專為現(xiàn)代 AI 工作負載構(gòu)建的先進數(shù)據(jù)結(jié)構(gòu)來充分發(fā)揮 AI 推理的潛力。Akamai 與 VAST Data 建立了合作關(guān)系，提供簡化的實時數(shù)據(jù)訪問以加速推理相關(guān)任務(wù)，這對于提供相關(guān)結(jié)果和迅捷體驗至關(guān)重要。為了完善這一體系，Akamai 還提供了高度可擴展的對象存儲，以管理對 AI 應(yīng)用程序至關(guān)重要的大量、多樣化數(shù)據(jù)集，并且與 Aiven 和 Milvus 等優(yōu)秀的向量數(shù)據(jù)庫供應(yīng)商進行了整合，以實現(xiàn)檢索增強生成 (RAG)。借助該數(shù)據(jù)管理堆棧，Akamai 能夠安全地存儲微調(diào)后的模型數(shù)據(jù)和訓(xùn)練構(gòu)件，從而在全球范圍內(nèi)實現(xiàn)低延遲的 AI 推理。

  
  

• 容器化：將 AI 工作負載容器化可實現(xiàn)基于需求的自動擴展、提升應(yīng)用程序彈性以及混合/多云可移植性，同時可以優(yōu)化性能和成本。借助 Kubernetes，Akamai 能夠以 PB 級性能提供更快、費用更低且更安全的 AI 推理。在 Linode Kubernetes Engine (LKE)-Enterprise（專為大規(guī)模企業(yè)工作負載設(shè)計的 Akamai Cloud Kubernetes 編排平臺的全新企業(yè)版）和最近發(fā)布的 Akamai App 平臺的支持下，Akamai Cloud Inference 能夠快速部署由 KServe、Kubeflow 和 SpinKube 等開源 Kubernetes 項目組成的 AI 就緒型平臺，這些項目經(jīng)過無縫集成，可以簡化 AI 推理模型的部署。

  
  

• 邊緣計算：為了讓開發(fā)人員更輕松地構(gòu)建依托 AI 技術(shù)的應(yīng)用程序，Akamai AI Inference 提供了 WebAssembly (Wasm) 功能。通過與 Fermyon 等 Wasm 提供商合作，Akamai 讓開發(fā)人員能夠直接從無服務(wù)器應(yīng)用程序執(zhí)行 LLM 推理，從而使客戶能夠在邊緣執(zhí)行輕量級代碼來支持對延遲敏感的應(yīng)用程序。

這些工具共同為低延遲、依托 AI 技術(shù)的應(yīng)用程序打造了一個功能強大的平臺，讓企業(yè)能夠提供其用戶所需的體驗。Akamai Cloud Inference 在 Akamai 的大規(guī)模分布式平臺上運行，能夠為數(shù)據(jù)密集型工作負載持續(xù)提供每秒超過 1PB 的吞吐量。Akamai Cloud 由全球 130 多個國家/地區(qū)超過 1,200 個網(wǎng)絡(luò)中的 4,200 多個節(jié)點組成，可以提供從云到邊緣的計算資源，同時能夠提高應(yīng)用程序性能和可擴展性。

從訓(xùn)練到推理的轉(zhuǎn)變

隨著 AI 應(yīng)用的日益成熟，企業(yè)認識到圍繞 LLM 的炒作分散了注意力，使人們不再關(guān)注更適于解決特定業(yè)務(wù)問題的實用 AI 解決方案。LLM 擅長處理總結(jié)、翻譯和客戶服務(wù)等通用型任務(wù)。這些都是非常大的模型，訓(xùn)練成本高昂且費時。很多企業(yè)發(fā)現(xiàn)自己受到架構(gòu)和成本要求的限制，這些限制包括數(shù)據(jù)中心和計算能力的要求、結(jié)構(gòu)良好、安全且可擴展的數(shù)據(jù)系統(tǒng)，以及位置和安全要求給決策延遲帶來的挑戰(zhàn)。輕量級 AI 模型旨在解決特定的業(yè)務(wù)問題，它們可以針對各個行業(yè)進行優(yōu)化，也可以使用專有數(shù)據(jù)來創(chuàng)建可衡量的成果，并為當今的企業(yè)帶來更好的投資回報。

AI 推理需要分布更廣泛的云

Gartner 預(yù)測，到 2025 年大約百分之75的數(shù)據(jù)將在集中式數(shù)據(jù)中心或云區(qū)域之外的地方生成。這一轉(zhuǎn)變使人們更加需要利用更接近數(shù)據(jù)源頭進行數(shù)據(jù)生成的 AI 解決方案。這從根本上重塑了企業(yè)對基礎(chǔ)架構(gòu)的需求，因為企業(yè)不僅要構(gòu)建和訓(xùn)練 LLM，還要利用數(shù)據(jù)做出更快、更明智的決策，并投資于更個性化的體驗。企業(yè)認識到，他們可以利用 AI 來管理并改善其業(yè)務(wù)運營及流程，從而創(chuàng)造更多價值。分布式云和邊緣架構(gòu)正在成為運營智能應(yīng)用場景的首選，因為它們即使在遠程環(huán)境中也能為分布式資產(chǎn)提供實時、具備可操作性的見解。Akamai Cloud 的早期客戶示例包括車載語音輔助、依托 AI 技術(shù)的作物管理、消費品市場的圖像優(yōu)化、虛擬服裝可視化購物體驗、自動產(chǎn)品描述生成器和客戶反饋情感分析器。

Karon 解釋道：“訓(xùn)練大型語言模型就像是繪制一張地圖，你需要收集數(shù)據(jù)、分析地形并繪制路線。繪制過程緩慢并且需要大量資源，但繪制完成后，它的效果驚人。AI 推理就像是使用 GPS，可以即時應(yīng)用所學(xué)到的知識、實時進行重新計算并且適應(yīng)相關(guān)變化，讓你成功抵達目的地。推理是 AI 的下一個前沿領(lǐng)域。”