AI領域永遠都在革新。但隨著大模型對算力需求的高速增長,現階段生產的芯片很難滿足業界需求。
前陣子,英特爾發布了第五代英特爾至強可擴展處理器,這款產品不僅在性能指標上有很大提升,在AI性能上也非常強勁。甚至可以說,能夠勝任部分AI大模型的推理工作。
不過,口說無憑,唯有跑分才能證明真正的實力。近日,MLCommons公布了針對AI推理的MLPerf v4.0基準測試結果。
比第四代強1.42倍
第五代至強內置了英特爾?高級矩陣擴展(英特爾? AMX)的第五代英特爾?至強?可擴展處理器(以下簡稱“第五代至強”)在測試中表現優異,進一步彰顯了英特爾致力于通過豐富且具有競爭力的解決方案推動 “AI無處不在”的承諾。截至目前,英特爾仍是唯一一家提交MLPerf測試結果的CPU廠商。與第四代至強在MLPerf推理v3.1基準測試中的結果相比,第五代至強的測試結果平均提升1.42倍。
英特爾公司副總裁兼數據中心與人工智能事業部產品管理總經理Zane Ball表示:“我們將持續提升CPU和加速器等廣泛產品組合在行業基準測試中的AI性能。此次全新的MLCommons結果顯示,我們提供的AI解決方案能夠滿足客戶不斷變化、多樣化的AI需求。同時,至強處理器也為客戶提供了可快速實現AI部署,且極具性價比的選擇。”
英特爾產品迄今為止在多輪MLPerf基準測試中均所展示出領先的訓練及推理性能,該測試結果亦為客戶樹立了可用于評估產品AI性能的行業標準。
關于第五代至強的測試結果:
與第四代至強在MLPerf推理v3.1性能基準測試中的表現相比,經由硬件及軟件優化的第五代至強性能平均提升1.42倍。其中,針對具備連續批處理(continuous batching)等軟件優化的GPT-J模型,與v3.1的測試結果相比,第五代至強的性能提升約1.8倍;同樣,得益于MergedEmbeddingBag以及基于英特爾AMX的其他優化,DLRMv2的測試結果顯示出約1.8倍的性能提升和99.9的準確率。
第五代英特爾?至強?可擴展處理器
與此同時,英特爾非常自豪地與包括思科、戴爾、廣達、Supermicro和緯穎科技在內的廣大OEM伙伴們展開合作,助力其提交基于自身產品的MLPerf測試結果。英特爾不僅于2020年開始提交基于第四代至強的測試結果,同時至強可擴展處理器亦是參與MLPerf測試的產品中,眾多加速器的主機CPU。
此外,第五代至強可在英特爾?開發者云平臺上進行評估。該環境中,用戶可以進行小型及大規模AI訓練(譬如大語言模型或生成式AI)、運行大規模的推理工作負載,以及管理AI計算資源等。
跑大模型,也可以用CPU
面對大模型這一新風口,全球科技公司均將目光投向了AI芯片,特別是GPU。但GPU的產量與HBM,或者說2.5D封裝能力直接掛鉤。這讓本就供應吃緊的GPU再遇瓶頸,導致供需嚴重失衡。
與之相悖的是,眼下AI大模型“拼殺”的關鍵在于做大參數量,用“力大磚飛”實現更為強大的智能涌現。可以說,即便是面對AI芯片漲價,多少公司也會選擇購買,畢竟錯過這個風口,或許就會失去競爭力。
對于大型數據中心來說,每顆芯片都在牟足力氣,全功率地運行著,如果能擁有更多AI性能,那么,還需要額外購置一批GPU嗎?
事實上,我們都陷入了一種思維定勢,其實跑AI并非只有GPU一個選擇,CPU也已經具備很強大了AI性能。
亞信科技就在自家OCR-AIRPA方案中采用了CPU作為硬件平臺,實現從FP32到INT8/BF16的量化,從而在可接受的精度損失下,增加吞吐量并加速推理。將人工成本降至原來的五分之一到九分之一,效率還提升5~10倍。
被改變的,不只是互聯網和通信領域,AI制藥被看作是終結藥物研發“雙十定律”的希望,在這個領域中AlphaFold2 這類大型模型被視為最重要的算法。去年開始,至強可擴展平臺就開始使AlphaFold2端到端的通量提升到了原來的23.11倍,而第四代可擴展處理器讓這個數值再次提升3.02倍。
可以說,將CPU用于AI推理正在不斷證實可行。而現在,第五代至強可擴展處理器能夠在無需添加獨立加速器的前提下,運行高達200億參數的模型推理,且延遲低于100毫秒。一款為AI加速而生,且表現更強的處理器誕生了。
CPU,怎么讓AI跑起來
很多人會奇怪,為什么第五代至強作為一個通用處理器,能夠運行AI負載?事實上,除了本身落在第五代至強的AI負載,其中內置的一系列的加速器是關鍵。
這種設計可以與時下MCU(單片機)的流行做法進行對比,通過內置DSP、NPU,分走一部分部分AI負載,讓AI任務跑得更高效,從而更省電,至強也是類似的原理。
這種設計在早期的至強可擴展處理器中就出現過,只不過,那時候大家沒有過多關注,也沒有那么AI任務需要跑。
具體看第五代至強,其內置的英特爾AVX-512及英特爾? AMX(英特爾?高級矩陣擴展)功能是關鍵,這兩個加速器在第四代至強中就已搭載,而在第五代至強中,AMX支持新的FP16指令,同時混合AI工作負載性能提高2~3倍。
加之第五代至強本身性能的提升,使其本身性能就能更從容應對AI負載:CPU核心數量增加到64個,單核性能更高,每個內核都具備AI加速功能;采用全新I/O技術(CXL、PCIe5),UPI速度提升。
根據行業人士分析,CPU做大模型推理,最大的難點不在計算能力,而在內存帶寬。第五代至強的內存帶寬從4800 MT/s提高至5600 MT/s,三級緩存容量提升至近3倍之多,同時插槽可擴展性,支持從一個插槽擴展至八個插槽,這些都為第五代至強支持大模型提供了堅實的后盾。
從數據上來看,與上一代產品相比,第五代至強相同熱設計功耗下平均性能提升21%;與第三代產品比,平均性能提升87%。相較于前一代產品,第五代至強不僅迭代了性能,還帶來了42%的AI推理性能提升。
此外,在一系列加速器中,英特爾?可信域拓展(英特爾? TDX)提供虛擬機(VM)層面的隔離和保密性,從而增強隱私性和對數據的管理。
不止如此,第五代至強還是迄今為止推出的最“綠色”的至強處理器,它能夠幫助用戶管理能耗,降低碳足跡。可以說,軟件只是一方面,歸功于第五代至強內的多種創新技術和功能,搭配干活,效率更高,最終體現出來的就是更低的功耗。
CPU未來發展趨勢,一定是拼功耗,這需要全方位發力。首先是工藝,隨著工藝逐漸提升到Intel 3、Intel 20A、Intel 18A,功耗會越來越低,每一代都會有兩位數的功耗降低。封裝也一樣,使用先進的封裝技術把不同制程的芯片通過Chiplet架構放在一起,進行一個運算,并不需要把所有地方都用起來,而是只使用對應的區域,這樣功耗自然就降低了。還有,就是針對不同的工作負載做優化。
有時候調整應用程序的架構也可以最大限度地降低功耗。舉例來說,如果要訓練大模型,假設總共有20個大模型,每個模型的訓練周期為3個月,需要1000臺機器來訓練,每臺機器功率為1萬瓦。如果規定只需訓練其中的5個模型,而剩下的15個模型不需要訓練,這樣就能節省75%的電能。因此,有時候通過調整應用程序的架構,可以更有效地降低功耗。
“隨著算力的持續高速發展,如何實現數據中心的節能減碳,改變‘電老虎’的形象,對尋求采用可再生能源和更環保的技術方面有了更高的需求。”英特爾數據中心與人工智能集團副總裁兼中國區總經理陳葆立對AI大模型時代提出了這樣的擔憂,第五代至強就是節能減碳的關鍵。
與此同時,英特爾也有一系列的產品和技術創新,如通過更高效的冷卻技術、智能能源管理系統等推動新型和存量數據中心進行節能減排,并攜手中國合作伙伴推動應用落地。
上一篇:AMD潘曉明:攜手產業鏈合作伙伴邁入AI PC新時代!
下一篇:自研處理器始終和高通有差距:三星S25放棄全系采用Exynos
推薦閱讀最新更新時間:2025-06-18 20:10





