玉林实硕医疗科技有限公司

英偉達AI芯片勁敵來了!AMD推出MI300X,可運行多達800億參數模型

憑借發布的新品,AMD正式向英偉達的AI芯片王者地位發起挑戰。

美東時間6月13日周二,AMD舉行了新品發布會,其中最重磅的新品當屬性用于訓練大模型的ADM最先進GPU Instinct MI300。


(資料圖)

AMD CEO蘇姿豐介紹,生成式AI和大語言模型(LLM)需要電腦的算力和內存大幅提高。她預計,今年,數據中心AI 加速器的市場將達到300億美元左右,到2027 年將超過1500 億美元,復合年增長率超過 50%。

蘇姿豐演示介紹,AMD的Instinct MI300A號稱全球首款針對AI和高性能計算(HPC)的加速處理器(APU)加速器。在13個小芯片中遍布1460億個晶體管。

它采用CDNA 3 GPU架構和24個Zen 4 CPU內核,配置128GB的HBM3內存。相比前代MI250,MI300的性能提高八倍,效率提高五倍。AMD在發布會稍早介紹,新的Zen 4c內核比標準的Zen 4內核密度更高,比標準Zen 4的內核小35%,同時保持100%的軟件兼容性。

AMD推出一款GPU專用的MI300,即MI300X,該芯片是針對LLM的優化版,擁有192GB的HBM3內存、5.2TB/秒的帶寬和 896GB/秒的Infinity Fabric 帶寬。AMD將1530億個晶體管集成在共12個5納米的小芯片中。

AMD稱,MI300X提供的HBM密度最高是英偉達AI芯片H100的2.4倍,其HBM帶寬最高是H100的1.6倍。這意味著,AMD的芯片可以運行比英偉達芯片更大的模型。

蘇姿豐介紹,MI300X可以支持400億個參數的Hugging Face AI 模型運行,并演示了讓這個LLM寫一首關于舊金山的詩。這是全球首次在單個GPU上運行這么大的模型。單個MI300X可以運行一個參數多達800億的模型。

LLM需要的GPU更少,給開發者帶來的直接好處就是,可以節約成本。

AMD還發布了AMD Instinct 平臺,它擁有八個MI300X,采用行業標準OCP設計,提供總計1.5TB 的HBM3 內存。

蘇姿豐稱,適用于CPU和GPU的版本MI300A現在就已出樣,MI300X和八個GPU的Instinct 平臺將在今年第三季度出樣,第四季度正式推出。

亞馬遜、微軟、Meta已經或將要運用AMD新品

除了AI芯片,AMD此次發布會還介紹了第四代EPYC(霄龍)處理器,特別是在全球可用的云實例方面的進展。

AMD第四代EPYC(霄龍)在云工作負載的性能是英特爾競品處理器的1.8倍,在企業工作負載中的處理速度是英特爾競品的1.9倍。

AMD稱,第四代EPYC(霄龍)啟用新的Zen 4c內核,比英特爾Xeon 8490H的效率高1.9倍。由于絕大多數AI在CPU上運行,AMD在CPU AI領域具有絕對的領先優勢。

亞馬遜周二宣布,在用AWS Nitro和第四代EPYC 處理器打造新的實例。亞馬遜云的EC2 M7a實例現已提供預覽版,性能比M6a實例高50%。

AMD也將在內部工作中運用EC2 M7a實例,包括芯片設計的EDA軟件。AMD還宣布,今年7月,甲骨文將推出Genoa E5實例。

AMD發布的EPYC Bergamo處理器是業界首款x86原生CPU,有128個內核,每個插槽256個線程。這意味著一個普通的2U 4 節點平臺將有 2048 個線程。

Bergamo比前代Milan的性能高2.5倍,現在就可以向AMD的云客戶發貨。

Meta的公司代表介紹,Meta在基礎設施中使用EPYC處理器。Meta也對基于AMD的處理器設計開源。Meta方面稱,計劃為其基礎設施使用云處理器Bergamo,還要將Bergamo用于其存儲平臺。

AMD同時推出本周二上市的CPU Genoa-X。它將增加超過1GB 的96核L3緩存。它共有四個SKU,16到 96 個內核。因為SP5插槽兼容,所以它可以與現有的EPYC 平臺一起使用。

微軟的公司代表和AMD一道展示了微軟云Azure HPC的性能,在EPYC處理器的幫助下,Azure四年內的性能提升四倍。

Azure宣布,搭載Genoa-X的HBv4和HX系列實例、以及新的HBv3實例全面上市。Azure還稱,性能最高可較市面基準提升5.7倍。

AMD此前通過收購Pensando獲得DPU技術。此次AMD稱,其P4 DPU架構是世界上最智能的DPU,它能減少數據中心的網絡開銷,并提高了服務器的可管理性。AMD的Pensando SmartNICs是這種新數據中心架構不可或缺的組成部分。

AMD還提到有自己的AI芯片軟件,名為ROCm。AMD總裁Victor Peng稱,在構建強大的軟件堆棧方面,AMD取得了真正的巨大進步,ROCm軟件??膳c模型、庫、框架和工具的開放生態系統配合使用。

風險提示及免責條款 市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。

關鍵詞: