玉林实硕医疗科技有限公司

AI見聞日報:英偉達GH200不僅影響光模塊用量,還應關注PCB和存儲 | 見智研究|微頭條

今日要點:


(相關資料圖)

1、英偉達超級計算平臺除了讓光模塊“發光”,更不能忽略存儲和PCB;

2、出現了比Meta更好的開源大模型?

3、政策鼓勵AI產業發展,算力將得到更合理分配,還應關注數據中心上架率;

見聞視角

海外AI

1、英偉達GH200對光模塊用量增加已成為普遍共識,更不能忽略存儲和PCB

昨天我們提到英偉達發布超強AI計算平臺DGX GH200,很多人關注該款超級計算機對光模塊需求影響的程度。

根據多家券商的測算情況,市場普遍認為光模塊的用量還是呈現較大幅度的提高。新架構全光方案GPU:800G光模塊數量比1:18,半光方案GPU:800G光模塊數量比1:9。

具體來看,每個Node單向帶寬450GB/s(900GB/s雙向帶寬),8顆Superchip累計3.6TB/s單向帶寬,800G光模塊實際傳輸能力為100GB/s,即一個Node單向傳輸需要36個800G光模塊,全系統共2個上行方向+2個下行方向,累計需要144個800G光模塊(對應8顆Superchip),即800G全光方案比例關系為1:18。類似的,400G全光方案比例關系為1:36,800G半光方案比例關系為1:9。

除模塊之外,見智研究認為:還應關注內存和PCB的增量價值。

GH200單顆芯片需要480GB LPDDR5內存+96GB的HBM顯存。而上一代DGX H100服務器中,平均單顆H100芯片對應256GB內存,以及80GB的HBM。二者對比,GH200方案的存儲器價值量有顯著提升。

PCB:傳統服務器中,主板單價近5000元/平米;加速卡板單價更高,隨著層數、材質、加工難度的提升,可達1w+/平米。

GH200超級芯片是CPU+GPU二合一,集成度提升可以省去部分主板PCB,但相較傳統加速卡面積更大,同時要在加速卡板材質、層數、HDI等方面進一步升級。

2、出現了比Meta更好的開源大模型?

一款名為FalconLM 開源語言模型說是提供了比 Meta 的 LLaMA 更好的性能,是迄今為止最強大的開源語言模型。

該款模型是由阿拉伯聯合酋長國阿布扎比的技術創新研究所 (TII) 開發,FalconLM 最大的變體擁有400億個參數,可以用于商業。但如果收入超過100萬美元,則商業用途需要繳納特許權使用費。在總結各種基準測試結果的Hugging Face OpenLLM 排行榜上,兩個最大的 FalconLM 模型(其中一個已經用指令進行了改進)目前以顯著優勢占據前兩名。

見智研究認為:開源語言模型如雨后春筍般的冒出,部分基礎大模型的性能也表現出較強的優勢。FalconLM相較于其他開源模型的競爭優勢的包括在訓練數據的選擇,從公共爬網數據集中提取高質量數據并刪除重復數據的流程。在徹底清除重復數據后,仍保留了5萬億條文本(token)——足以訓練強大的語言模型。此外, FalconLM優化后的架構能夠很大程度提高計算能力,推理成本僅為GPT3的五分之一。

國內AI

政策鼓勵加強算力的部署和分配,還應該關注數據中心上架率

北京市政府辦公廳正式發布《北京市促進通用人工智能創新發展的若干措施》,主要包括五大方面:1、提升算力資源統籌供給能力;2、提升高質量數據要素供給能力;3、系統構建大模型等通用人工智能技術體系;4、推動通用人工智能技術創新場景應用;5、探索營造包容審慎的監管環境。

見智研究認為:在政策的推動下,算力、數據要素市場將會進一步得到全面的效率優化和監管,會給民營企業在租用算力上來帶便捷度,從而促進行業的良性發展。

從基礎設施方面來看,AI新基建主要會圍繞數據中心、超算中心的建設以及配套設備需求提高,具體包括AI服務器、高速交換機、光模塊、制冷設備、電源設備等。應用場景方面鼓勵創新同樣會正向刺激算力的需求。但仍需關注數據中心目前機架上機率的情況,是否已經達到較高水平。

風險提示及免責條款 市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。

關鍵詞: