英偉達(dá)老黃,帶著新一代GPU芯片H200再次炸場(chǎng)。
官網(wǎng)毫不客氣就直說(shuō)了,“世界最強(qiáng)GPU,專為AI和超算打造”。
聽(tīng)說(shuō)所有AI公司都抱怨內(nèi)存不夠?
這回直接141GB大內(nèi)存,與H100的80GB相比直接提升76%。
作為首款搭載HBM3e內(nèi)存的GPU,內(nèi)存帶寬也從3.35TB/s提升至4.8TB/s,提升43%。
對(duì)于AI來(lái)說(shuō)意味著什么?來(lái)看測(cè)試數(shù)據(jù)。
在HBM3e加持下,H200讓Llama-70B推理性能幾乎翻倍,運(yùn)行GPT3-175B也能提高60%。
對(duì)AI公司來(lái)說(shuō)還有一個(gè)好消息:
H200與H100完全兼容,意味著將H200添加到已有系統(tǒng)中不需要做任何調(diào)整。
最強(qiáng)AI芯片只能當(dāng)半年
除內(nèi)存大升級(jí)之外,H200與同屬Hopper架構(gòu)的H100相比其他方面基本一致。
臺(tái)積電4nm工藝,800億晶體管,NVLink 4每秒900GB的高速互聯(lián),都被完整繼承下來(lái)。
甚至峰值算力也保持不變,數(shù)據(jù)一眼看過(guò)去,還是熟悉的FP64 Vector 33.5TFlops、FP64 Tensor 66.9TFlops。
對(duì)于內(nèi)存為何是有零有整的141GB,AnandTech分析HBM3e內(nèi)存本身的物理容量為144GB,由6個(gè)24GB的堆棧組成。
出于量產(chǎn)原因,英偉達(dá)保留了一小部分作為冗余,以提高良品率。
僅靠升級(jí)內(nèi)存,與2020年發(fā)布的A100相比,H200就在GPT-3 175B的推理上加速足足18倍。
H200預(yù)計(jì)在2024年第2季度上市,但最強(qiáng)AI芯片的名號(hào)H200只能擁有半年。
同樣在2024年的第4季度,基于下一代Blackwell架構(gòu)的B100也將問(wèn)世,具體性能還未知,圖表暗示了會(huì)是指數(shù)級(jí)增長(zhǎng)。
多家超算中心將部署GH200超算節(jié)點(diǎn)
除了H200芯片本身,英偉達(dá)此次還發(fā)布了由其組成的一系列集群產(chǎn)品。
首先是HGX H200平臺(tái),它是將8塊H200搭載到HGX載板上,總顯存達(dá)到了1.1TB,8位浮點(diǎn)運(yùn)算速度超過(guò)32P(10^15) FLOPS,與H100數(shù)據(jù)一致。
HGX使用了英偉達(dá)的NVLink和NVSwitch高速互聯(lián)技術(shù),可以以最高性能運(yùn)行各種應(yīng)用負(fù)載,包括175B大模型的訓(xùn)練和推理。
HGX板的獨(dú)立性質(zhì)使其能夠插入合適的主機(jī)系統(tǒng),從而允許使用者定制其高端服務(wù)器的非GPU部分。
接下來(lái)是Quad GH200超算節(jié)點(diǎn)——它由4個(gè)GH200組成,而GH200是H200與Grace CPU組合而成的。
Quad GH200節(jié)點(diǎn)將提供288 Arm CPU內(nèi)核和總計(jì)2.3TB的高速內(nèi)存。
通過(guò)大量超算節(jié)點(diǎn)的組合,H200最終將構(gòu)成龐大的超級(jí)計(jì)算機(jī),一些超級(jí)計(jì)算中心已經(jīng)宣布正在向其超算設(shè)備中集成GH200系統(tǒng)。
據(jù)英偉達(dá)官宣,德國(guó)尤利希超級(jí)計(jì)算中心將在Jupiter超級(jí)計(jì)算機(jī)使用GH200超級(jí)芯片,包含的GH200節(jié)點(diǎn)數(shù)量達(dá)到了24000塊,功率為18.2兆瓦,相當(dāng)于每小時(shí)消耗18000多度電。
該系統(tǒng)計(jì)劃于2024年安裝,一旦上線,Jupiter將成為迄今為止宣布的最大的基于Hopper的超級(jí)計(jì)算機(jī)。
Jupiter大約將擁有93(10^18) FLOPS的AI算力、1E FLOPS的FP64運(yùn)算速率、1.2PB每秒的帶寬,以及10.9PB的LPDDR5X和另外2.2PB的HBM3內(nèi)存。
除了Jupiter,日本先進(jìn)高性能計(jì)算聯(lián)合中心、德克薩斯高級(jí)計(jì)算中心、伊利諾伊大學(xué)香檳分校國(guó)家超級(jí)計(jì)算應(yīng)用中心等超算中心也紛紛宣布將使用GH200對(duì)其超算設(shè)備進(jìn)行更新升級(jí)。
那么,AI從業(yè)者都有哪些嘗鮮途徑可以體驗(yàn)到GH200呢?
上線之后,GH200將可以通過(guò)Lambda、Vultr等特定云服務(wù)提供商進(jìn)行搶先體驗(yàn),Oracle和CoreWeave也宣布了明年提供GH200實(shí)例的計(jì)劃,亞馬遜、谷歌云、微軟Azure同樣也將成為首批部署GH200實(shí)例的云服務(wù)提供商。
英偉達(dá)自身,也會(huì)通過(guò)其NVIDIA LaunchPad平臺(tái)提供對(duì)GH200的訪問(wèn)。
硬件制造商方面,華碩、技嘉等廠商計(jì)劃將于今年年底開(kāi)始銷售搭載GH200的服務(wù)器設(shè)備。