導(dǎo)讀:英偉達(dá)在2023年全球超算大會(huì)(SC23)上推出了一款最新的AI芯片H200,用于AI大模型的訓(xùn)練,相比于其前一代產(chǎn)品H100,H200的性能提升了約60%到9
英偉達(dá)在2023年全球超算大會(huì)(SC23)上推出了一款最新的AI芯片H200,用于AI大模型的訓(xùn)練,相比于其前一代產(chǎn)品H100,H200的性能提升了約60%到90%。
H200是英偉達(dá)H100的升級(jí)版,與H100同樣基于Hopper架構(gòu),主要升級(jí)包括141GB的HBM3e顯存,顯存帶寬從H100的3.35TB/s增加到了4.8TB/s。
在大模型推理表現(xiàn)上,H200在700億參數(shù)的Llama2大模型上的推理速度比H100快了一倍,而且在推理能耗上H200相比H100直接降低了一半。對(duì)于顯存密集型HPC(高性能計(jì)算)應(yīng)用,H200更高的顯存帶寬能夠確保高效地訪問(wèn)數(shù)據(jù),與CPU相比,獲得結(jié)果的時(shí)間最多可提升110倍。
由于架構(gòu)相同,H200將與H100在軟件上相兼容,這意味著H200將具有H100的所有功能。英偉達(dá)宣稱(chēng),H200在大模型Llama 2、GPT-3.5的輸出速度上分別是H100的1.9倍和1.6倍。
英偉達(dá)加速計(jì)算總經(jīng)理兼副總裁伊恩·巴克 (Ian Buck)稱(chēng):“想要通過(guò)生成式AI和HPC應(yīng)用創(chuàng)造智能,就必須使用大型、快速的GPU顯存來(lái)高速、高效地處理海量數(shù)據(jù)。借助H200,業(yè)界領(lǐng)先的端到端AI超級(jí)計(jì)算平臺(tái)的速度將會(huì)變得更快,一些世界上最重要的挑戰(zhàn),都可以被解決。”
過(guò)去,英偉達(dá)數(shù)據(jù)中心AI芯片通常兩年更新一次芯片架構(gòu),最新芯片架構(gòu)是Hopper。不過(guò)英偉達(dá)曾于上個(gè)月向投資人披露,由于市場(chǎng)對(duì)其AI芯片需求旺盛,公司將從每?jī)赡臧l(fā)布一次新架構(gòu)轉(zhuǎn)向每一年發(fā)布一次。 英偉達(dá)還向投資人稱(chēng),其將于2024年發(fā)布基于Blackwell架構(gòu)的B100芯片。
H200將于2024年第二季度出貨。英偉達(dá)稱(chēng),從明年開(kāi)始,亞馬遜云科技、谷歌云、微軟Azure 和甲骨文云將成為首批部署基于H200實(shí)例的云服務(wù)提供商。
英偉達(dá)股價(jià)在周一美股交易時(shí)段上漲,且已連續(xù)第九個(gè)交易日上漲,創(chuàng)出2016年12月27日以來(lái)的最長(zhǎng)連漲走勢(shì)。今年以來(lái),英偉達(dá)股價(jià)累計(jì)漲幅超過(guò)230%。