為抵禦超微(AMD)、輝達黃仁Google 及亞馬遜(Amazon.com)在人工智慧(AI)硬體領域的登場大降競爭,輝達(Nvidia Corp.)新推了專門用來執(zhí)行 AI 模型的勳A型執(zhí)行成全新晶片,並表示執(zhí)行大型語言模型(LLMs)的本將成本將「顯著降低」。
CNBC、輝達黃仁MarketWatch等外電報導,登場大降輝達執(zhí)行長黃仁勳(Jensen Huang)8日在2023年繪圖盛會「SIGGRAPH」(Special Interest Group on Computer Graphics and Interactive Techniques)發(fā)表次世代超級晶片「DGX GH200 Grace Hopper Superchip」,勳A型執(zhí)行成主要應用於大型記憶體生成式AI模型,本將例如OpenAI的輝達黃仁AI聊天機器人「ChatGPT」。
GH200的登場大降Hopper繪圖處理器(GPU)與輝達目前最高階AI晶片「H100」相同,但結合72核心的勳A型執(zhí)行成ARM架構Grace中央處理器(CPU),並搭配141 GB HBM3記憶體及每秒5 TB頻寬。本將另外,輝達黃仁NVLink-dual GH200系統(tǒng)內(nèi)建兩顆GH200,登場大降可將容量擴充3.5倍、勳A型執(zhí)行成頻寬增加三倍。
黃仁勳8日表示,這款升級過後的處理器專門應用於全世界最大資料中心的水平式擴充(scale-out)作業(yè)。
GH200預定2024年第二季上市,但輝達並未說明定價。黃仁勳僅指出,GH200可讓大型語言模型的推論成本顯著下降。
AI模型的工作過程可分為兩部分:訓練與推論(inference)。
首先,AI模型會以大量資料訓練,過程可能花上數(shù)月,有時需要上千顆GPU,例如輝達的H100及A100晶片。之後,AI模型將被軟體用來預測或產(chǎn)生內(nèi)容,這個過程稱做推論。如同訓練,推論過程相當昂貴,軟體每次產(chǎn)生文字或內(nèi)容都需要許多算力。然而,AI模型只有在更新時才需要訓練,推論卻會持續(xù)不斷發(fā)生。
輝達副總裁Ian Buck 8日在電話會議表示,最新的GH200專為推論設計,因為這個程序需要更多記憶體容量,可讓更大型的AI模型置入單一系統(tǒng)。
Buck指出,記憶體容量加大,可讓AI模型常駐單一GPU,執(zhí)行時不再需要多個系統(tǒng)或多顆GPU來配合。
輝達8日股價終場下跌1.66%、收446.64美元;盤中一度在新產(chǎn)品發(fā)表後下挫最多3%。
(本文由 MoneyDJ新聞 授權轉載;首圖來源:輝達)