通信界訊 近日，中國工程院院士鄭緯民在2023世界5G大會上表示，國產(chǎn)超算完全可以支持大模型訓(xùn)練。
鄭緯民介紹道，目前支持大模型訓(xùn)練的主要有三種算力系統(tǒng)，一是基于英偉達(dá)公司的GPU系統(tǒng)，二是基于國產(chǎn)AI芯片的系統(tǒng)，三是基于超級計算機的系統(tǒng)。英偉達(dá)GPU系統(tǒng)的優(yōu)點是硬件性能好，生態(tài)也比較完善，但中美博弈加上產(chǎn)品價格高，給國產(chǎn)AI芯片帶來了難得的發(fā)展機遇，目前國內(nèi)已經(jīng)有30多家公司推出了國產(chǎn)芯片，“但用戶不太喜歡用，核心問題就是生態(tài)不好。”
而不依賴國外芯片技術(shù)改變國產(chǎn)大模型生態(tài)系統(tǒng)發(fā)展局面，編程框架、并行加速、通信庫、算子庫、AI編譯器、編程語言、調(diào)度器、內(nèi)存分配系統(tǒng)、容錯系統(tǒng)、存儲系統(tǒng)這十大關(guān)鍵軟件技術(shù)值得重點投入。
“如果國產(chǎn)AI芯片硬件性能達(dá)到國外芯片的60%，大多數(shù)用戶也是可以滿意的，因為硬件再好這十個軟件做不好，也沒有市場。”鄭緯民說道，一定要把這十個軟件做好，改變國產(chǎn)系統(tǒng)的生態(tài)。“如果把這些問題解決好，國產(chǎn)AI卡也會大受歡迎。希望國內(nèi)廣大用戶盡可能采用國產(chǎn)AI芯片，以用促建，以用促研，不斷的給予正向反饋�！�
目前，我國超算水平已經(jīng)處于國際第一梯隊，有14個國家一級超算中心，另外還有不少由地方和行業(yè)建設(shè)運營的超算中心。這些超算中心在科學(xué)計算上做得很不錯，發(fā)揮了很大的作用，但是部分超算中心的算力利用率并不飽和，完全也可以用這些機器來做大模型訓(xùn)練，但需要從源頭做好軟硬件協(xié)同設(shè)計。
“硬件發(fā)展很快，過去一臺機器，基本是CPU+內(nèi)存+硬盤就可以，但是現(xiàn)在計算部件不只是簡單的CPU，還有很多新的器件出現(xiàn)；軟件方面，不論是人工智能應(yīng)用軟件，還是基于圖數(shù)據(jù)的圖計算應(yīng)用，以及大數(shù)據(jù)應(yīng)用，軟件已和過去不一樣，如何將軟件和硬件更好協(xié)同起來非常重要�！�
