智東西(公眾號:zhidxcom)
作者 | ZeR0
編輯 | 漠影

智(zhi)東(dong)西8月15日報道,今日,在戴爾科技(ji)峰會(DTF)期間,戴爾科技(ji)正(zheng)式發布專為AI推(tui)理(li)設計的(de)“掌上AI超算”Dell Pro Max with GB10。

這是Dell Pro Max全新產品線(xian)旗(qi)下(xia)的一(yi)款重要(yao)AI工作(zuo)站新品,搭(da)載(zai)NVIDIA GB10 Grace Blackwell 超級芯片,首次將(jiang)數據中心級架構下(xia)放(fang)至桌面,專(zhuan)為(wei)AI開發(fa)者設計,在FP4精度下(xia)可提供高達(da)1000TOPS的AI性能。

戴爾推出掌上AI超算!字典大小,1000TOPS峰值算力,能跑2000億參數模型

▲戴爾科技集團大中華區(qu)客戶端銷售(shou)系(xi)統工程總(zong)監(jian)喻智娟現場(chang)展示(shi)Dell Pro Max with GB10

傳統電(dian)腦(nao)通常應(ying)用于游戲開發(fa)、軟件開發(fa)、媒體制作、醫療(liao)、金融等(deng)行業,而(er)Dell Pro Max with GB10聚焦(jiao)于AI領域的(de)研發(fa)和應(ying)用,專注滿足AI計(ji)算的(de)需求(qiu),能(neng)無縫擴展至更大(da)規模(mo)數據(ju)集或生產環(huan)境,大(da)幅降(jiang)低復雜項目(mu)的(de)實(shi)現成本與(yu)難度,適用于AI原型研發(fa)、邊(bian)緣AI計(ji)算、數據(ju)科學、AI開發(fa)、大(da)模(mo)型推理、教育等(deng)領域。

戴爾科(ke)技(ji)集團大中(zhong)華區(qu)客戶端解決方案事業部工作站資深(shen)產品(pin)經理(li)汪(wang)志軍在一場媒體溝通(tong)會上對(dui)這款新(xin)品(pin)進行了詳盡分享。

他打了(le)個形(xing)象(xiang)的(de)比喻:Dell Pro Max with GB10就像一個裝修完畢、設備齊(qi)全(quan)的(de)智能(neng)(neng)廚房,所有的(de)硬件配置合理、軟(ruan)件環(huan)境完整、開發框架預設完畢,連(lian)“菜單”——也就是(shi)常(chang)用(yong)的(de)開發路徑、運行(xing)環(huan)境——都打包好了(le)。用(yong)戶(hu)只需要把“食材”——數據(ju)、模型(xing)、算法——放進去,按流程調用(yong),就能(neng)(neng)快速生成用(yong)戶(hu)的(de)AI應用(yong)。無論是(shi)企業(ye)(ye)級(ji)的(de)部署還是(shi)某個垂直行(xing)業(ye)(ye)的(de)落地應用(yong),都能(neng)(neng)高效啟(qi)動(dong),并且(qie)具備很強的(de)可擴展性與可持續性。

一、小到能塞進包里的掌上AI超算,單機能跑2000億參數模型

從外(wai)形來看,Dell Pro Max with GB10非常小巧,只(zhi)有1.2升,類似于(yu)一本字典(dian),小到能塞進(jin)包里(li)。

這款(kuan)AI設備是戴爾首(shou)次與(yu)NVIDIA在Grace Blackwell架構(gou)上(shang)的(de)深度合作,基于NVIDIA Grace Blackwell 平臺,配(pei)備128GB LPDDR5x統(tong)一內(nei)存(cun),通過 NVIDIA NVLink C2C 連接,CPU和GPU可共享訪問所(suo)有系統(tong)內(nei)存(cun)。相比(bi)之下,一個標準(zhun)顯卡通常只有十(shi)幾GB的(de)顯存(cun)。

Dell Pro Max with GB10單機最多(duo)能支持(chi)高效構建(jian)、優化和部署2000億(yi)(yi)參數的AI推理(li)模型,微調最多(duo)可達700億(yi)(yi)參數的模型。

如果開發(fa)者希望(wang)進行模(mo)型(xing)開發(fa)、訓(xun)練或微(wei)調(diao),這臺機器也(ye)具備足夠的精度(du)能力,支(zhi)持最高(gao)達700億參數級別的模(mo)型(xing)訓(xun)練任務。

通過NVIDIA ConnectX-7網絡(luo)連(lian)接(jie)技術和200G x 2 QSFP 接(jie)口,這臺機(ji)器可實(shi)現雙機(ji)高速(su)互(hu)聯,組成一個更高性(xing)能的(de)AI算(suan)力節(jie)點,內(nei)存(cun)擴展至256GB,支持最多(duo)4050億(yi)參數的(de)模型(xing),滿足(zu)大型(xing)AI模型(xing)的(de)運行需求。

Dell Pro Max with GB10采用(yong)全金屬(shu)機身,配(pei)備(bei)了一款(kuan)240瓦電(dian)源(yuan),并對散熱系統進行了優(you)化設計(ji),以(yi)確保設備(bei)能夠(gou)在高(gao)負(fu)載下保持(chi)穩定運行。

其硬(ying)盤提(ti)供2TB和(he)4TB兩種容量,網絡接口還配備了常規的10Gb網絡接口,無線連接支持(chi)Wi-Fi 7和(he)藍牙5.1,I/O接口包括多種Type-C接口。

二、預裝NVIDIA AI相關組件,涵蓋模型部署、調優、推理全流程

Dell Pro Max with GB10具備(bei)出色的軟(ruan)件(jian)生態。

該(gai)產(chan)品出(chu)廠(chang)預(yu)裝了(le)基于Ubuntu深度(du)開發(fa)的(de)DGX OS 7定(ding)制化(hua)操作系(xi)統,包含(han)針(zhen)對本機的(de)優化(hua)配(pei)置(zhi)、設定(ding)及(ji)額外驅動程序,同時(shi)集成(cheng)了(le)NVIDIA提供(gong)的(de)豐富開發(fa)容器、套(tao)件及(ji)AI框架(jia),實現硬件與軟件的(de)深度(du)適配(pei),確保開發(fa)者(zhe)在(zai)桌面、NVIDIA DGX Cloud平臺與戴爾數據中心之(zhi)間遷移AI模型(xing)時(shi)無需修改代(dai)碼,提升(sheng)工作連(lian)續性。

例如,預裝的(de)NVIDIA DGX系統(tong)及AI Enterprise軟件(jian)套件(jian),可幫助用(yong)戶實(shi)現開(kai)箱即用(yong),支持快速(su)部(bu)署,幾分鐘(zhong)內(nei)即可投(tou)入實(shi)際(ji)開(kai)發與(yu)生產環(huan)境。提供的(de)NVIDIA Blueprints等參考(kao)工作流工具,可加(jia)速(su)生成(cheng)(cheng)式AI和代理(li)式AI的(de)開(kai)發效(xiao)率,兼顧本地開(kai)發的(de)隱私安全與(yu)成(cheng)(cheng)本優勢。

使用傳統(tong)(tong)AI開發(fa)主機時(shi)(shi),用戶往往需要花(hua)費大(da)(da)量時(shi)(shi)間自行組裝(zhuang)硬件、安(an)裝(zhuang)操作系統(tong)(tong)及配置各類軟件環境(jing)。而(er)Dell Pro Max with GB10提供了(le)高度(du)集成(cheng)的一體(ti)化平臺,大(da)(da)大(da)(da)降低(di)了(le)部署門檻(jian),顯著提升了(le)效率與易用性。

在(zai)AI應用(yong)方面,Dell Pro Max with GB10更(geng)多地(di)支持輕量級的微調,或主要用(yong)于(yu)推理任務。

汪志軍解釋說,戴爾與很(hen)多AI軟件(jian)廠商都有合作,但(dan)不會要求設備出廠時就預(yu)裝某些特(te)定(ding)的軟件(jian),更傾向于(yu)通過(guo)認證和測(ce)試來確(que)保(bao)兼容性和穩定(ding)性,更關注的是確(que)保(bao)整體系統的穩定(ding)性。

三、既能用作獨立電腦,又能直連現有筆記本、工作站

Dell Pro Max with GB10可以直接(jie)連接(jie)現有筆記本、臺(tai)式機、工作站使用,作為(wei)一(yi)個用于(yu)AI開發(fa)與推理的算力(li)盒。

有高(gao)數(shu)據安(an)全要求(qiu)、希望(wang)本(ben)(ben)地完成(cheng)AI大模型推理的(de)(de)(de)開發(fa)者,可通過將自己的(de)(de)(de)電(dian)腦(nao)外(wai)接Dell Pro Max with GB10來實(shi)現本(ben)(ben)地高(gao)效運(yun)行(xing)AI模型的(de)(de)(de)需求(qiu)。

就像現在(zai)有些筆(bi)記本在(zai)GPU性(xing)能不足時外掛顯卡(ka),Dell Pro Max with GB10也可以作為(wei)一個(ge)外接的AI算力模(mo)塊,為(wei)主機設備提(ti)供強大的AI推理(li)性(xing)能支持。

Dell Pro Max with GB10也(ye)可以作(zuo)為(wei)一(yi)臺獨立電腦來(lai)使用,能像普通PC一(yi)樣接上鍵盤(pan)、鼠(shu)標、顯示(shi)器。開發(fa)者可以將它用作(zuo)開發(fa)主力機,學校(xiao)機房也(ye)可以成批部署,用于AI 教(jiao)學、日常(chang)開發(fa)、模型訓練、原型研究等。

此外(wai),這臺機器還能作為“邊緣(yuan)大腦”,在(zai)工(gong)業(ye)自(zi)(zi)動化、機器人、自(zi)(zi)動駕駛等領域的邊緣(yuan)部署(shu)或嵌入工(gong)業(ye)設備、醫療設備等設備中,承擔邊緣(yuan)AI計算任務。

在擴展性方(fang)面,Dell Pro Max with GB10是(shi)固定配置。

結語:商用PC中工作站需求增長,戴爾已為不同模型推理提供差異方案

汪志軍分(fen)享說,大模(mo)型廠商對硬件(jian)資源的需求(qiu)正在(zai)轉(zhuan)變(bian),從選擇數(shu)據中心級硬件(jian)轉(zhuan)向更(geng)加垂直、落地的應用場(chang)景與更(geng)符合(he)私有化部(bu)(bu)署(shu)需求(qiu)的領域,這些行業往往難以直接使用傳(chuan)統的大模(mo)型來滿足需求(qiu),需要自主開發或(huo)與解決方案供應商合(he)作,進行定制(zhi)化部(bu)(bu)署(shu),這時能部(bu)(bu)署(shu)在(zai)桌面端或(huo)邊(bian)緣終端的AI工(gong)作站成為理想(xiang)選擇。

據IDC預測,到2030年,企業采購的商用PC中,每10臺(tai)就(jiu)有1臺(tai)是工作站,市場份(fen)額將(jiang)從(cong)5%增長至10%。

不(bu)同(tong)(tong)模(mo)型(xing)適用于不(bu)同(tong)(tong)工作站(zhan)產品。例如(ru)(ru)對于FP4計算,參(can)數(shu)規(gui)模(mo)在2000億以下(xia)的模(mo)型(xing),Dell Pro Max with GB10適用于推(tui)理任務。當推(tui)理需求更高,比如(ru)(ru)參(can)數(shu)規(gui)模(mo)達到4050億的模(mo)型(xing),可通過兩個(ge)Dell Pro Max with GB10組合成一個(ge)方(fang)案來滿足其(qi)計算需求,實(shi)現高效推(tui)理。

Dell Pro Max with GB10提供(gong)三到五年的(de)企業(ye)級售后支(zhi)持。汪志軍談道(dao),戴爾不僅是(shi)推出一款產品,更是(shi)在構(gou)建一個完(wan)整、協同(tong)的(de)AI PC解(jie)決方(fang)案生態。