芯東西（公眾號：aichip001）
作者 | ?ZeR0
編輯 | ?漠影
芯東西(xi)12月19日報道，今日，摩爾線(xian)程(cheng)首(shou)個(ge)全(quan)國(guo)產千(qian)卡千(qian)億模型訓練(lian)平臺——摩爾線(xian)程(cheng)KUAE智算中心(xin)揭幕儀(yi)式在北京成功舉(ju)辦，宣告國(guo)內首(shou)個(ge)以國(guo)產全(quan)功能(neng)GPU為底座(zuo)的大規模算力集群正式落地。
摩爾線(xian)程(cheng)CEO張建中(zhong)發(fa)表(biao)主題演(yan)講(jiang)中(zhong)，發(fa)布大(da)模型智算(suan)加(jia)速卡MTT S4000，以(yi)及專為千億參數大(da)模型訓練和推(tui)理提供強大(da)支(zhi)持的摩爾線(xian)程(cheng)KUAE平臺。
同時，摩(mo)爾線程(cheng)聯合國內眾多(duo)合作伙伴(ban)發(fa)起并(bing)成立了摩(mo)爾線程(cheng)PES -KUAE智(zhi)算聯盟和摩(mo)爾線程(cheng)PES-大模(mo)型(xing)生態聯盟，共同夯實從智(zhi)算基(ji)礎(chu)設施到大模(mo)型(xing)訓練與(yu)推理的國產大模(mo)型(xing)一體化(hua)生態，為我國大模(mo)型(xing)產業發(fa)展加速提供(gong)助力。
一、全新智算加速卡MTT S4000：訓推兼顧，專為大模型打造
摩(mo)爾(er)線程大(da)模(mo)型智算加速卡(ka)(ka)MTT S4000，采用第(di)三代MUSA內(nei)核，單卡(ka)(ka)支(zhi)持48GB顯存(cun)和768GB/s的顯存(cun)帶寬。基(ji)于摩(mo)爾(er)線程自研(yan)MTLink1.0技術，MTT S4000可以支(zhi)持多卡(ka)(ka)互聯，助力千億(yi)大(da)模(mo)型的分布式計算加速。
同時，MTT S4000提供先進的(de)圖形渲染能力、視頻編解碼能力和超高清8K HDR顯示能力，助力AI計算、圖形渲染、多媒體等綜(zong)合(he)應用場(chang)景(jing)的(de)落地。
借助摩(mo)爾線程自研MUSIFY開發工(gong)具，MTT S4000計算卡可以充分利用現有(you)CUDA軟件生態，實現CUDA代碼零成本遷移到MUSA平臺(tai)。
二、摩爾線程KUAE智算中心解決方案：軟硬一體，開箱即用
摩(mo)爾(er)線程KUAE智(zhi)算中心解決(jue)方案(an)以(yi)全功(gong)能GPU為底座，是軟硬一體化的全棧(zhan)解決(jue)方案(an)，包括以(yi)KUAE計(ji)算集(ji)群(qun)為核心的基礎設施(shi)、KUAE Platform集(ji)群(qun)管理平(ping)臺以(yi)及KUAE ModelStudio模型服務，旨在(zai)以(yi)一體化交付(fu)的方式解決(jue)大規模GPU算力的建設和(he)運營管理問題(ti)。
該(gai)方案可實(shi)現開箱(xiang)即用，大(da)大(da)降低傳(chuan)統算力建設、應(ying)用開發和運維運營平臺搭(da)建的(de)時間成本，實(shi)現快速投放市場(chang)開展(zhan)商(shang)業化運營。
1）基礎設施：包含KUAE計(ji)算集群(qun)、RDMA網絡與分(fen)布式(shi)存儲。此次發布的(de)(de)摩爾線程KUAE千(qian)(qian)(qian)卡(ka)模(mo)(mo)型(xing)訓練(lian)平臺，建設(she)周期只需30天(tian)，支持千(qian)(qian)(qian)億(yi)參數(shu)模(mo)(mo)型(xing)的(de)(de)預訓練(lian)、微調和(he)推(tui)理(li)，可實現高達91%的(de)(de)千(qian)(qian)(qian)卡(ka)集群(qun)性能擴展系(xi)數(shu)。基(ji)于(yu)MTT S4000和(he)雙路8卡(ka)GPU服務器MCCX D800，摩爾線程KUAE集群(qun)支持從單機(ji)多(duo)卡(ka)到多(duo)機(ji)多(duo)卡(ka)，從單卡(ka)到千(qian)(qian)(qian)卡(ka)集群(qun)的(de)(de)無縫擴展，未來(lai)將推(tui)出更大(da)規模(mo)(mo)的(de)(de)集群(qun)，以滿(man)足更大(da)規模(mo)(mo)的(de)(de)大(da)模(mo)(mo)型(xing)訓練(lian)需求。
2）KUAE Platform集群管理平臺：用(yong)于AI大模型(xing)訓(xun)練、分布式圖形渲染、流媒體處理(li)和(he)科(ke)學計算的軟(ruan)硬件一體化(hua)平(ping)臺，深(shen)度(du)集成(cheng)全(quan)功能GPU計算、網絡和(he)存儲，提(ti)供高可靠、高算力(li)服務。通(tong)過該平(ping)臺，用(yong)戶可靈活(huo)管理(li)多(duo)數據(ju)中心、多(duo)集群算力(li)資源，集成(cheng)多(duo)維(wei)度(du)運維(wei)監控(kong)、告警和(he)日志系統，幫助智(zhi)算中心實(shi)現運維(wei)自(zi)動化(hua)。
3）KUAE ModelStudio模型服務：覆蓋大(da)(da)模型預訓練(lian)、微調(diao)和推理全流(liu)程，支持所有主流(liu)開(kai)源大(da)(da)模型。通(tong)過(guo)摩爾(er)線(xian)程MUSIFY開(kai)發工具，可以(yi)輕松復用(yong)(yong)(yong)CUDA應用(yong)(yong)(yong)生態，內置(zhi)的(de)容器化解(jie)決(jue)方案，則可實現API一鍵(jian)部署(shu)。該平臺意在提供(gong)大(da)(da)模型生命周期管理，通(tong)過(guo)簡潔、易(yi)操作的(de)交互(hu)界面，用(yong)(yong)(yong)戶可按(an)需組(zu)織工作流(liu)，大(da)(da)幅降低大(da)(da)模型的(de)使用(yong)(yong)(yong)門檻(jian)。
三、摩爾線程KUAE千卡集群：多重優勢，助力大模型高效訓練
摩爾線程KUAE千卡(ka)計算(suan)集群具有高(gao)(gao)兼容性(xing)、高(gao)(gao)穩定性(xing)、高(gao)(gao)擴展性(xing)和高(gao)(gao)算(suan)力利用率等綜合優(you)勢，支(zhi)持長時(shi)間(jian)連續穩定運行，支(zhi)持斷點續訓，異步Checkpoint少于2分鐘。
分(fen)布式(shi)并行(xing)(xing)計算是實現(xian)AI大模型訓練的(de)(de)關(guan)鍵(jian)手段(duan)。摩爾線程(cheng)KUAE支持包括DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale在內的(de)(de)業界主流(liu)分(fen)布式(shi)框架，并融合了(le)多種并行(xing)(xing)算法策略，包括數據并行(xing)(xing)、張量并行(xing)(xing)、流(liu)水線并行(xing)(xing)和ZeRO，且針(zhen)對高效通信計算并行(xing)(xing)和Flash Attention做了(le)額外優(you)化(hua)。
目前，摩爾線程支持包括Llama、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各類主流大(da)模型(xing)的訓練和微調(diao)。
基于摩爾線程(cheng)KUAE千(qian)卡(ka)集群，70B到130B參數的大(da)模型訓練，線性(xing)加速比(bi)均(jun)可達到91%，算力利用率基本保持不變。
以(yi)2000億訓(xun)(xun)練數(shu)據量(liang)為例，智源(yuan)研(yan)究院700億參(can)數(shu)Aquila2可(ke)在33天(tian)完成(cheng)訓(xun)(xun)練；1300億參(can)數(shu)規模的模型可(ke)在56天(tian)完成(cheng)訓(xun)(xun)練。
四、智算聯盟、大模型生態聯盟成立：促進生態融合
大模型時代，以GPU為代表的智能算力是(shi)基石，也是(shi)生(sheng)成式AI世界的中心。
摩爾(er)線(xian)程聯(lian)合中(zhong)國移動北京公司、中(zhong)國電信北京分公司、聯(lian)想、世紀互聯(lian)、光環新網(wang)、中(zhong)聯(lian)數據、數道智算(suan)、中(zhong)發展(zhan)智源、企商在(zai)線(xian)、北電數智北京數字經濟算(suan)力中(zhong)心(xin)、紫(zi)光恒(heng)越、瑞(rui)華(hua)產業控股（山東）、賽爾(er)網(wang)絡、中(zhong)科金財、中(zhong)耘智算(suan)、金舟遠航（排名不分先后）等十余家企業，共同(tong)宣布“摩爾(er)線(xian)程PES – KUAE智算(suan)聯(lian)盟”成立。
聯盟(meng)將大力(li)建設和推廣從底層硬件到軟(ruan)件、工具到應用的(de)全國產智(zhi)算平(ping)臺(tai)，旨在實現(xian)集群(qun)的(de)高利用率，以好(hao)用、易(yi)用的(de)全棧智(zhi)算解決方案(an)成為大模型訓練首選(xuan)。
現場(chang)，摩(mo)爾線程分(fen)別與中聯(lian)數據和數道(dao)智(zhi)算(suan)(suan)進行了現場(chang)簽約，并共同(tong)為摩(mo)爾線程KUAE智(zhi)算(suan)(suan)中心(xin)揭(jie)牌。
人工智(zhi)能(neng)應用的突破(po)，生(sheng)態(tai)是關鍵。為(wei)此，摩(mo)爾線程(cheng)攜手360、飛槳(jiang)、京東言犀(xi)、智(zhi)譜(pu)AI、超對稱、無問芯(xin)穹、滴普科技、網易、清華大學(xue)(xue)(xue)、復旦大學(xue)(xue)(xue)、浙江大學(xue)(xue)(xue)、北京理工大學(xue)(xue)(xue)、凌(ling)云光、瑞萊智(zhi)慧、南威軟件（排名不分先后）等多家(jia)大模型生(sheng)態(tai)伙伴(ban)，發起并(bing)成立“摩(mo)爾線程(cheng)PES – 大模型生(sheng)態(tai)聯盟(meng)”。
摩爾(er)線(xian)程將(jiang)以(yi)MUSA為中心的(de)軟硬(ying)一體(ti)化(hua)大(da)模型解決方(fang)案(an)，積極與(yu)廣泛(fan)的(de)生態伙伴開展兼容適(shi)配及技術調(diao)優等(deng)工作(zuo)，共同推動國產大(da)模型生態的(de)全面(mian)繁榮。
結語：智算中心是對GPU智算系統整合能力的考驗
張建中說(shuo)，摩爾線程(cheng)KUAE智算中心的正式啟用，是(shi)公(gong)司發展的重(zhong)要(yao)里(li)程(cheng)碑。
摩爾線(xian)(xian)程(cheng)構(gou)建了(le)從芯片到顯卡到集群(qun)的(de)智算(suan)(suan)產品線(xian)(xian)，依托全功能(neng)GPU的(de)多元計算(suan)(suan)優勢，旨在滿足不(bu)斷增長的(de)大模型(xing)訓(xun)練和推理(li)需求，以綠色(se)、安全的(de)智能(neng)算(suan)(suan)力，推動AIGC、數字孿(luan)生、物(wu)理(li)仿真、元宇宙(zhou)等多模態(tai)應用的(de)落(luo)地和千行百業的(de)高(gao)質量(liang)發展(zhan)。
在最后(hou)的圓桌對話環(huan)節，摩爾線程(cheng)副總裁(cai)董龍飛與(yu)中能建綠色(se)數(shu)字科技（中衛(wei)）有限公司董事長墻虎、智(zhi)譜AI CEO張(zhang)鵬、京東云首(shou)席AI科學(xue)家裴(pei)積全(quan)、中金資本董事總經(jing)理翟贏、超對稱創(chuang)始人吳恒魁、數(shu)道(dao)智(zhi)算(suan)董事長甄鑒等嘉賓，就當前大模(mo)型的算(suan)力需求和智(zhi)算(suan)中心(xin)的建設與(yu)運營(ying)等話題展開(kai)了深入探討。
嘉賓一(yi)致認為，智算中心不應(ying)只(zhi)是硬件的(de)(de)堆(dui)積，更是對軟硬一(yi)體化的(de)(de)GPU智算系統整合(he)能力的(de)(de)考驗，GPU分布式計算系統的(de)(de)適(shi)配、算力集群的(de)(de)管(guan)理(li)和高效推(tui)理(li)引擎(qing)的(de)(de)應(ying)用等，都是提高算力中心可用性(xing)的(de)(de)重要因素(su)。
國產智(zhi)算中(zhong)心的發展，更是依托于將各(ge)方需求和優勢充分(fen)融合，產業聚力才能(neng)實現整個(ge)生態的協同(tong)，推動國產事(shi)業往前發展。
