芯東西（公眾號：aichip001）
編輯 |? GACS 2024
2024全球AI芯(xin)(xin)片峰會(hui)（GACS 2024）于(yu)9月(yue)6日(ri)~7日(ri)在(zai)(zai)北(bei)京舉(ju)行，大會(hui)由智一科(ke)技旗下芯(xin)(xin)片行業媒體(ti)芯(xin)(xin)東(dong)西和硬科(ke)技知識分享社區智猩猩發起舉(ju)辦。在(zai)(zai)9月(yue)6日(ri)的(de)主會(hui)場(chang)數據(ju)中心AI芯(xin)(xin)片專(zhuan)場(chang)上，浪潮信息開放加(jia)速計算產(chan)品負責(ze)人Stephen Feng以《多(duo)元開放系統激發生成式AI創(chuang)新活力》為題發表演講。
Stephen Feng分享道，大(da)模(mo)型發展和AIGC應(ying)用的創(chuang)新離不(bu)開開源模(mo)型和硬件開放。且隨著大模型參數規模增加，生成式AI的發展面臨四大挑戰：集群擴展性不足、芯片功(gong)耗(hao)高(gao)、集群部署(shu)難(nan)、系統(tong)可靠性低四大挑戰。
針對生(sheng)成式AI面臨的幾大挑戰，Stephen Feng提出了他的解決思(si)路，即(ji)：
1、單機維度(du)考慮更(geng)大的超節點互(hu)聯，集群維度(du)采用更(geng)強、更(geng)開放的網絡(luo)交換機，解決集群擴展性不足。
2、整機維度做到極致的能效設計，提前布局(ju)液冷，解決芯片功(gong)耗高的問題。
3、進行算(suan)力的(de)統(tong)一池化管理加快硬件部署(shu)，通(tong)過端到端的(de)開(kai)發平臺實現應用的(de)快速部署(shu)。
4、建立標準監(jian)控(kong)管理(li)規范(fan)，加速先進(jin)算力的上線部(bu)署，實現GPU快(kuai)速迭(die)代和(he)部(bu)署；具備自適應(ying)分布式(shi)訓練系統實現故(gu)障時(shi)的快(kuai)速定位和(he)斷(duan)點續(xu)訓。
▲浪潮信息開放加速計算(suan)產品負責人(ren)Stephen Feng
以下是Stephen Feng演講內容的完整整理：
一、開源模型成創新動力，硬件開放推動完善AI算力生態
激發創新活力的核心就是開(kai)源開(kai)放(fang)。
我們首先來回顧(gu)大(da)模(mo)型(xing)的(de)發展歷(li)程，在過去(qu)的(de)幾(ji)年(nian)間(jian)不管是基于上層的(de)應用還是底層技術的(de)進步，開源模(mo)型(xing)的(de)能力可以與閉源模(mo)型(xing)能力相(xiang)媲美。
在今年Meta發布(bu)了Llama 3，是一個405B的(de)大模型(xing)(xing)，而它的(de)能力(li)達到了世界(jie)領(ling)先(xian)的(de)水平。在國內，像(xiang)通義(yi)千問、百川(chuan)和浪潮信息的(de)“源(yuan)2.0-M32”也是開(kai)源(yuan)模型(xing)(xing)。
在去年(nian)全球發布(bu)的(de)大模(mo)型(xing)(xing)中(zhong)，2/3以(yi)上的(de)大模(mo)型(xing)(xing)都是開源模(mo)型(xing)(xing)，而(er)且80%以(yi)上的(de)大模(mo)型(xing)(xing)都選擇(ze)了開源的(de)框架做相應的(de)開發。開源模(mo)型(xing)(xing)的(de)總下載量已經(jing)超過3億次，并(bing)且已經(jing)衍生(sheng)了超過3萬多個新模(mo)型(xing)(xing)。
綜上所述，開源模(mo)型成為創新的動(dong)力(li)。
除了大模型，在硬件層面，硬件(jian)開放也是完善AI算力(li)生態非常重要的(de)特征。在(zai)應用的(de)發展可以看(kan)到(dao)，大(da)模型的(de)發展也為AI芯片產業帶來了多(duo)樣化(hua)的(de)需求特征(zheng)。在(zai)最初，高(gao)端(duan)AI芯片存在(zai)硬件(jian)接口、互聯規(gui)范不統一等問題，導致其在(zai)整機(ji)適配兼容時容易出現(xian)很多(duo)問題，投(tou)入非常(chang)大(da)。
2019年(nian)浪潮(chao)信息在(zai)OCP峰會上(shang)展示了(le)全球(qiu)第(di)一塊UBB，由此拉開(kai)了(le)OAM整體序幕；2020年(nian)，我們發布了(le)第(di)一款(kuan)參(can)考系(xi)統(tong)MX1，基于(yu)(yu)此系(xi)統(tong)，推動相應的上(shang)游(you)芯(xin)片(pian)廠商在(zai)大模型(xing)芯(xin)片(pian)上(shang)的開(kai)發和(he)(he)落地；2021年(nian)和(he)(he)2022年(nian)，基于(yu)(yu)OAM1.0規范做(zuo)了(le)基于(yu)(yu)Gen4液冷和(he)(he)風冷服務器。在(zai)此服務器上(shang)推動完善整個OAM的產(chan)品生態。在(zai)去(qu)年(nian)，所發布的《開(kai)放加速(su)規范AI服務器設(she)計指南》，給新興的AI芯(xin)片(pian)創新提(ti)供堅實(shi)的系(xi)統(tong)平(ping)臺支撐，加速(su)多元算力產(chan)業發展。
去年(nian)基(ji)于Gen4 1.5的(de)規范發布了全新Gen5 OAM服務器，并在(zai)這個(ge)產品上跟業界20多款高端AI芯片(pian)得到相(xiang)關(guan)的(de)適配。明(ming)年(nian)我們(men)會基(ji)于OAM2.0繼續發布相(xiang)關(guan)的(de)參(can)考設(she)計，持(chi)續引領高端AI芯片(pian)的(de)設(she)計以及(ji)其(qi)與我們(men)的(de)整(zheng)機系(xi)統兼(jian)容。
整體來看(kan)，OAM的(de)開放標準在硬(ying)件(jian)層面(mian)正加(jia)速推(tui)動硬(ying)件(jian)設計與先進算力的(de)部署(shu)。這(zhe)一(yi)標準可(ke)以幫助AI芯片(pian)大(da)幅縮短(duan)OAM加(jia)速卡研(yan)發和(he)系統適配周(zhou)期，節(jie)省超過6個(ge)月以上的(de)研(yan)發時(shi)間與上千萬的(de)投入成本，有(you)效(xiao)縮短(duan)硬(ying)件(jian)開發和(he)產業賦能周(zhou)期。
從以上兩個角度來看(kan)，不管(guan)在模型的(de)開源(yuan)，還是(shi)硬件的(de)開放上，大模型的(de)發(fa)展和AIGC的(de)應用，其整體的(de)迭(die)代離不開開源(yuan)和開放。今天(tian)重點基于開放來分享(xiang)這(zhe)個主題。
二、大模型參數量和所需算力大幅增加，生成式AI發展面臨四大挑戰
回顧大(da)模(mo)型的發(fa)展歷程，深度學習大(da)模(mo)型起源于二十世紀八九十年代(dai)，最初大(da)模(mo)型整體(ti)的發(fa)展速度以及(ji)迭代(dai)速度是較慢的。
2017年(nian)Google發(fa)(fa)布了一篇文(wen)章《Attention Is All You Need》，提出了Transformer架構。Transformer架構發(fa)(fa)展(zhan)之后，加(jia)速(su)了大(da)模(mo)型(xing)(xing)(xing)迭(die)代的速(su)度。尤(you)其在2022年(nian)ChatGPT發(fa)(fa)布，把大(da)模(mo)型(xing)(xing)(xing)應用推上頂(ding)峰。國內外大(da)模(mo)型(xing)(xing)(xing)層出不窮(qiong)，Sora大(da)模(mo)型(xing)(xing)(xing)再次出現，又讓多模(mo)態大(da)模(mo)型(xing)(xing)(xing)得到了激烈討(tao)論。
大(da)模(mo)(mo)(mo)(mo)型(xing)從簡(jian)單的深(shen)度學習模(mo)(mo)(mo)(mo)型(xing)到(dao)現在大(da)語言模(mo)(mo)(mo)(mo)型(xing)或者多(duo)模(mo)(mo)(mo)(mo)態(tai)大(da)模(mo)(mo)(mo)(mo)型(xing)，還有今年(nian)火(huo)熱的混(hun)合專家模(mo)(mo)(mo)(mo)型(xing)。最近幾年(nian)因為(wei)大(da)模(mo)(mo)(mo)(mo)型(xing)的迭代速(su)(su)度在飛速(su)(su)提(ti)升。我(wo)們觀察到(dao)，當前(qian)大(da)模(mo)(mo)(mo)(mo)型(xing)的參數(shu)量(liang)和所需(xu)算力的增長速(su)(su)度已經遠遠超過了摩爾定律的發(fa)展(zhan)速(su)(su)度。
大模型(xing)未來(lai)的(de)發展(zhan)趨勢：參數量(liang)更(geng)大，往混合專家、長訓練模型(xing)以及多模態大模型(xing)去(qu)發展(zhan)，并(bing)行訓練會引(yin)入新的(de)范(fan)式。
傳(chuan)統的(de)大語(yu)言模(mo)(mo)型(xing)(xing)就是Tensor并行、數據(ju)并行和(he)流水線并行，到(dao)混合專(zhuan)家模(mo)(mo)型(xing)(xing)之后(hou)引入了專(zhuan)家并行，長訓(xun)練模(mo)(mo)型(xing)(xing)引入序列并行。引入新的(de)并行模(mo)(mo)式，像專(zhuan)家并行和(he)序列并行，所需要的(de)通信量會大幅(fu)度增(zeng)加(jia)。
在(zai)大(da)(da)模(mo)型訓(xun)練(lian)(lian)過(guo)程(cheng)中，對于(yu)通信速(su)度(du)要(yao)(yao)求是(shi)比較高的(de)(de)(de)(de)。引(yin)入(ru)新的(de)(de)(de)(de)訓(xun)練(lian)(lian)范式之后(hou)，對整機(ji)的(de)(de)(de)(de)需(xu)求是(shi)什么？一(yi)(yi)方面需(xu)要(yao)(yao)更(geng)大(da)(da)的(de)(de)(de)(de)GPU Domain，不(bu)能局限于(yu)單(dan)機(ji)8卡的(de)(de)(de)(de)整機(ji)系統，需(xu)要(yao)(yao)更(geng)大(da)(da)GPU Domain滿足大(da)(da)模(mo)型發(fa)展所(suo)需(xu)要(yao)(yao)互聯的(de)(de)(de)(de)速(su)度(du)。另外(wai)，需(xu)要(yao)(yao)更(geng)大(da)(da)的(de)(de)(de)(de)互聯帶寬，大(da)(da)模(mo)型的(de)(de)(de)(de)發(fa)展遵循Scaling Law，參數量大(da)(da)幅度(du)增(zeng)加(jia)，所(suo)需(xu)要(yao)(yao)的(de)(de)(de)(de)算力也在(zai)大(da)(da)幅度(du)增(zeng)加(jia)。此(ci)前訓(xun)練(lian)(lian)一(yi)(yi)個模(mo)型需(xu)要(yao)(yao)的(de)(de)(de)(de)可(ke)能是(shi)百卡、千卡集群(qun)就可(ke)以(yi)了。
而當前以(yi)及未來(lai)大模型的發展，需要的集群即是萬卡(ka)起(qi)步甚至(zhi)十萬卡(ka)的level。
再到(dao)(dao)服務端(duan)也就是推(tui)理(li)側。我們總結來(lai)看的話(hua)，大(da)模(mo)(mo)型(xing)在推(tui)理(li)的過(guo)程(cheng)中首先(xian)會有first token，整體是一個算力敏感(gan)型(xing)，再往后的token都是一些顯存敏感(gan)型(xing)。隨(sui)著(zhu)模(mo)(mo)型(xing)的參數量(liang)大(da)幅度增加，像Llama 3總體的參數量(liang)達到(dao)(dao)4050億，未來(lai)的推(tui)理(li)其(qi)實從單(dan)卡推(tui)理(li)向多卡推(tui)理(li)演進(jin)，還(huan)有向量(liang)數據庫(ku)等推(tui)理(li)模(mo)(mo)型(xing)新范式，所引發的對CPU、互聯、整體的顯存帶寬(kuan)都有了更(geng)高的挑(tiao)戰。
基于上述特征，總結未來生(sheng)成(cheng)式AI發展所面臨的巨大挑戰。
大模型的發展在遵循Scaling Law，模型的參數量、訓練的時長和訓練的數據集都在持續增加。未來訓練一個全新的基礎大模型，萬(wan)卡(ka)已(yi)經成(cheng)為新起點(dian)，對于整機的擴展性提出新的要求。
另外，AI芯片功耗在大幅度提升，從兩年前的400W到現在的700W，明年更會達到1200W。短短三年間(jian)，GPU芯片的功耗已經提升了三倍左右。一些新的產品形態，像英偉達推出的Oberon架構單機功耗超過120kW。因為(wei)芯片算力的提升以及單(dan)機柜功耗的提升，會給整體基礎設施(shi)帶來新的變革。在單機維度(du)上(shang)需要(yao)解掉這(zhe)么(me)多GPU功耗的散熱，投入是非常大的。
另外，未來數據中心基礎(chu)設施的建設上，我們也要(yao)考慮一些新的部署模式，如何(he)快速部(bu)署單機柜(ju)還能滿足這么大功率十分重要。
基于GPU發展的功耗提升現狀下，總結未來大模型的發展，到最后(hou)都是能源的爭奪。我們如何在(zai)單機維(wei)度、集群維(wei)度能夠(gou)實現更高、更優的能耗是(shi)十分重要的。
集群部(bu)署(shu)難。在大(da)模型(xing)集群的部(bu)署上(shang)除了硬(ying)(ying)件上(shang)包含CPU、GPU、網(wang)絡、存儲(chu)等設(she)備，還涉及(ji)上(shang)層軟件和(he)硬(ying)(ying)件設(she)備的問(wen)題。我們如何快速地將這(zhe)些基礎設(she)施(shi)進(jin)行部(bu)署，再到業務層將這(zhe)些相關的算(suan)力(li)能夠轉化成應用，這(zhe)是(shi)十分重要的。
Llama 3在60多天的訓練過程中，故障400多次，平均1天有7次的故障。80%的故障都是發生在硬件的故障，60%是GPU的故障，剩下是軟件適配的故障。如何在(zai)模型的(de)(de)訓練當中保證它的(de)(de)可(ke)靠性(xing)、穩定(ding)性(xing)，是大模型能夠迅(xun)速(su)迭代(dai)的一個重要因素。
三、考慮更大Domain解決集群擴展性不足，監控管理標準化提高模型穩定性
基于以上的挑戰之下，可以有以應用為導向(xiang)，以系統為核心的(de)應(ying)用之道，具體為以下四個方(fang)面(mian)：
1、針對集群擴展性不足，我們在單機維度要考慮更大的超節點互聯，要做到超級互聯方案去實現千卡集群的Scale-up。在集群維度還要考慮采用更強(qiang)的(de)網絡交換(huan)機去做到更多的(de)萬卡甚(shen)至十萬卡的(de)GPU Scale-out。
在單(dan)機維度，我(wo)們會推出創新的(de)(de)OAM互聯方(fang)案(an)來(lai)滿(man)足(zu)萬億模(mo)型通(tong)信需求。一(yi)方(fang)面會推出基于(yu)OAM2.0的(de)(de)多機互聯方(fang)案(an)標準(zhun)，相比此前(qian)直聯的(de)(de)拓撲OAM，P2P帶寬提升7倍(bei)左右，實(shi)現(xian)更大OAM的(de)(de)Domain，支(zhi)持八(ba)千張以上的(de)(de)加速卡超(chao)級互聯。我(wo)們也會基于(yu)交換(huan)拓撲推出OAM的(de)(de)超(chao)節點互聯方(fang)案(an)，是一(yi)個完全解耦(ou)的(de)(de)整機柜(ju)形態；并(bing)基于(yu)此拓撲形成(cheng)OAM整機柜(ju)標準(zhun)，解決擴展性不(bu)足(zu)并(bing)加速OAM的(de)(de)算力(li)迭代。
在集群(qun)層面，浪潮信息推出X400超級(ji)AI以太網(wang)(wang)(wang)(wang)交換(huan)機，也是(shi)(shi)完(wan)全開(kai)放的(de)(de)(de)產品。專門為AI大模型設計，是(shi)(shi)國內首款(kuan)基(ji)于(yu)Spectrum-4打造的(de)(de)(de)產品，最(zui)高吞(tun)吐達(da)到51.2T，超級(ji)AI以太網(wang)(wang)(wang)(wang)交換(huan)機與傳統的(de)(de)(de)以太網(wang)(wang)(wang)(wang)交換(huan)機最(zui)大的(de)(de)(de)不(bu)同就是(shi)(shi)采用交換(huan)機和(he)智能(neng)(neng)網(wang)(wang)(wang)(wang)卡整體的(de)(de)(de)調(diao)度解決方(fang)案(an)，在交換(huan)機上(shang)實現(xian)(xian)對(dui)網(wang)(wang)(wang)(wang)絡(luo)包細粒度的(de)(de)(de)路由(you)調(diao)度，在網(wang)(wang)(wang)(wang)卡側提供保序服務，實現(xian)(xian)交換(huan)機和(he)網(wang)(wang)(wang)(wang)卡更加緊密耦合的(de)(de)(de)配(pei)合。基(ji)于(yu)此方(fang)案(an)，我們能(neng)(neng)夠實現(xian)(xian)16K計算節點，10萬+以上(shang)的(de)(de)(de)加速(su)卡互(hu)聯，滿足GPU之間的(de)(de)(de)互(hu)聯通信需(xu)求(qiu)。同時，帶寬的(de)(de)(de)利用率高達(da)95%以上(shang)。
2、針對計(ji)算芯片(pian)，一方面在整機維度做(zuo)到極致的(de)能效(xiao)設計，把整機的能效做到最優，把性能發揮到極致。另外，提前布局液冷，浪潮信息一直是ALL IN液(ye)冷的策略，單機柜成本非常高，整(zheng)機柜交(jiao)付的(de)模式，基于(yu)開放、快速交(jiao)付的(de)液冷(leng)整(zheng)機柜交(jiao)付形(xing)態去滿足計算芯片功(gong)耗高帶來的(de)挑戰。
針(zhen)對GPU功耗的(de)(de)飛速(su)發展，在(zai)單機維度采用(yong)極限的(de)(de)設(she)計，去(qu)實現極致的(de)(de)效能(neng)(neng)(neng)。我們在(zai)面向全球最(zui)大的(de)(de)AI服務(wu)(wu)(wu)器(qi)(qi)用(yong)戶的(de)(de)工程實踐當中總結了(le)設(she)計方案，不斷(duan)突破單機算力密度和單機的(de)(de)性(xing)能(neng)(neng)(neng)。NVLink服務(wu)(wu)(wu)器(qi)(qi)我們已經(jing)(jing)做了(le)四代(dai)，OAM服務(wu)(wu)(wu)器(qi)(qi)已經(jing)(jing)做了(le)三代(dai)的(de)(de)產品，整(zheng)體(ti)服務(wu)(wu)(wu)器(qi)(qi)上通過全鏈(lian)路仿真、分區的(de)(de)散熱(re)調控(kong)去(qu)實現了(le)極致的(de)(de)散熱(re)和最(zui)佳的(de)(de)性(xing)能(neng)(neng)(neng)。在(zai)保障產品極致性(xing)能(neng)(neng)(neng)的(de)(de)同時，把整(zheng)體(ti)的(de)(de)能(neng)(neng)(neng)效發揮(hui)到最(zui)優。
另外一方面(mian)，首創像風扇的智能聽音(yin)診斷(duan)技(ji)(ji)術，通過相關的智能診斷(duan)去保障大模型訓練過程中(zhong)總(zong)體的功耗(hao)和噪音(yin)的極致(zhi)優化。在液(ye)冷(leng)(leng)方面(mian)，剛才提(ti)到我們(men)ALL IN液(ye)冷(leng)(leng)戰略，很早布局(ju)液(ye)冷(leng)(leng)，包含冷(leng)(leng)板式(shi)散(san)熱(re)、浸沒式(shi)等液(ye)冷(leng)(leng)方面(mian)的技(ji)(ji)術。
在基(ji)礎設施層面，通過開放液冷技術標(biao)準(zhun)推動(dong)(dong)液冷加(jia)(jia)速普及(ji)(ji)。一方(fang)(fang)面制定相關的(de)(de)液冷技術標(biao)準(zhun)，推動(dong)(dong)液冷的(de)(de)加(jia)(jia)速普及(ji)(ji)。打造(zao)標(biao)準(zhun)接口的(de)(de)液冷組(zu)件(jian)，滿(man)足單機(ji)(ji)的(de)(de)Scale-up。基(ji)于(yu)以往的(de)(de)數據風冷機(ji)(ji)房改造(zao)，通過風液式(shi)CDU，實(shi)現(xian)一天(tian)零改造(zao)快(kuai)速落地(di)和(he)部(bu)署(shu)(shu)。基(ji)于(yu)冷鏈的(de)(de)架構革新(xin)推出(chu)單機(ji)(ji)柜120千(qian)瓦的(de)(de)整機(ji)(ji)柜形(xing)態(tai)，滿(man)足未來(lai)更大的(de)(de)超節點互聯方(fang)(fang)案，實(shi)現(xian)快(kuai)速落地(di)部(bu)署(shu)(shu)。基(ji)礎設施維度，通過開放的(de)(de)生態(tai)，建立預制化可(ke)(ke)擴(kuo)展、可(ke)(ke)生長的(de)(de)數據中心交付(fu)形(xing)態(tai)，來(lai)加(jia)(jia)快(kuai)算力的(de)(de)部(bu)署(shu)(shu)。
3、在整機維度，把GPU的監控管理標準化加速迭代。并(bing)在訓練(lian)(lian)過程(cheng)中基于自(zi)適應(ying)的分布式訓練(lian)(lian)系統，保障(zhang)訓練(lian)(lian)的穩(wen)定。
穩(wen)定性是高效(xiao)完(wan)成大模型發(fa)展(zhan)的必備條件(jian)。
一方面(mian)我(wo)們對整體(ti)的(de)(de)(de)監控管(guan)理(li)標(biao)(biao)準化(hua)，從(cong)OAM的(de)(de)(de)固(gu)件管(guan)理(li)規范，定義了(le)管(guan)理(li)的(de)(de)(de)標(biao)(biao)準，包括從(cong)數據(ju)的(de)(de)(de)更新頻率、異(yi)常數據(ju)處理(li)，還(huan)有等級的(de)(de)(de)數據(ju)處理(li)機制以及整機預告警、分(fen)(fen)區分(fen)(fen)層診斷機制，我(wo)們都去(qu)定義了(le)相應的(de)(de)(de)標(biao)(biao)準，加速(su)不同GPU芯片在整機系統的(de)(de)(de)兼容。另(ling)外，我(wo)們基于OpenBMC開放了(le)管(guan)理(li)平臺，原生(sheng)架構兼容了(le)像AI服(fu)務(wu)器、通用(yong)服(fu)務(wu)器、專業服(fu)務(wu)器、存(cun)儲(chu)服(fu)務(wu)器等多元異(yi)構的(de)(de)(de)計算平臺。通過模塊化(hua)的(de)(de)(de)解(jie)耦實(shi)現(xian)Arm、x86、CPU等以及GPU、ASIC等加速(su)卡的(de)(de)(de)兼容，能夠實(shi)現(xian)快(kuai)速(su)迭代。
另一方面，在模型訓練過程中，如何在監控層面，有效應對訓練中出現的故障等突發情況？我們通過AIStation人工智能(neng)開發平臺(tai)，構(gou)建自(zi)(zi)適應分(fen)布式訓(xun)練(lian)系統。一(yi)方面(mian)(mian)可(ke)以(yi)實(shi)現多(duo)租戶資(zi)源的(de)管理，去(qu)提高集群資(zi)源的(de)利(li)用率和降低集群管理的(de)復雜度。另外一(yi)方面(mian)(mian)，當出現斷點的(de)時候，能夠通過(guo)(guo)在訓(xun)練(lian)池(chi)中快(kuai)速地拉通備機，實(shi)現快(kuai)速恢復訓(xun)練(lian)和訓(xun)練(lian)的(de)自(zi)(zi)愈，保障大(da)模型(xing)在訓(xun)練(lian)過(guo)(guo)程(cheng)中長時間、高效的(de)穩定(ding)運行。通過(guo)(guo)AIStation能夠將(jiang)故障的(de)處理時間縮短90%以(yi)上(shang)。
4、最后，在模型的部署落地上，通過“元腦(nao)企智”EPAI加速大模型業務部署(shu)和應用創新(xin)，為企業AI大模型(xing)的落地應(ying)用(yong)提供高可(ke)用(yong)，以(yi)及安全(quan)端(duan)到端(duan)的開(kai)發(fa)平(ping)臺，提供相應(ying)的像數據準備、知識檢索、模型(xing)微調(diao)和(he)訓練，以(yi)及應(ying)用(yong)框架的系列工具支持調(diao)度多元算力和(he)多模算法，幫助企業高效地部署生成式AI應(ying)用(yong)。
綜(zong)上所述(shu)，浪潮信息始終(zhong)堅持以(yi)應用(yong)為(wei)導向(xiang)，以(yi)系統為(wei)核(he)心，通過(guo)(guo)開(kai)(kai)(kai)源開(kai)(kai)(kai)放(fang)(fang)的(de)(de)系統激發(fa)生成(cheng)式(shi)AI創新(xin)活(huo)力。在硬件開(kai)(kai)(kai)放(fang)(fang)方(fang)面(mian)，通過(guo)(guo)建立OAM（開(kai)(kai)(kai)放(fang)(fang)加速(su)(su)模塊）規范(fan)，加速(su)(su)先(xian)進算力的(de)(de)上線部署，支(zhi)(zhi)撐大(da)模型(xing)及AI應用(yong)的(de)(de)迭代加速(su)(su)。在軟件開(kai)(kai)(kai)放(fang)(fang)方(fang)面(mian)，通過(guo)(guo)大(da)模型(xing)開(kai)(kai)(kai)發(fa)平臺“元腦企智”EPAI，為(wei)企業打造全流程應用(yong)開(kai)(kai)(kai)發(fa)支(zhi)(zhi)撐平臺；通過(guo)(guo)AIStation人(ren)工智能開(kai)(kai)(kai)發(fa)平臺，提供穩定的(de)(de)保障系統，實現從模型(xing)開(kai)(kai)(kai)發(fa)、訓練(lian)、部署、測試、發(fa)布、服務的(de)(de)全流程一站式(shi)高效交付(fu)。我們始終(zhong)秉承開(kai)(kai)(kai)放(fang)(fang)包容的(de)(de)生態，加速(su)(su)生成(cheng)式(shi)AI的(de)(de)快速(su)(su)發(fa)展。
