芯東西（公眾號：aichip001）
作者 | ?心緣
編輯 | ?漠影
芯(xin)東西(xi)7月(yue)7日報道，在2021世界(jie)人工智能大(da)會期間，上海燧原科技推(tui)出第二代云端AI訓練(lian)芯(xin)片邃思(si)2.0及訓練(lian)產品云燧T20/T21，以及全新升(sheng)級的馭算Topsrider 2.0軟件平臺(tai)。
邃思(si)2.0是迄今中(zhong)國最(zui)(zui)大的(de)(de)AI計算(suan)芯片，采用日月光2.5D封裝的(de)(de)極(ji)限，在國內率先支持TF32精(jing)度(du)，單精(jing)度(du)張量TF32算(suan)力可(ke)達(da)160TFLOPS。同(tong)時，邃思(si)2.0也是首個支持最(zui)(zui)先進內存HBM2E的(de)(de)產(chan)品(pin)。
▲邃思2.0部分性(xing)能
云燧(sui)T20/T21基于邃(sui)思2.0而打造，由8000多張第二代云燧(sui)訓練卡組(zu)成的云燧(sui)智(zhi)算集(ji)群2.0，單精度最高算力達1.3EFLOPS，即130000TFLOPS。
燧原科技成立(li)于2018年(nian)3月，此前已相繼推出首款(kuan)云端(duan)AI訓(xun)練芯片邃思、首款(kuan)云端(duan)AI訓(xun)練加速卡(ka)云燧T10和(he)AI推理加速卡(ka)云燧i10，以(yi)及配(pei)套的“馭(yu)算”軟件平臺。
▲燧原發展歷程
成(cheng)立至今，燧(sui)原(yuan)科技連續獲(huo)得過5輪融(rong)資(zi)(zi)(zi)，累計融(rong)資(zi)(zi)(zi)額近(jin)32億元人(ren)民(min)幣。其最新一(yi)筆融(rong)資(zi)(zi)(zi)為今年1月完成(cheng)的18億人(ren)民(min)幣C輪融(rong)資(zi)(zi)(zi)，由中信產(chan)業基金(jin)、中金(jin)資(zi)(zi)(zi)本旗下基金(jin)、春(chun)華資(zi)(zi)(zi)本領投。
▲燧原科技CEO趙(zhao)立東（左）與(yu)燧原科技COO張亞林（右）共同發(fa)布云燧T20訓練加速卡和邃(sui)思2.0芯片
一、公布最新五年產品路線圖
燧原(yuan)科技(ji)創始(shi)人、COO張亞林公布了(le)燧原(yuan)產品定理(li)：燧原(yuan)的每一代(dai)產品必須比(bi)前一代(dai)在“平均業務”中每瓦性能提(ti)升(sheng)超3倍(bei)，軟件后向兼容可靠(kao)。
▲燧原產品定理
現場，張亞林(lin)還(huan)發布了燧原科技的最新路線圖(tu)。
到2023年，燧原科技(ji)計劃(hua)打造3款云端(duan)訓練(lian)計算產(chan)(chan)品(pin)(pin)、3款云端(duan)推理計算產(chan)(chan)品(pin)(pin)，將性能功耗比提(ti)升(sheng)至初代的14倍(bei)，并同步升(sheng)級Matrix集群(qun)。
▲燧原(yuan)云端訓練(lian)計算產(chan)品路線圖(tu)
同一(yi)時期，馭算Topsrider軟件平臺從全棧(zhan)模(mo)塊發展到訓推(tui)一(yi)體(ti)，繼而走向泛AI生態。
▲燧原馭(yu)算Topsrider軟(ruan)件平臺路線(xian)圖(tu)
燧原科技(ji)創始(shi)人兼CEO趙立東分享道，下面(mian)這些(xie)落(luo)地(di)場(chang)景將形成燧原科技(ji)今(jin)年的收入(ru)。
▲燧原產品(pin)商(shang)業落(luo)地場景
燧(sui)原(yuan)研發(fa)團隊(dui)的主要(yao)成員均(jun)擁有15年以上(shang)的高(gao)端芯片及相關軟件生態系(xi)統開(kai)發(fa)和量(liang)產經驗，曾(ceng)成功開(kai)發(fa)并量(liang)產多顆(ke)大型芯片。
截至(zhi)今年5月，其(qi)團(tuan)隊(dui)規(gui)模已經超(chao)過500人，其(qi)中近90%為研發團(tuan)隊(dui)，博(bo)士及碩士占比(bi)近70%。
目前燧原(yuan)已獲得52項(xiang)(xiang)專(zhuan)(zhuan)利(li)，其中(zhong)包括45項(xiang)(xiang)發(fa)明(ming)專(zhuan)(zhuan)利(li)，同時有近(jin)30項(xiang)(xiang)專(zhuan)(zhuan)利(li)正(zheng)在申請中(zhong)。這(zhe)些專(zhuan)(zhuan)利(li)內容涵蓋(gai)了芯片(pian)的運(yun)算(suan)單(dan)元、核心功能模塊、到封裝及系統集群，以及軟件(jian)的架構(gou)和(he)優化。
二、超大規模智算集群，最高算力達1.3E
今天，燧(sui)原科技推出與友商(shang)合作打造的全新產品(pin)品(pin)牌云燧(sui)智(zhi)(zhi)算集(ji)群(qun)(qun)CloudBlazer Matrix 2.0，集(ji)合8192張(zhang)云燧(sui)訓練卡，可實現最高1.3E（130000T）的單精度智(zhi)(zhi)能算力集(ji)群(qun)(qun)。
▲云燧智算集群介紹
“在全世界還沒有人能達到在單精(jing)度算力上(shang)用8000張卡實(shi)現超(chao)過1E的算力。”張亞林說，這代表著(zhu)燧(sui)原科技正式(shi)用集(ji)群化產(chan)品登上(shang)中國智(zhi)能計算和新基建算力的舞臺。
同時，云燧智算集群(qun)能驅動綠色數字化(hua)，液冷PUE可(ke)降到1.5以下，大(da)幅提升整個集群(qun)的(de)能效。
燧原與合(he)作伙伴的聯(lian)合(he)開發，一起構建超大規(gui)模的液冷智(zhi)(zhi)能(neng)數(shu)據中心，以響(xiang)應(ying)國家“低(di)碳算(suan)力”和“綠色一體(ti)化智(zhi)(zhi)能(neng)計算(suan)”的戰略方向。
三、國內最大AI芯片，五大特性解讀
燧(sui)(sui)原云燧(sui)(sui)智算(suan)集(ji)群(qun)(qun)2.0包括邃思(si)DTU 2.0、云燧(sui)(sui)T20和(he)T21訓練(lian)產品、新一(yi)代馭算(suan)軟件，能有效(xiao)降(jiang)低AI超算(suan)集(ji)群(qun)(qun)的(de)整(zheng)體復雜度(du)和(he)成本。
其(qi)中，燧(sui)原(yuan)科技第(di)二(er)代云端AI訓練(lian)芯片邃思(si)DTU 2.0經過了全新升級迭代，其(qi)計算能力(li)(li)、存儲和(he)帶(dai)寬、互聯(lian)能力(li)(li)較第(di)一(yi)代訓練(lian)產品有巨大提(ti)升，對(dui)超大規模的模型支(zhi)持能力(li)(li)獲得顯著增強。
▲邃思2.0實物圖
1、封裝：中國最大的計算芯片
張(zhang)亞(ya)林介紹道，邃思2.0是中國最大尺寸的(de)(de)(de)計算芯片，采用2.5D高級封(feng)裝(zhuang)技術，突破了臺灣頂級封(feng)裝(zhuang)合作伙伴的(de)(de)(de)封(feng)裝(zhuang)歷(li)史極限，共整合9顆芯片，實現57.5mm x 57.5mm的(de)(de)(de)封(feng)裝(zhuang)尺寸。
2、計算：TF32精度峰值算力達160TFLOPS
邃思2.0進行了大規(gui)模(mo)的(de)架(jia)(jia)構升級，新(xin)一代(dai)全自研的(de)GCU-CARA全域計算(suan)架(jia)(jia)構針對AI計算(suan)的(de)特性進行深度優化(hua)，夯(hang)實了支持通(tong)用異構計算(suan)的(de)基礎。
該(gai)芯(xin)片支持全(quan)面的(de)計算精(jing)(jing)度(du)，涵蓋從FP32、TF32、FP16、BF16到(dao)(dao)INT8。張亞林說，這是中國(guo)首款支持單精(jing)(jing)度(du)張量TF32數據(ju)精(jing)(jing)度(du)的(de)AI芯(xin)片，算力達(da)160TFLOPS。在單精(jing)(jing)度(du)FP32下，邃思(si)2.0的(de)峰值算力達(da)到(dao)(dao)40 TFLOPS；同時(shi)該(gai)芯(xin)片支持定點整數精(jing)(jing)度(du)，峰值算力達(da)320TOPS。
3、數據：植入完全可編程的數據流
數據被認為是AI在芯片處理上僅次于計算的部分，因為數據流的處理會直接決定計算的效率，燧原科技在整個芯片內部，植入了完全可編程的數據流。
軟件指令驅動的(de)傳輸和數(shu)據(ju)(ju)計算(suan)，保(bao)證了數(shu)據(ju)(ju)的(de)吞(tun)吐量(liang)(liang)，以(yi)及(ji)不(bu)同模型下(xia)的(de)效(xiao)率，完全支(zhi)撐(cheng)標量(liang)(liang)、向量(liang)(liang)和張量(liang)(liang)的(de)高效(xiao)數(shu)據(ju)(ju)處理(li)，以(yi)及(ji)多地址廣(guang)播。
4、存儲：率先支持HBM2E先進存儲
邃思2.0的中心是(shi)主(zhu)芯(xin)片(pian)，在邊緣有4顆三(san)星最先進(jin)的存儲(chu)芯(xin)片(pian)HBM2E，高配支持64GB內存，最大帶(dai)寬達1.8TB/s。據悉，這(zhe)是(shi)中國(guo)首款支持世(shi)界(jie)最先進(jin)存儲(chu)HBM2E和單(dan)芯(xin)片(pian)64GB內存的產品。
5、互聯：高速互聯支撐算力擴展
GCU-LARE全域互聯技術是燧原專(zhuan)為AI訓練集群研(yan)發的(de)互聯技術，提供雙向(xiang)300 GB/s互聯帶寬，支持數千(qian)張云燧CloudBlazer加速卡互聯，可(ke)實現(xian)優異的(de)線性加速比。
四、訓練卡算力比肩友商旗艦
云(yun)燧T20和云(yun)燧T21是基(ji)于邃(sui)思2.0打造的兩款AI訓練加速板卡。具(ju)體(ti)參數如下：
燧(sui)原科(ke)技還現場展(zhan)示(shi)了(le)T20的Benchmark，由圖可見，云燧(sui)T20 TF32精度性能平均(jun)2.5倍于友商次旗(qi)艦(jian)。
在多類模型測試中(zhong)，云燧T20與友商旗艦(jian)性(xing)能幾乎(hu)不(bu)分伯(bo)仲。
五、軟件平臺同步升級：更高更快更通用
此次同步(bu)升(sheng)級的(de)馭算Topsrider，是(shi)燧原科技自(zi)主(zhu)知識產(chan)權(quan)的(de)計算及編(bian)程平臺。張亞(ya)林介紹道：“升(sheng)級后的(de)馭算軟件平臺更加便捷易用和客(ke)戶友好(hao)，燧原科技也可(ke)針(zhen)對客(ke)戶的(de)場景和業務(wu)模型(xing)提供(gong)軟件定制化(hua)服務(wu)和優化(hua)，打造(zao)差異化(hua)解(jie)決方案。”
▲馭(yu)算Topsrider2.0架構
總體來說，馭算(suan)Topsrider2.0有三大(da)特點：更高性能算(suan)力(li)、更便捷高效開(kai)發、更靈活(huo)通(tong)用支持(chi)。
升級的馭(yu)算(suan)平(ping)臺通過軟硬件協同(tong)架構(gou)設(she)計(ji)，充分發揮邃思2.0的性能，并借(jie)助(zhu)側寫工具、自動化調整等功能進一步釋放(fang)硬件算(suan)力，同(tong)時(shi)，其高效并行通信庫支持(chi)超大集群高線(xian)性加速比。
該平(ping)臺對開(kai)(kai)(kai)發(fa)(fa)者(zhe)很友好。開(kai)(kai)(kai)放升級的(de)(de)編程模型和(he)可(ke)擴展的(de)(de)算(suan)子接(jie)口，為客戶模型的(de)(de)優(you)化提(ti)供了快捷的(de)(de)自定義算(suan)子開(kai)(kai)(kai)發(fa)(fa)能(neng)力。馭(yu)算(suan)也提(ti)供完(wan)善編譯(yi)器和(he)工具鏈支持、開(kai)(kai)(kai)箱(xiang)即用的(de)(de)圖形(xing)化整合開(kai)(kai)(kai)發(fa)(fa)環(huan)境、動態(tai)形(xing)狀自動編譯(yi)和(he)高(gao)性能(neng)運行支持。
當前馭算Topsrider2.0基于算子泛(fan)化(hua)技術及圖優化(hua)策略(lve)，可(ke)支持(chi)(chi)主流深度(du)學習框架下的各類(lei)模型(xing)訓練(lian)和(he)ONNX模型(xing)轉換；設(she)備虛(xu)擬化(hua)方面，最大可(ke)支持(chi)(chi)4個MID用戶(hu)。
六、公布“燎原”計劃，構建通用異構計算生態
面向生態建設，燧原科技創始人兼CEO趙立東宣布推出燧原異構計算生態“燎原”計劃，有原始創新、標準化、生態共建三大特征。
這一計(ji)劃(hua)的目標(biao)是(shi)以AI為(wei)起點，構建(jian)通用(yong)異構計(ji)算(suan)生(sheng)態(tai)(tai)，構建(jian)標(biao)準化技術體系，共(gong)建(jian)完(wan)整(zheng)生(sheng)態(tai)(tai)服務(wu)數(shu)字中(zhong)國(guo)。
除了在深度學習計算、通(tong)用人(ren)工智能領(ling)域外(wai)，燎原計劃(hua)還會透過(guo)通(tong)用異構計算來涵蓋科學和(he)工程計算，以及視覺計算相關的視頻(pin)編解碼和(he)圖形渲染等。趙(zhao)立(li)東說，這個表(biao)列將根據(ju)市場發展(zhan)和(he)需求不斷(duan)增(zeng)加。
▲燧原的生態朋友圈
“燧(sui)原已經(jing)在原始創新的(de)路上了，但是，所有的(de)事情必須要腳踏實地。”趙立東說，“這才能夠使得我們真(zhen)正實現自主可控、原始創新，真(zhen)正建立中國(guo)強大的(de)人(ren)工智能算力。路雖遠，行則將至。事雖難，不做(zuo)不成(cheng)。”
結語：國產云端AI芯片走向落地新競賽
完全自(zi)研的軟硬(ying)件架(jia)構，使得燧原科技在知(zhi)識產權(quan)和產品升級(ji)迭代上可以自(zi)主掌控(kong)方向(xiang)和節奏(zou)。
成(cheng)立三年(nian)以來，燧原科(ke)技嚴格遵循每年(nian)推(tui)出一款云(yun)端計(ji)算新品的(de)節(jie)奏，完成(cheng)了大(da)芯(xin)片、軟件全棧、系(xi)統集群(qun)從產(chan)品定義、設計(ji)驗證(zheng)、流片到產(chan)品的(de)最終商(shang)業落(luo)(luo)地。這樣的(de)研發速度和落(luo)(luo)地能力，在國內云(yun)端AI芯(xin)片創企中當(dang)屬前排(pai)。
如(ru)今(jin)云端AI芯片賽道(dao)持續受到資本的(de)青睞，更多的(de)新興(xing)初創公司選(xuan)擇(ze)涌入其中，賽道(dao)正變得(de)愈發擁(yong)擠。與(yu)此同時，隨著(zhu)更多云端AI芯片產品(pin)開始走向落地，誰(shui)能脫(tuo)穎而出，將交給市場(chang)來(lai)說話。
