芯東西（ID：aichip001）
編輯 |? 溫淑
GTIC 2020全球AI芯片創新峰會剛剛在北京圓滿收(shou)官！在這(zhe)場全天座無虛席(xi)、全網直(zhi)播觀(guan)看人數逾(yu)150萬次的高規格(ge)AI芯片產(chan)業峰會上(shang)，19位產(chan)學界重(zhong)磅嘉(jia)賓(bin)從不同維(wei)度分(fen)享(xiang)了對中(zhong)國AI芯片自主創新和應用落地的觀(guan)察與預判。
在峰會下午場，Imagination Technologies公司副總裁(cai)&中國區總經理(li)劉國軍，發表了題(ti)為(wei)《多核GPU與專用(yong)NNA推動從云(yun)到端(duan)側智能應(ying)用(yong)》的演(yan)講。
▲Imagination Technologies公司(si)副總(zong)裁&中國區總(zong)經理劉國軍
劉國軍講(jiang)解(jie)(jie)了Imagination的產品設計思(si)路。隨著AI賦能的時代(dai)來臨(lin)，從互聯網(wang)到物聯網(wang)、從指紋解(jie)(jie)鎖到高(gao)(gao)性(xing)能計算(suan)，各個領域(yu)對算(suan)力的需求高(gao)(gao)漲(zhang)。后摩爾時代(dai)，異構加速(su)計算(suan)成為滿足全(quan)球各領域(yu)算(suan)力需求的可(ke)行解(jie)(jie)決(jue)方案(an)。CPU、GPU、FPGA、ASIC、專用AI加速(su)器的異構融合，為提高(gao)(gao)算(suan)力開辟了新的方向(xiang)。
面向算力需求，Imagination打造GPU IP和神經網絡加速器（NNA）IP的產品組合，分別著眼于AI計算(suan)的靈活性(xing)，以及高計算(suan)密度、低功耗需求。
Imagination分(fen)別于(yu)今年(nian)10月和(he)11月，發布了(le)采用多核(he)架構的(de)(de)最新(xin)B系列GPU IP和(he)第(di)四(si)代(dai)NNA IP。在GTIC AI芯片創(chuang)新(xin)峰會上，劉國軍亦分(fen)享(xiang)了(le)這兩款重磅新(xin)品的(de)(de)性(xing)能特(te)點，其中(zhong)B系列GPU IP包(bao)含四(si)款產品，功耗較前代(dai)產品降低(di)30%，面積縮減25%，算力可達6TFLOPS，能滿足從移動終(zhong)端到自動駕駛(shi)應用的(de)(de)不同需求；而最新(xin)第(di)四(si)代(dai)NNA IP產品擁(yong)有全(quan)新(xin)多核(he)架構，可提(ti)供(gong)(gong)600TOPS甚至(zhi)更(geng)高的(de)(de)性(xing)能，能為大型神經網絡工(gong)作負載(zai)提(ti)供(gong)(gong)極低(di)的(de)(de)帶寬和(he)延遲。
以下為劉國軍演講實錄整理：
一、Imagination所有知識產權沒有源自美國
Imagination Technologies是一家全球領先的戰略性獨立的IP供應商。
1994年，Imagination在倫敦交易所上市。NEC和ST micro的PC以及世嘉Dreamcast游戲機，都采用過PowerVR 3D技術。后期公司GPU技術轉向移動端，并獲得了巨大成功。因為公司運營的成功，Imagination創始人和當時的CEO被英國伊麗莎白女王授予勛章。
基于GPU方面的成就，近十年Imagination一(yi)直致(zhi)力于研(yan)發(fa)人工智(zhi)能IP技術，并開(kai)發(fa)了人工智(zhi)能產品線(xian)。
2017年(nian)，在失去了最大(da)客戶后(hou)，Imagination被中(zhong)資背景的凱橋基金(jin)會全資收購。
去(qu)年(nian)年(nian)底，Imagination曾經的最(zui)大客戶重(zhong)新回歸，與Imagination達成新的多年(nian)期授(shou)權協議。
Imagination有最核心的關鍵專利，公司專利技術多達1500多項。采用Imagination IP的芯片發貨量超過110億。在全球很多地方，Imagination設(she)有研(yan)發人員(yuan)和銷(xiao)售機構。
還有一點很特別，目前Imagination所有的知識產權沒有源自美國，這在當前的形勢下很關鍵。
二、用“GPU+AI加速器”破解算力需求
Imagination現有產品分兩大類。
一類是GPU圖形處理IP，可(ke)用于(yu)移(yi)(yi)動設(she)備(bei)、物聯網、微控制(zhi)器、數字電視和汽(qi)車等眾多市(shi)場領域(yu)。目前Imagination在全球移(yi)(yi)動GPU IP市(shi)場占有率為36%，在汽(qi)車GPU IP領域(yu)占到43%。Imagination今(jin)年剛推出的(de)多核架構IMG BXT產(chan)品，能(neng)夠(gou)達到數據中心的(de)性能(neng)水平。
同時(shi)在圖形渲染方(fang)面(mian)，Imagination是全球為(wei)數不多發(fa)布了硬件(jian)光線追蹤技術的高科技公司。
Imagination還有一類產品是神經網絡加速器NNA IP。神經網絡加速器，簡單來講就是AI計算加速。
Imagination構(gou)建了一個(ge)通(tong)用的(de)計算平臺和專用的(de)人工智能網(wang)絡加速的(de)平臺。此外還有以太(tai)網(wang)的(de)數(shu)據處理器，這是汽車整體解決方案中的(de)一個(ge)重要技術。
Imagination的GPU IP和NNA IP應(ying)用范圍很廣，可應(ying)用在(zai)移動、汽車、物聯、云游(you)戲等各個領域。
GTIC AI芯片創新峰會的討論離不開算力。在信息與數據的社會，從互聯網上的幾十億數據，到物聯網上數萬億的設備互相連接，這其中的AI應用需要強(qiang)大算(suan)力的(de)支撐(cheng)。應用端也是一樣，從一個指紋(wen)的(de)識別(bie)到最高性能的(de)計算(suan)，都需要算(suan)力來支撐(cheng)。
傳統的CPU遠遠不能滿足當前從云到端的算力需求。從云端到邊端，到2024年，數據中心市場可以達到約1000億美元。在這當中，AI推(tui)理芯片在邊緣計算市場占據了很大份額，達到約63.6%。
隨著AI邊緣推理應用向(xiang)前發展(zhan)，大家(jia)可(ke)以看到，移(yi)動(dong)互聯、工(gong)業、安防、物聯網(wang)、多媒體(ti)、自動(dong)駕駛等領域(yu)中的相關應用逐漸落(luo)地。
算力需求怎么滿足？Imagination選取的是“GPU+AI加速器”的解決方案，用“GPU+NNA”面向自動駕駛(shi)和數據中心應用。
在(zai)邊緣(yuan)計(ji)算(suan)(suan)場(chang)景，AI 芯片主要(yao)承擔推理(li)任務。由于(yu)邊緣(yuan)側(ce)場(chang)景多種多樣、各不相同，對于(yu)計(ji)算(suan)(suan)硬件平(ping)臺(tai)的算(suan)(suan)力和(he)能耗等性能需(xu)求也不同。因(yin)此(ci)，不同于(yu)云(yun)端AI芯片需(xu)具備“高端、通用”的性能特(te)點，應用于(yu)邊緣(yuan)側(ce)的AI芯片需(xu)要(yao)針(zhen)對特(te)殊場(chang)景進行針(zhen)對性設計(ji)，以實現(xian)最優的解(jie)決方案(an)。
IMG的(de)(de)邊緣側推(tui)理解決方案將GPU和NNA相結(jie)合，靈活地(di)(di)將不同的(de)(de)工作負(fu)荷(he)分(fen)配到最適合的(de)(de)硬件單(dan)元，最大(da)限度地(di)(di)發揮不同硬件單(dan)元的(de)(de)性能。
三、全新(xin)B系(xi)列GPU IP & 4系(xi)列 NNA IP均采用多核架構
今年十月份，Imagination在北京發布B系列的GPU。隨后在11月，Imagination發布第四代NNA IP。最新一代GPU IP和NNA IP有什么特點？在AI芯片獲(huo)取算力方面，做出哪些提升(sheng)？
劉國軍分(fen)享，B系列GPU IP共包含BXE、BXM、BXT、BXS四款產(chan)品(pin)，從低到(dao)高(gao)提(ti)供不同的(de)性(xing)能。
其中，BXS是符合ISO 26262標準的汽車GPU IP內核，采用虛擬化技術及分塊區域保護技術，具備全新的功能(neng)和安(an)全機制。這些功能(neng)都(dou)集成在硬(ying)件中，對于汽車GPU和自動駕駛應(ying)用而言，這種設(she)計有利于提升安(an)全性。
BXT采用多核架構，算力可達6TFLOPS、192Gigapixel/s，且具備可擴展性，可以去中心化。針對7nm、5nm制程，BXT可(ke)做特定優化，以滿足(zu)從(cong)移動終端到數據中心的使用需求。
新的架構在多核配置的時候，與傳統的配置有所不同。針對memory多核算力增加時的效率問題、memory的讀取存儲問題，Imagination也有比較(jiao)好(hao)的解決方案(an)。
對比市場上使用同樣半導體制造工藝的PCIe顯卡，IMG BXT具有更高的計算密度。這意味在同樣的硅片面積下，BXT可以提供更高的單精度（FP32）運算能力。
Imagination最新的(de)4系列NNA IP也(ye)采(cai)用多核架構，這是(shi)NNA IP系(xi)列的第四代產品。
NNA IP系列第一代產品沒有發布。第二代NNA IP產品PowerVR 2NX于2017年在(zai)深圳發(fa)布。PowerVR 2NX單(dan)核IP運行(xing)(xing)在(zai)保守頻(pin)率800?MHz，能提(ti)供2048?MACs/cycle（行(xing)(xing)業標(biao)準性(xing)能指(zhi)標(biao)）操(cao)作，即(ji)可(ke)達(da)到每(mei)秒3.2萬(wan)億次推(tui)理操(cao)作。
紫光展銳采用這款IP開發的虎賁T710芯片，在去年的Benchmark跑分中拿到第一名。
今年最新發布的第四代NNA IP計算效率和計算密度都十分杰出。4NX-MC4一個四核方案可提供50TOPS算力，由于具備可擴展性，基于最新NNA IP的解決方案可將算力擴展至200甚至500TOPS。
多核的特點是什么？是可擴展。在整個計算過程中，多核架構可以做到近memory計(ji)算，降低(di)延遲。另外(wai)，多核架(jia)構的各種(zhong)調度和(he)分(fen)配方式都十分(fen)靈活且可預測。
NNA IP可以多網絡運行，也就是說一個核可同時運行多個網絡，同一個網絡也可以切分到不同的核上去運行，這樣就可以預測計算的時間。Imagination有一個離線工(gong)具(ju)，來對特(te)定應用作分(fen)配和調度。
根據各類實驗結果，Imagination的Tensor?Tiling技術（ITT）平均可以降低90%的帶寬。
目(mu)前(qian)，Imagination正在為(wei)ITT技術申請(qing)專利，這項技術也被應(ying)用于4系(xi)列NNA IP。
ITT技(ji)術(shu)可(ke)以(yi)通過對計算(suan)任務進行tiling，充分利用(yong)(yong)片上(shang)存儲，提升(sheng)數據處理效率，并節省訪問外部(bu)存儲的(de)(de)帶寬。利用(yong)(yong)本地(di)數據的(de)(de)依(yi)賴(lai)性，ITT技(ji)術(shu)可(ke)將中間數據保(bao)存在片上(shang)存儲器中，最大限度地(di)減少將數據傳輸至外部(bu)存儲器，從(cong)而將帶寬降低(di)多達90％。作為一種(zhong)可(ke)擴(kuo)展(zhan)的(de)(de)算(suan)法，ITT在擁有(you)大量輸入數據的(de)(de)網絡上(shang)具有(you)顯著優勢(shi)。
在Imagination的解決方案里，GPU承擔計算任務，同時承擔渲染的任務；NNA承擔神經網(wang)絡(luo)計算任務(wu)。
GPU的渲染能力基于Imagination已經出貨多年的專利技術——硬件虛擬化。
借助硬件虛擬化技術，一個GPU可以承擔多個屏的計算渲染任務，支持多個操作系統。同時，多個GPU之間有物理隔離，不會相(xiang)互干擾。
這樣就實現了結合GPU的靈活性和NNA的效率，再加上memory，形成一個異構的計算平臺。
這個異構計算平臺具備非常靈活的任務分配和配置功能，上面是兩個GPU，下面是NNA，中間有(you)內部的(de)總線。這是一種非常(chang)有(you)效的(de)算力配置(zhi)方法，能滿(man)足從ADAS到自(zi)動(dong)駕駛的(de)功能需求(qiu)。
同時，Imagination提供統一的API，可以給開發者提供統一的接口去支持各種不同的網絡。對工作量和網絡類型的適配，都可以由統一的API支持。另外，GPU IP和NNA IP支持(chi)同一個開(kai)發(fa)工(gong)具，這方便了廣大開(kai)發(fa)者的(de)使用。
以上是劉國軍演講內容的完整整理。除劉國軍外，在本屆GTIC 2020 AI芯片創新峰會期間，清華大學微納電子系尹首一教授，比特大陸、地平線、燧原科技、黑芝麻智能、壁仞科技、光子算數、知存科技、億智電子、豪微科技等芯片創企，全球FPGA領先玩家賽靈思，知名IP供應商安謀中國，全球EDA巨頭Cadence，以及北極光創投、中芯聚源等知名投資機構，分別分享了對AI芯片產業的觀察與思考。如感興趣更多嘉賓演講的核心干貨，歡迎關注芯東西后續推送內容。
