芯東西（公眾號：aichip001）
編輯 | 高歌
智東西6月11日消息，近日GTIC 2021嵌入(ru)式(shi)AI創(chuang)新峰會(hui)在北京圓滿收(shou)官！在這場全(quan)天座無(wu)虛席、全(quan)網直播觀看人數(shu)逾150萬次的(de)高規格產業峰會(hui)上，來自產業鏈上下游的(de)16位大佬(lao)共聚一堂，圍繞嵌入(ru)式(shi)AI的(de)軟(ruan)硬件生態(tai)創(chuang)新、家(jia)居AIoT、移動(dong)機器人和工業制造產業4大版塊地圖，帶來了深入(ru)淺出(chu)的(de)分(fen)享。
作(zuo)為下午場(chang)唯(wei)一家硬(ying)件平臺廠商代(dai)表，賽靈思公司的(de)軟件和(he)解決方(fang)案市場(chang)部高級(ji)經理劉珊(shan)珊(shan)帶來了以《MPSoC平臺加速工(gong)業視覺應用創新》為題的(de)深入分(fen)享。
▲賽靈思軟件和解決(jue)方案(an)市場部高級經理劉珊(shan)珊(shan)
劉(liu)珊珊回顧(gu)，近些年賽靈(ling)思在不斷地(di)加(jia)速(su)轉型(xing)，從傳統(tong)的(de)FPGA，到(dao)延續FPGA核心價值的(de)片(pian)上(shang)系統(tong)，再(zai)到(dao)最新(xin)一代(dai)的(de)自(zi)適(shi)應(ying)計算加(jia)速(su)平臺（ACAP平臺），公(gong)司(si)研發出更(geng)易于軟件編程的(de)體系結構，同時也為客戶(hu)提供更(geng)廣泛的(de)部(bu)署方法。
據劉珊(shan)(shan)珊(shan)(shan)分(fen)享，MPSoC平臺最(zui)大(da)的優勢是(shi)具備整體應用協同(tong)優化(hua)的能力。談到AI在(zai)工(gong)業(ye)場景的應用，她提到了(le)(le)安全生產(chan)、工(gong)業(ye)質檢(jian)(jian)、AGV/AMR三(san)大(da)領域(yu)，并列舉了(le)(le)測量、識(shi)別、引導(dao)、檢(jian)(jian)測等工(gong)業(ye)質檢(jian)(jian)領域(yu)的的細分(fen)場景，指出其中都可能嵌入視覺(jue)AI應用。
劉珊珊談到(dao)，賽靈思的工(gong)業和視覺解決方案(an)堆棧提供包(bao)括(kuo)功能安全、網(wang)絡(luo)安全、控(kong)制、通信(xin)、視覺處理、機器學習(xi)和邊緣分析等解決方案(an)，支持實時決策。硬件(jian)可(ke)編程的MPSoC使(shi)通用處理子系(xi)統與可(ke)編程邏輯相(xiang)結合，從(cong)而適(shi)應(ying)多種(zhong)工(gong)業場景(jing)解決方案(an)的定(ding)制開發，并通過單芯片邊緣平臺方案(an)降低(di)成本。
最后(hou)，劉珊珊介(jie)紹了一款賽(sai)靈思(si)最新(xin)發(fa)布的系統化模組(zu)K26 SOM，這正是基于MPSoC架構為(wei)工業視覺(jue)打造的模組(zu)。該模組(zu)即(ji)插即(ji)用(yong)，無FPGA開發(fa)經(jing)驗(yan)的人也能在一小時內啟動運行；針對這一標(biao)準平臺，賽(sai)靈思(si)還向用(yong)戶推出應(ying)用(yong)商城，提供標(biao)準化的軟件開發(fa)流程。
以下是劉珊珊的演講實錄整理：
一、賽靈思架構不斷演進，自適應計算平臺滿足AI需求
劉珊珊：非常榮幸，我作為今(jin)(jin)天(tian)下午唯一(yi)(yi)一(yi)(yi)個做分(fen)(fen)享的女生，也(ye)是(shi)唯一(yi)(yi)一(yi)(yi)個從(cong)硬(ying)件平臺的角度來分(fen)(fen)析工業視覺應用(yong)創新，我今(jin)(jin)天(tian)的分(fen)(fen)享分(fen)(fen)為三(san)個方面。
首先，讓我們(men)來看一(yi)下賽靈(ling)(ling)思是(shi)如何通過(guo)自適應(ying)(ying)(ying)計(ji)算對我們(men)的(de)(de)世界進行改(gai)善。從5G、AI、自動駕駛的(de)(de)興(xing)起到云(yun)計(ji)算、大數據、物(wu)聯網(wang)這些(xie)應(ying)(ying)(ying)用的(de)(de)蓬勃發展，我們(men)看到了市(shi)場應(ying)(ying)(ying)用的(de)(de)需求(qiu)正(zheng)在(zai)經歷著前所(suo)未有的(de)(de)快速變(bian)(bian)化(hua)，正(zheng)因為如此(ci)，賽靈(ling)(ling)思以其(qi)獨特的(de)(de)自適應(ying)(ying)(ying)性和靈(ling)(ling)活性平臺被越(yue)來越(yue)多(duo)的(de)(de)人所(suo)認識(shi)并關注(zhu)，它(ta)帶(dai)給設計(ji)者帶(dai)來強大的(de)(de)應(ying)(ying)(ying)對變(bian)(bian)化(hua)的(de)(de)能力，正(zheng)如賽靈(ling)(ling)思的(de)(de)企業(ye)愿景，打造靈(ling)(ling)活多(duo)變(bian)(bian)，萬物(wu)智能的(de)(de)世界。
首(shou)先我和(he)大家(jia)分享的(de)(de)是(shi)，賽(sai)靈思(si)如(ru)何通過賦能創新來(lai)對我們的(de)(de)生活、對人(ren)們想(xiang)實(shi)現守護健康、想(xiang)實(shi)現生活改善以及探索宇宙的(de)(de)夢想(xiang)。
在當下這場席卷全球的(de)(de)新冠疫情當中，賽(sai)靈思始終以(yi)最(zui)高的(de)(de)優先(xian)(xian)級支持全球的(de)(de)合(he)作伙伴來做一些醫療設(she)備相關的(de)(de)研究和(he)開發，以(yi)及批(pi)量(liang)生(sheng)產。早在去(qu)年(nian)1月(yue)，在武漢(han)疫情最(zui)水深火熱的(de)(de)時(shi)候(hou)，賽(sai)靈思率先(xian)(xian)支持邁瑞用于病患轉運過(guo)程中監護(hu)設(she)備的(de)(de)批(pi)量(liang)生(sheng)產，為醫護(hu)工作者(zhe)提供了便捷、高效的(de)(de)前(qian)端監護(hu)設(she)備，為病患提供了生(sheng)命保障。
在汽車(che)領域，賽(sai)靈思一直以其車(che)規級芯片幫助全球的汽車(che)伙伴，對他(ta)們的一些來自于多個傳感器的數據(ju)處(chu)理(li)，來提升車(che)輛的感知能力(li)，從而加速AI在道路上(shang)的決策能力(li)。
最近一(yi)個非(fei)常(chang)火熱的(de)話題(ti)是，各(ge)個大國爭先將太空探測器(qi)發向(xiang)了(le)火星。在這之中(zhong)，賽靈思(si)也做了(le)非(fei)常(chang)突出的(de)貢獻，我們在“毅力(li)號(hao)”的(de)火星車(che)里選取了(le)多(duo)款賽靈思(si)的(de)器(qi)件，用來給火星車(che)著陸火星表(biao)面(mian)時(shi)進行導航(hang)定位以及(ji)自動駕駛(shi)方面(mian)的(de)一(yi)些計(ji)算，同(tong)時(shi)也承擔了(le)一(yi)些圖象加(jia)速和(he)處理的(de)任務。
為了幫助（向）我們(men)的(de)(de)客戶提供更加(jia)靈活(huo)應(ying)變的(de)(de)計(ji)(ji)算能力，賽(sai)靈思也(ye)在經歷(li)著不斷的(de)(de)轉型(xing)。最(zui)初我們(men)傳統的(de)(de)FPGA的(de)(de)架構，我們(men)也(ye)在不斷演進，結(jie)合了FPGA核心的(de)(de)價值以(yi)及(ji)其它(ta)的(de)(de)需求，打造成了一(yi)個(ge)片上系統（SoC），后(hou)來伴隨(sui)著各個(ge)不同(tong)場景和不同(tong)需求，推出(chu)MPSoC、RFSoC、以(yi)及(ji)我們(men)最(zui)新的(de)(de)7nm自(zi)適應(ying)計(ji)(ji)算加(jia)速平臺ACAP的(de)(de)問世。
這個(ge)過(guo)程中(zhong)賽(sai)靈思一直不斷投入各種各樣的(de)研(yan)發力量，來探索更適應、更友好地面(mian)向(xiang)軟件編程的(de)體系(xi)架構。與此同時，我(wo)們(men)也在為客戶(hu)提(ti)供非常廣泛的(de)部(bu)署方法(fa)，包括傳統的(de)部(bu)署方式把芯片集成(cheng)到(dao)自己的(de)系(xi)統中(zhong)去。
近些(xie)年，我們也(ye)為客戶提(ti)供(gong)像AIveo、SOM可(ke)以(yi)即插即用性的加速卡(ka)或(huo)者系統級的模組。我們也(ye)跟全(quan)球的云計(ji)算(suan)伙伴一起合作，把FPGA這(zhe)種計(ji)算(suan)資(zi)源作為云上(shang)的服務，向大(da)家(jia)提(ti)供(gong)更易于接入的FaaS服務。
說到AI，其實賽靈思的(de)(de)(de)自(zi)適應(ying)計算平臺，它其實是(shi)最能夠滿足AI創新(xin)速度(du)(du)需求的(de)(de)(de)硬件。在AI的(de)(de)(de)角(jiao)度(du)(du)，我(wo)們(men)有最核(he)心的(de)(de)(de)優(you)勢就是(shi)可以進行整體AI應(ying)用的(de)(de)(de)協(xie)同(tong)優(you)化。在實際應(ying)用中，AI推理(li)只是(shi)任(ren)務(wu)(wu)的(de)(de)(de)一部分，我(wo)們(men)還存(cun)在大(da)量的(de)(de)(de)前處理(li)、后處理(li)任(ren)務(wu)(wu)。
這(zhe)些任務中往往會涉及海量的(de)(de)數據交(jiao)互(hu)，以及很多計(ji)算的(de)(de)能力，如果把(ba)這(zhe)種交(jiao)互(hu)放(fang)到芯片(pian)之外(wai)(wai)，甚至放(fang)到板子之外(wai)(wai)，勢必(bi)很容易造成整個(ge)系統(tong)效率低(di)下的(de)(de)問題。
賽靈思把關鍵(jian)的功(gong)(gong)能提(ti)取出(chu)來，經過(guo)底層(ceng)優化之后，把它緊耦合在(zai)一個單芯片的解決方案里面，極大地提(ti)升了整個系統的工作效率，同時(shi)降(jiang)低了系統功(gong)(gong)耗以(yi)及時(shi)延(yan)。
二、針對工業引導、檢測環節，不規則、低辨識度物品依賴AI算法識別
下面(mian)進入人工(gong)(gong)智(zhi)能(neng)(neng)(neng)如何賦能(neng)(neng)(neng)智(zhi)慧工(gong)(gong)廠的(de)。前(qian)面(mian)專家講了工(gong)(gong)廠里(li)面(mian)檢測相關(guan)(guan)的(de)應(ying)用(yong)，下面(mian)看一下我(wo)們對視覺在工(gong)(gong)業場景(jing)里(li)面(mian)應(ying)用(yong)的(de)理解(jie)。我(wo)們認為(wei)，（視覺在工(gong)(gong)業場景(jing)中）分為(wei)三大類相關(guan)(guan)應(ying)用(yong)，第一類是跟(gen)安(an)全生產相關(guan)(guan)的(de)、（跟(gen)）智(zhi)能(neng)(neng)(neng)安(an)防相關(guan)(guan)解(jie)決方案。
在這一類的(de)解(jie)決(jue)方案里面，我們(men)更加(jia)注重職場人員是(shi)不是(shi)按(an)照規定去著裝、是(shi)不是(shi)在規定的(de)區(qu)域和范圍內進行活動(dong)、是(shi)不是(shi)按(an)照規范的(de)操作(zuo)流程做相應的(de)施工(gong)的(de)操作(zuo)，這些(xie)是(shi)我們(men)傳統的(de)安防攝像頭就能(neng)夠(gou)解(jie)決(jue)的(de)問題。
下一個場(chang)景，跟產線(xian)上的(de)生產制(zhi)造相關的(de)、工業質檢(jian)(jian)的(de)相關解決方案(an)(an)。這類解決方案(an)(an)包括測(ce)量、識別、引導以及檢(jian)(jian)測(ce)等等，檢(jian)(jian)測(ce)剛才有很(hen)多(duo)專家已經進行了(le)非常細致(zhi)的(de)介紹。
第三個場景，我(wo)們(men)認為是(shi)以(yi)工(gong)業場景的(de)物品搬運(yun)以(yi)及上下(xia)料相關(guan)的(de)自(zi)主駕駛的(de)小車、包(bao)括(kuo)一(yi)些機器人相關(guan)的(de)解決方案。在(zai)這里(li)面剛剛有嘉賓分享到，我(wo)們(men)說核心(xin)的(de)兩(liang)個任務，一(yi)個做環境(jing)重建，這部分的(de)任務多是(shi)基于多種傳(chuan)感(gan)器的(de)融合，包(bao)括(kuo)一(yi)些視覺、激光雷(lei)達、毫(hao)米波(bo)雷(lei)達、包(bao)括(kuo)現在(zai)很(hen)火的(de)雙目(mu)和機構光等等這類傳(chuan)感(gan)器，我(wo)們(men)要對這些傳(chuan)感(gan)器進(jin)行融合，并且對它的(de)數據進(jin)行實時(shi)分析(xi)。
另外一種，我(wo)們說要去做導航，要去做避障，這里(li)面涉及到相應的(de)(de)算法，也(ye)會需要我(wo)們有一些邊緣側的(de)(de)計算加(jia)速的(de)(de)能力。
下面，我們看一下在工(gong)業(ye)質檢場景里面，機器視覺和AI分別有怎樣的貢獻(xian)。剛(gang)剛(gang)講到(dao)把工(gong)業(ye)質檢分為四個應(ying)用(yong)場景，分別是(shi)剛(gang)剛(gang)提到(dao)的測(ce)量、識別、引(yin)導以及檢測(ce)。
測量(liang)指(zhi)(zhi)的(de)是(shi)去做一(yi)些物體(ti)和(he)物體(ti)之間以及物體(ti)自身(shen)的(de)尺(chi)寸(cun)測量(liang)；識(shi)別指(zhi)(zhi)的(de)是(shi)零部(bu)件(jian)代碼(ma)，包(bao)括它(ta)的(de)二(er)維(wei)碼(ma)、條形碼(ma)進(jin)行識(shi)別，主(zhu)要用(yong)于進(jin)行質量(liang)溯(su)源以及生產流程的(de)管控(kong)。
在(zai)引導環節，一(yi)(yi)(yi)般是(shi)(shi)定義物(wu)品所處的(de)位(wei)置(zhi)和方(fang)位(wei)，我(wo)們有一(yi)(yi)(yi)些機器的(de)構造對物(wu)品進行抓(zhua)取和放置(zhi)，大家一(yi)(yi)(yi)聽就(jiu)很明白，就(jiu)是(shi)(shi)我(wo)們在(zai)做一(yi)(yi)(yi)些產(chan)品的(de)組裝；檢測(ce)呢(ni)，就(jiu)是(shi)(shi)我(wo)們在(zai)這個過程中(zhong)對零部件以及一(yi)(yi)(yi)些產(chan)成品做瑕疵、分類相(xiang)關的(de)檢測(ce)。
測量(liang)不(bu)管用2D還是3D的(de)(de)sensor始終解決的(de)(de)是定性問題，這個領域核心多(duo)是光學，AI關聯度(du)并不(bu)高。
在識(shi)別的場景里面(mian)，如(ru)果(guo)僅僅是(shi)(shi)基于對(dui)編碼(ma)(ma)規則的理解，其實也是(shi)(shi)用(yong)不到AI的，但是(shi)(shi)一定特定場合比(bi)如(ru)做OCR或(huo)者具有復雜背景或(huo)者不是(shi)(shi)那么(me)清晰有一些臟污的條形碼(ma)(ma)、二維碼(ma)(ma)的識(shi)別，這(zhe)時(shi)候AI就要發揮作(zuo)用(yong)，這(zhe)是(shi)(shi)AI在工(gong)業質檢(jian)領域非常簡單的應用(yong)。
相對(dui)測量識別，我們的(de)(de)(de)引導(dao)和檢(jian)測其實是(shi)更加注重和依賴于(yu)算法的(de)(de)(de)。在引導(dao)的(de)(de)(de)應用(yong)場景里面(mian)，我們傳統是(shi)采用(yong)2D的(de)(de)(de)方式，對(dui)于(yu)結構和形狀長得非常標準的(de)(de)(de)零部件(jian)，我們可以(yi)去(qu)做一些(xie)相應的(de)(de)(de)引導(dao)。
如果這個物(wu)品變成(cheng)一種柔性(xing)(xing)物(wu)質或(huo)者零(ling)部件本(ben)身(shen)是(shi)不規(gui)則的，我們就(jiu)(jiu)會使用(yong)(yong)一些(xie)3D方(fang)案(an)解決，在3D方(fang)案(an)里面AI視覺包(bao)括(kuo)人工智(zhi)能就(jiu)(jiu)發揮了很大的作用(yong)(yong)。在檢測環節也一樣，在傳統(tong)的檢測方(fang)案(an)里面，比如自動光學檢測是(shi)基于模式識別的方(fang)法論，本(ben)身(shen)具備(bei)一些(xie)系統(tong)泛化性(xing)(xing)比較(jiao)差這樣的瓶頸。
當然我們在(zai)一些更復雜(za)的場(chang)景(jing)，比如檢(jian)(jian)測(ce)的背景(jing)很復雜(za)，或者像(xiang)PCB、表面貼裝工程本身(shen)辨識度不是(shi)很高(gao)的目(mu)標物品的檢(jian)(jian)測(ce)，傳統的機(ji)器視(shi)覺的方式就不是(shi)那么好用，在(zai)這種情(qing)況下需要請(qing)出(chu)AI來幫忙。
在(zai)這里簡(jian)單(dan)總(zong)結一(yi)下，在(zai)工業(ye)質(zhi)檢環(huan)節里面(mian)什么樣（的(de)工作）適合(he)AI來做(zuo)？第一(yi)個，物品本身形狀(zhuang)不規則或(huo)者物品某(mou)些(xie)屬性特征發(fa)生會(hui)(hui)變(bian)化的(de)引導會(hui)(hui)用到(dao)(dao)AI。第二(er)，檢測物體的(de)背景非常復雜(za)，在(zai)這種情況下要做(zuo)目標的(de)檢測或(huo)者一(yi)些(xie)分(fen)割，或(huo)者我們一(yi)些(xie)表面(mian)紋理(li)(li)的(de)識(shi)別和材料的(de)分(fen)類(lei)，以及剛剛提到(dao)(dao)識(shi)別場景里面(mian)會(hui)(hui)有污損(sun)的(de)二(er)維(wei)碼(ma)(ma)、條形碼(ma)(ma)處理(li)(li)，我們可能會(hui)(hui)用到(dao)(dao)AI。
三、Kria入門套件一小時完成部署，Vitis AI降低使用門檻
這些跟賽靈(ling)思(si)有怎樣的關聯？其實，賽靈(ling)思(si)的MPSoC平臺很(hen)好地結合了通用子處理(li)(li)器以及邏輯單元，把它們(men)很(hen)好地整合到(dao)一顆芯(xin)片上(shang)。這樣的一個架構很(hen)友好，能夠實現我們(men)在工(gong)業場(chang)景里面非常(chang)特殊(shu)的一些功能，比如(ru)說，工(gong)藝安全的要求(qiu)(qiu)、網(wang)絡安全的要求(qiu)(qiu)、信號處理(li)(li)、工(gong)業控制，以及剛剛提到(dao)的機(ji)器視覺、AI以及邊緣(yuan)側的實時決策能力。
針(zhen)對這些特殊的功能，我們就可以拿(na)來打造非常具有場景(jing)的、差異度的工業檢(jian)測應用內容。
下面(mian)我們進入(ru)到MPSoC平臺(tai)助力工業(ye)視覺話題的分享(xiang)。在這里，我想給大家推薦一款我們最新處(chu)理器(qi)平臺(tai)，是系統級模組K26。
這個就是我們(men)的基于MPSoC架構的系(xi)統(tong)模組(zu)，模組(zu)里(li)面(mian)具(ju)有CPU、GPU和FPGA邏輯單元，可(ke)以支(zhi)持AI算力(li)最高達到1.4TOPS/S，什(shen)么概念呢(ni)？現在(zai)，我們(men)在(zai)應用(yong)場景里(li)面(mian)見到的主流神經網絡模型經過(guo)壓縮(suo)之后，我們(men)這顆芯片或者整個模組(zu)都可(ke)以實(shi)現實(shi)時或者準(zhun)實(shi)時處理能力(li)。
除此(ci)之外，在(zai)(zai)這顆芯片(pian)上(shang)因為(wei)是為(wei)工業視(shi)覺打造的(de)(de)(de)，做(zuo)了(le)(le)硬化的(de)(de)(de)264、265編解碼硬核，可(ke)以做(zuo)到(dao)4K的(de)(de)(de)圖象質量(liang)，60幀的(de)(de)(de)處(chu)理速(su)率，這個是完全(quan)不占用(yong)我(wo)(wo)們模組上(shang)額外的(de)(de)(de)計算(suan)資(zi)源的(de)(de)(de)。那除此(ci)之外，我(wo)(wo)們為(wei)了(le)(le)各種(zhong)應用(yong)，做(zuo)了(le)(le)各種(zhong)豐富接口的(de)(de)(de)準備，包括(kuo)各種(zhong)各樣的(de)(de)(de)輸入(ru)、輸出(chu)設備，以及我(wo)(wo)們在(zai)(zai)上(shang)面放了(le)(le)4顆4G的(de)(de)(de)DDR存(cun)儲，可(ke)以基(ji)本上(shang)滿足現在(zai)(zai)主流的(de)(de)(de)AI計算(suan)在(zai)(zai)邊緣側(ce)運用(yong)的(de)(de)(de)存(cun)儲能力。
那同樣，這也是一(yi)(yi)個即(ji)(ji)插即(ji)(ji)用型的(de)系統(tong)級(ji)(ji)模組，專門為(wei)我們(men)的(de)開(kai)發(fa)者提供了一(yi)(yi)個我們(men)叫入門級(ji)(ji)的(de)套件，在這個套件上面(mian)，一(yi)(yi)個沒有任何FPGA開(kai)發(fa)經(jing)驗的(de)人也可以在一(yi)(yi)個小時之(zhi)內把它(ta)啟動、運行一(yi)(yi)些我們(men)準備好(hao)的(de)加(jia)速應用。
當(dang)然，我們(men)給(gei)大家提(ti)供了(le)一個(ge)非常簡潔的(de)說(shuo)明書，根(gen)據說(shuo)明書我們(men)把輸入(ru)輸出設(she)備一一連(lian)接，把官方提(ti)供的(de)鏡(jing)像燒寫到SDK卡上，根(gen)據我們(men)的(de)興趣下載官方提(ti)供的(de)已經加(jia)速好的(de)應用，這(zhe)樣就可(ke)以把這(zhe)個(ge)應用跑起來(lai)。
在(zai)這里面，我們還要介紹一(yi)下(xia)，現在(zai)針對這一(yi)款標(biao)準化的(de)(de)(de)硬件平(ping)臺(tai)，我們還推出了賽靈思的(de)(de)(de)應用(yong)(yong)(yong)商城，在(zai)商城里面有(you)(you)很(hen)多來自(zi)于賽靈思自(zi)己去做定制化加速的(de)(de)(de)應用(yong)(yong)(yong)，也有(you)(you)很(hen)多包(bao)括第(di)三(san)方合作伙伴來貢(gong)獻的(de)(de)(de)應用(yong)(yong)(yong)，像智能相機、帶有(you)(you)reid功能的(de)(de)(de)AIBOX、瑕疵檢測、車牌識(shi)別(bie)等(deng)等(deng)，現在(zai)這些(xie)已經可以(yi)在(zai)官(guan)方的(de)(de)(de)應用(yong)(yong)(yong)商城里面下(xia)載，可以(yi)拿一(yi)塊(kuai)板子自(zi)己跑起來。
在(zai)這里，我(wo)想說，賽靈思首次推出(chu)邊(bian)緣(yuan)側標準(zhun)化的(de)(de)硬(ying)件平臺(tai)，它的(de)(de)意義和價(jia)值源(yuan)源(yuan)不止于(yu)此。我(wo)們還同時(shi)為大家提(ti)供了標準(zhun)化的(de)(de)軟件開發流程。這樣的(de)(de)話，可以(yi)幫助更(geng)多的(de)(de)應用(yong)開發者(zhe)把這個硬(ying)件平臺(tai)用(yong)起來，根據自己的(de)(de)經驗，包括自己所在(zai)的(de)(de)領域，推出(chu)更(geng)好的(de)(de)加(jia)速應用(yong)。
同時(shi)（開發者(zhe)）可以把這些應(ying)用放到(dao)官方的(de)(de)商城(cheng)上，我們會有一(yi)系列的(de)(de)商業化平臺能力提供給大家。與此同時(shi)，對(dui)于一(yi)些應(ying)用開發的(de)(de)用戶，他所需要的(de)(de)東西可以直接(jie)從商城(cheng)上找到(dao)，這樣(yang)我們就形成了硬件平臺和(he)應(ying)用良性(xing)循環的(de)(de)小(xiao)小(xiao)生態。
下(xia)面，我(wo)們(men)就進(jin)入(ru)到怎么(me)能夠在這個平(ping)臺(tai)上通過一些標(biao)準化的軟件開發(fa)(fa)流(liu)程，來開發(fa)(fa)跟AI跟視覺相關的應用。首先(xian)，我(wo)們(men)來關注(zhu)，如果你僅(jin)僅(jin)是一個AI應用的開發(fa)(fa)者，只關注(zhu)到神經網絡(luo)模型這個層面的加速(su)就夠了。
我們在這里會用Vitis AI這款工具給(gei)大家提供一個DPU的(de)(de)(de)IP。這個DPU，就是我們針(zhen)對(dui)現(xian)在一些(xie)主流的(de)(de)(de)框架，像TensorFlow、Caffe、PyTorch做(zuo)好了底層硬件(jian)的(de)(de)(de)加速。所有開發者需(xu)要做(zuo)的(de)(de)(de)就是選取一款適合(he)自己的(de)(de)(de)DPU IP和(he)自己的(de)(de)(de)神經網(wang)(wang)絡模型做(zuo)適配，做(zuo)一些(xie)參數的(de)(de)(de)調整，以及會把我們的(de)(de)(de)網(wang)(wang)絡做(zuo)一些(xie)優化(hua)，這樣就得到可以直接部署在我們SOM平臺上(shang)的(de)(de)(de)加速網(wang)(wang)絡。
在實際應用(yong)的(de)開發(fa)過程(cheng)中(zhong)，我們的(de)SOM平(ping)臺可以直接接受來自各種(zhong)sensor直接的(de)數據流輸(shu)入(ru)，也可以接受來自于(yu)互聯網和本地文(wen)件的(de)音、視頻流的(de)輸(shu)入(ru)。
像我(wo)們在音視(shi)頻(pin)流的(de)(de)(de)(de)(de)轉碼、包括我(wo)們的(de)(de)(de)(de)(de)協議的(de)(de)(de)(de)(de)解(jie)包、色(se)彩域變換、resize以(yi)及(ji)歸一化的(de)(de)(de)(de)(de)前處(chu)理(li)，以(yi)及(ji)我(wo)們后面的(de)(de)(de)(de)(de)對于(yu)打上BoundingBox、對于(yu)一些ROI的(de)(de)(de)(de)(de)提(ti)取(qu)，以(yi)及(ji)根(gen)據輸出(chu)需(xu)求做(zuo)一些視(shi)頻(pin)的(de)(de)(de)(de)(de)融合和顯(xian)示，或者通(tong)過(guo)互聯網(wang)傳輸后處(chu)理(li)，我(wo)們都固化了(le)下來，所有(you)的(de)(de)(de)(de)(de)流程(cheng)你都不需(xu)要(yao)(yao)關心，只需(xu)要(yao)(yao)關心你的(de)(de)(de)(de)(de)模型與DPU的(de)(de)(de)(de)(de)適配。這樣(yang)，我(wo)們就極大地降低了(le)沒有(you)任何開(kai)發經驗的(de)(de)(de)(de)(de)AI開(kai)發者使(shi)用MPSoC這款平臺的(de)(de)(de)(de)(de)門檻。
對(dui)于軟件(jian)開(kai)(kai)發者而言(yan)，我(wo)們推薦Vitis這款(kuan)軟件(jian)給(gei)大家(jia)做(zuo)開(kai)(kai)發。（在）Vitis軟件(jian)中，我(wo)們把大量經過底層優化(hua)的(de)加速庫提(ti)供到軟件(jian)里(li)面去，我(wo)們會通(tong)過library的(de)形(xing)式，讓(rang)很多熟悉(xi)C++、OpenCL語(yu)(yu)言(yan)的(de)開(kai)(kai)發者，可以在自己熟悉(xi)的(de)語(yu)(yu)言(yan)環(huan)境下，對(dui)我(wo)們的(de)應用進行定(ding)制化(hua)開(kai)(kai)發。
怎么(me)樣定制化的開發(fa)呢，我(wo)們(men)剛(gang)剛(gang)講，除了DPU這部分跟AI相(xiang)關(guan)的加速之外，我(wo)們(men)的前處(chu)理、后處(chu)理都可以調用(yong)已經硬化好的library IP，實(shi)現(xian)我(wo)們(men)定制化視(shi)頻流的應用(yong)開發(fa)。
對于硬件開發者來講，我(wo)們MPSoC這(zhe)款系(xi)統化(hua)模組，我(wo)們SOM這(zhe)個平臺就(jiu)(jiu)可以(yi)把邏輯資源和系(xi)統級(ji)的方(fang)案(an)(an)完(wan)備(bei)性(xing)優勢進(jin)行充分發揮(hui)，從RTL層面(mian)做全(quan)流程的加速(su)，這(zhe)樣你(ni)得到的就(jiu)(jiu)是一個完(wan)全(quan)差異化(hua)的產品(pin)或者解(jie)決方(fang)案(an)(an)。
那在(zai)(zai)這(zhe)里(li)，其實特別想(xiang)說(shuo)我們(men)Kria SOMs這(zhe)個硬(ying)件平臺，它工(gong)業的(de)(de)(de)這(zhe)個場景有什(shen)么特定的(de)(de)(de)屬性與我們(men)工(gong)業的(de)(de)(de)需求相匹配(pei)。首先，這(zhe)是一(yi)個我們(men)為工(gong)業級產(chan)品來打造的(de)(de)(de)一(yi)個處理器平臺，所以它在(zai)(zai)在(zai)(zai)抗震和抗極端的(de)(de)(de)高低(di)溫情(qing)況下都有非常好的(de)(de)(de)表現，同時(shi)它也有非常長的(de)(de)(de)工(gong)業生命(ming)周期的(de)(de)(de)保障。
這(zhe)(zhe)是一款我(wo)們(men)(men)在市(shi)面(mian)上(shang)能夠見到的(de)，最具(ju)網絡安(an)全(quan)的(de)一款SOM模組。為(wei)什么這(zhe)(zhe)么講呢(ni)？首先，就(jiu)是我(wo)們(men)(men)16nm的(de)MPSoC，它本(ben)身就(jiu)具(ju)備安(an)全(quan)訪問的(de)機制。它在SOM平臺上(shang)面(mian)，我(wo)們(men)(men)又(you)單(dan)獨加了來(lai)自英飛凌(ling)TPM 2.0安(an)全(quan)的(de)芯片。這(zhe)(zhe)個芯片可以(yi)用來(lai)做遠(yuan)程(cheng)認證，做密鑰存儲的(de)管理(li)。所以(yi)說(shuo)，這(zhe)(zhe)個是我(wo)們(men)(men)雙保險對于工(gong)業級信息安(an)全(quan)的(de)要求(qiu)。
第三(san)個，這顆(ke)芯片以(yi)及基(ji)礎上打造的Kria SOM模組，是在全(quan)(quan)球(qiu)多個國家得(de)到(dao)了我(wo)們下面列的所(suo)有工業級的認(ren)證(zheng)，在世界范(fan)圍(wei)內我(wo)們對于工業安(an)全(quan)(quan)的認(ren)證(zheng)有非常嚴(yan)格的標準，包括(kuo)功能認(ren)證(zheng)、包括(kuo)物(wu)理安(an)全(quan)(quan)、包括(kuo)信息(xi)安(an)全(quan)(quan)。在不同(tong)(tong)的地方可能有不同(tong)(tong)的要求(qiu)，但是沒(mei)關系賽(sai)靈思的這款(kuan)Kria SOM已經經過世界各(ge)地的驗(yan)證(zheng)，可以(yi)在全(quan)(quan)球(qiu)范(fan)圍(wei)內放心部署。
這里來(lai)分享(xiang)一個，我(wo)們(men)做(zuo)布匹表面圖案(an)檢測(ce)(ce)的(de)應用案(an)例(li)。我(wo)們(men)其實(shi)在很多現(xian)代(dai)化(hua)的(de)紡(fang)織廠(chang)里面經常(chang)會(hui)發現(xian)一個共性(xing)的(de)問題(ti)。我(wo)們(men)用人工(gong)去做(zuo)布匹表現(xian)瑕疵檢測(ce)(ce)效率的(de)時(shi)候(hou)，一個效率低，一個人為(wei)造成的(de)漏檢誤檢對于工(gong)廠(chang)帶來(lai)的(de)經濟損失非常(chang)大。
我(wo)們知道，一(yi)臺高(gao)速(su)織布機(ji)的速(su)度高(gao)達一(yi)千米(mi)/分鐘，人眼盯(ding)著看(kan)肯定不可能(neng)做到(dao)實時檢(jian)測。只(zhi)能(neng)等到(dao)這(zhe)批產品下了機(ji)器(qi)以后，我(wo)們對(dui)它進(jin)行抽(chou)檢(jian)或(huo)者逐(zhu)一(yi)檢(jian)測。這(zhe)時候如果(guo)哪(na)個地方發生設備上的跳(tiao)線，這(zhe)個損失(shi)包(bao)括(kuo)產能(neng)的損失(shi)，包(bao)括(kuo)物(wu)料的損失(shi)已(yi)經發生了，沒(mei)有辦法改變。
所以(yi)基于這樣的需求，我(wo)們要為高速的織布機打造(zao)一(yi)(yi)個布匹實(shi)時(shi)的瑕疵檢測(ce)方案。我(wo)們為每個高速織布機配(pei)備四(si)個高清攝(she)(she)像頭(tou)，這四(si)個攝(she)(she)像頭(tou)用(yong)于實(shi)時(shi)采(cai)集(ji)像素級的信息，包括RGB，包括亮度。這樣我(wo)們每一(yi)(yi)路攝(she)(she)像頭(tou)的信息采(cai)集(ji)能力(li)達到480MB/秒，處理能力(li)按照(zhao)30幀計算，是1.9GB/秒，這是這是前端采(cai)集(ji)的數(shu)據量。
同時(shi)我(wo)(wo)們(men)在(zai)干一件什(shen)么樣(yang)的(de)事情(qing)？我(wo)(wo)們(men)利(li)用FPGA非常(chang)精準的(de)時(shi)鐘網絡對(dui)四臺攝(she)(she)像(xiang)(xiang)機(ji)進(jin)行(xing)(xing)同步控(kong)制，保證（攝(she)(she)像(xiang)(xiang)機(ji)）都在(zai)同時(shi)在(zai)一個節拍上去處理相(xiang)應(ying)的(de)任務。接下來，我(wo)(wo)們(men)對(dui)于(yu)所有采(cai)集到的(de)像(xiang)(xiang)素級的(de)信(xin)息進(jin)行(xing)(xing)色彩域變換(huan)，發(fa)揮賽(sai)靈(ling)思FPGA平臺極(ji)大的(de)并行(xing)(xing)處理能(neng)力，對(dui)于(yu)多(duo)種顏色我(wo)(wo)們(men)進(jin)行(xing)(xing)逐一的(de)像(xiang)(xiang)素級比(bi)對(dui)。
比(bi)對之后(hou)得到的(de)(de)結(jie)果就可(ke)以很好地指導我(wo)們進(jin)一步的(de)(de)檢(jian)測(ce)，不管是我(wo)們用傳統(tong)的(de)(de)方式(shi)，比(bi)如(ru)機器視覺(jue)的(de)(de)方式(shi)，在Arm上跑瑕(xia)疵檢(jian)測(ce)；還是用AI對于檢(jian)測(ce)結(jie)果進(jin)行(xing)進(jin)一步的(de)(de)分析，我(wo)們對于它的(de)(de)瑕(xia)疵類別進(jin)行(xing)分類，可(ke)以進(jin)行(xing)非常靈活(huo)的(de)(de)處(chu)理(li)。
那這個就(jiu)是(shi)我(wo)剛剛提到的，我(wo)們可(ke)以給(gei)大(da)家(jia)提供產品化、量產的Kria SOM的核心(xin)板。伴(ban)隨著(zhu)這個核心(xin)板，我(wo)們還給(gei)大(da)家(jia)提供了(le)一(yi)個入門級的套件，套件里面我(wo)們做了(le)一(yi)個底板，上面有大(da)家(jia)可(ke)能一(yi)些常用(yong)的接口和散熱。
那除(chu)了這個(ge)開發套件之外，我們(men)真正在量產(chan)的(de)板子上(shang)其實是沒有(you)這些的(de)。大(da)(da)家可以看(kan)到，我們(men)提(ti)供了兩(liang)個(ge)選(xuan)項(xiang)，一(yi)個(ge)是商(shang)業級的(de)、一(yi)個(ge)是工業級的(de)，這兩(liang)個(ge)可以根據不(bu)同的(de)應用場景給大(da)(da)家選(xuan)擇。
除此之(zhi)外，賽靈思MPSoC還有(you)(you)廣(guang)泛的合作伙(huo)伴生態，有(you)(you)很多合作伙(huo)伴用(yong)MPSoC器件來給大家(jia)提(ti)供各種各樣的嵌入(ru)式模組，像有(you)(you)一款應(ying)用(yong)來自百度的EdgeBoard；在應(ying)用(yong)場景上(shang)面，從智能機到AIBOX等等一系列應(ying)用(yong)都可以(yi)實(shi)現(xian)。
在(zai)(zai)這里，我也非常真誠(cheng)的(de)能夠邀(yao)請(qing)在(zai)(zai)座的(de)合作伙伴(ban)們(men)，（希望你(ni)們(men)）能夠加(jia)入賽靈(ling)思(si)的(de)合作伙伴(ban)生態，充分發揮我們(men)自(zi)適應(ying)計算平(ping)臺的(de)特性，跟我們(men)一起來(lai)共同打造靈(ling)活應(ying)變(bian)，萬物智能的(de)世界。
謝謝大家！
以上是劉珊珊演講內容的完整整理。
