智東西（公眾號：zhidxcom）
編輯?| 程茜
6月(yue)30日，由智東(dong)西(xi)(xi)和智東(dong)西(xi)(xi)公(gong)開課(ke)主(zhu)辦的(de)GTIC 2022全(quan)球AIoT智能家(jia)居峰(feng)(feng)會（以下簡稱AIoT智能家(jia)居峰(feng)(feng)會），在線上(shang)成功舉辦，在全(quan)網(wang)16個渠(qu)道同步直(zhi)播，線上(shang)觀(guan)看(kan)人數達到了(le)90多萬人，眾(zhong)多嘉賓的(de)議題都(dou)引(yin)起了(le)大家(jia)熱(re)烈(lie)討論。
8位行業重磅大咖就AIoT智能家居的技術突破、創(chuang)新應(ying)用(yong)和行業展(zhan)望(wang)展(zhan)開了精彩的深度探討，直(zhi)擊行業痛(tong)點。
▲安謀科技智能網聯(lian)業(ye)務線聯(lian)合(he)負責人商德明
作為(wei)安謀科技智(zhi)能網(wang)聯(lian)業務線聯(lian)合負責人(ren)，商(shang)德明以《端云互動，迎接智(zhi)能攝像頭(tou)新時代》為(wei)主題(ti)進行了演講(jiang)。
隨著(zhu)人工(gong)智能和云(yun)端技(ji)術(shu)的發展，越(yue)(yue)來越(yue)(yue)多的攝(she)像(xiang)頭具(ju)有了(le)AI功能，如何實現(xian)端云(yun)協同，打通視頻數據采集、傳輸分析、算(suan)法提取以及端側部署的整條鏈路，更(geng)好(hao)的發揮攝(she)像(xiang)頭的價值，是業內共同的挑戰。
軟件定義已經成為趨勢，商德明認為，軟件定義智能攝像頭也會成為未來的趨勢。
隨(sui)著新趨(qu)勢的(de)發展(zhan)(zhan)，智(zhi)能(neng)攝像頭正(zheng)在(zai)不斷向邊(bian)緣計算轉移、不斷增強的(de)安全關切和支(zhi)持云原生(sheng)應用發展(zhan)(zhan)。
同時，安謀科技也圍繞(rao)三大趨勢提(ti)出了針對性(xing)的(de)解決方案，包括具體(ti)的(de)芯(xin)片設計和軟(ruan)件參考(kao)實現等(deng)。
附安謀科技智能網聯業務線聯合負責人商德明演講實錄
商德明：首先感謝主辦方的(de)(de)邀請(qing)，也(ye)(ye)多謝各(ge)位觀眾、各(ge)位聽(ting)眾的(de)(de)參加，在這里(li)也(ye)(ye)非(fei)常高興能夠跟大家一起交(jiao)流，關(guan)于(yu)端云互動(dong)在新的(de)(de)時(shi)代以及智能攝像頭、智能攝像機等(deng)在人工智能浪潮(chao)下的(de)(de)一些新應(ying)用和方式。
同時非常感謝前面各位嘉賓的(de)精彩演講(jiang)，有很多的(de)新(xin)(xin)的(de)應用案例，也給(gei)了我很多新(xin)(xin)的(de)啟發。
安謀(mou)科技作為技術基礎(chu)的(de)使能方，可以和在(zai)座各位所(suo)在(zai)領域產(chan)生非常(chang)好的(de)互補關系。同時，各位嘉賓(bin)也都分享了(le)很(hen)多豐(feng)富(fu)的(de)應(ying)用場景，這些應(ying)用場景也正好是(shi)指引我們現在(zai)和未來，對產(chan)品、技術進行迭代(dai)的(de)方向。
所以(yi)借著(zhu)這樣一(yi)個話(hua)題跟大(da)家一(yi)起分享一(yi)下在端云互動未來攝像頭領域中，安謀科技(ji)和(he)(he)Arm是如何(he)進(jin)行(xing)一(yi)些基礎(chu)性工作，并為行(xing)業和(he)(he)生(sheng)態合(he)作伙伴(ban)提供更多的工具(ju)和(he)(he)底(di)層技(ji)術，使得越來越豐富、越來越智(zhi)能的應(ying)用(yong)能夠(gou)走(zou)到千家萬戶。
大家(jia)都(dou)知道，隨(sui)著科技(ji)的(de)(de)(de)進步，軟件定(ding)義已經發展(zhan)成為一(yi)個趨(qu)勢，網絡(luo)連接技(ji)術、計算技(ji)術和云端存(cun)儲技(ji)術的(de)(de)(de)發展(zhan)，再(zai)加(jia)上越來越廣泛、統一(yi)的(de)(de)(de)操作系(xi)統和虛(xu)擬技(ji)術、容(rong)器技(ji)術等，使得軟件定(ding)義更多的(de)(de)(de)應用、產品成為可能。大家(jia)也(ye)都(dou)聽到有很(hen)多如(ru)軟件定(ding)義汽車等的(de)(de)(de)案例介(jie)紹。
以手機為例，從硬(ying)件來(lai)看其形態有(you)很多變(bian)化，但我們每天大部分時(shi)間使用的(de)都是其所提(ti)(ti)供的(de)內(nei)容，并(bing)且(qie)通過(guo)下載(zai)不同(tong)的(de)APP就(jiu)可(ke)以提(ti)(ti)供不同(tong)的(de)服(fu)務、從事(shi)各(ge)種操作，我們在軟件層面(mian)會有(you)更多的(de)投入、開(kai)發(fa)，然(ran)后將(jiang)這些(xie)軟件應用在終端設(she)備商，能(neng)夠產生更多智(zhi)能(neng)的(de)服(fu)務。
從這樣(yang)的趨勢(shi)往下延伸，軟件定義智能攝像頭也會成(cheng)為(wei)未來的一個趨勢(shi)，并且有很(hen)多先進的公司(si)已經在采用或(huo)者正在實踐這種方式，包(bao)括而且有很(hen)多先進的公司(si)已經在采用和(he)正在實踐這樣(yang)的一種方式，包(bao)括現在的ITU（國際(ji)電信聯(lian)盟(meng)(meng)）也都有了(le)ITU標準（國際(ji)電信聯(lian)盟(meng)(meng)標準），這些都是非常好的趨勢(shi)演進。
今天(tian)我就(jiu)這個話題(ti)跟大家分享一下我們(men)的思考和規劃，也希望能夠跟大家有更多的探討(tao)和交流。
我們看到(dao)智能攝像(xiang)頭有三大新趨勢(shi)。
首先是(shi)不斷(duan)的向(xiang)邊緣(yuan)計算轉移。以前攝像頭就只是(shi)一個攝像頭，只對(dui)影像數據進行收集、存儲、送到某個地方由人的眼睛來(lai)檢查或者送到云(yun)端，通過云(yun)端算力(li)進行分(fen)析。
現(xian)在攝像(xiang)頭(tou)(tou)越來越智(zhi)(zhi)能(neng)(neng)化，攝像(xiang)頭(tou)(tou)擁(yong)有(you)更多的智(zhi)(zhi)能(neng)(neng)化處理能(neng)(neng)力，因此智(zhi)(zhi)能(neng)(neng)攝像(xiang)頭(tou)(tou)不再是一個簡單(dan)的傻瓜攝像(xiang)頭(tou)(tou)，還會(hui)包含更多的智(zhi)(zhi)能(neng)(neng)應用，這些內容(rong)后面我(wo)會(hui)詳細介紹。
第二(er)個趨(qu)勢是支持云(yun)原生應用。前面很(hen)多嘉賓也介(jie)紹到，企(qi)業(ye)會在(zai)(zai)(zai)云(yun)端(duan)(duan)進(jin)(jin)(jin)行(xing)應用開發、在(zai)(zai)(zai)云(yun)端(duan)(duan)環境進(jin)(jin)(jin)行(xing)無限擴(kuo)展，而且云(yun)端(duan)(duan)提供了很(hen)多的(de)這(zhe)(zhe)些DevOps、Container（容器技術）等，都使得企(qi)業(ye)在(zai)(zai)(zai)云(yun)端(duan)(duan)開發應用，并進(jin)(jin)(jin)行(xing)廣(guang)泛部署時不受(shou)物理因素的(de)限制，這(zhe)(zhe)也成(cheng)為了非常重要的(de)演進(jin)(jin)(jin)趨(qu)勢，同時這(zhe)(zhe)些應用也正(zheng)在(zai)(zai)(zai)被(bei)廣(guang)泛實踐(jian)。
在(zai)云(yun)端(duan)開發的(de)應用，如(ru)何將這些軟件和算法(fa)部(bu)署到端(duan)側(ce)(ce)，也是一個非常重要的(de)環節。原因在(zai)于，一是端(duan)側(ce)(ce)更加智能，二是云(yun)端(duan)和端(duan)側(ce)(ce)的(de)互動越來越密切。
第(di)三個(ge)趨(qu)勢是不(bu)斷增強(qiang)的(de)(de)安(an)(an)全(quan)(quan)關切，比如說我(wo)們在云(yun)端(duan)(duan)開發了(le)很多(duo)的(de)(de)軟件，能(neng)夠在云(yun)端(duan)(duan)保(bao)障其(qi)安(an)(an)全(quan)(quan)，但是把(ba)云(yun)端(duan)(duan)開發的(de)(de)產(chan)品(pin)部署到端(duan)(duan)側(ce)(ce)時(shi)，端(duan)(duan)側(ce)(ce)就(jiu)會有各種各樣的(de)(de)硬(ying)件限(xian)制和不(bu)同的(de)(de)安(an)(an)全(quan)(quan)機制，所以如何在安(an)(an)全(quan)(quan)性與云(yun)端(duan)(duan)有很大不(bu)同的(de)(de)情況下，能(neng)夠繼續實(shi)現同等(deng)安(an)(an)全(quan)(quan)級別的(de)(de)保(bao)障，是不(bu)斷增強(qiang)的(de)(de)安(an)(an)全(quan)(quan)關切里重點關注的(de)(de)內(nei)容，后面我(wo)也會詳細展開介紹。
在向邊緣計算轉(zhuan)移方(fang)面，我們可(ke)以看到在生(sheng)活中，一些產(chan)品已經(jing)從以下幾(ji)個方(fang)面發生(sheng)了(le)變化。
首先是定位、跟蹤(zong)以及對人(ren)體進(jin)行(xing)(xing)識別，這(zhe)些(xie)都是隨著(zhu)人(ren)工智能(neng)(neng)技術(shu)發(fa)展(zhan)，以及有(you)更(geng)(geng)高算(suan)力、更(geng)(geng)高性能(neng)(neng)的(de)(de)計算(suan)平(ping)臺支(zhi)(zhi)撐，使得(de)其能(neng)(neng)夠進(jin)行(xing)(xing)不同物體、人(ren)臉的(de)(de)識別，同時(shi)隨著(zhu)不同空(kong)間(jian)的(de)(de)變化，能(neng)(neng)夠對人(ren)的(de)(de)動作進(jin)行(xing)(xing)分(fen)析、判(pan)斷、追蹤(zong)，這(zhe)些(xie)都是非常(chang)重要的(de)(de)應用場景，此外，還支(zhi)(zhi)持各種各樣(yang)的(de)(de)關鍵點進(jin)行(xing)(xing)檢測(ce)、判(pan)別。
第(di)二是自(zi)動(dong)邊界(jie)分割，我們(men)在(zai)現實生活中常(chang)常(chang)會(hui)遇(yu)到一些正在(zai)運行的電梯、水(shui)池或其他危(wei)險地帶，我們(men)需要對其進(jin)行分界(jie)，這(zhe)樣的話(hua)，如果有(you)遇(yu)到危(wei)險的情況就可以及時(shi)對用(yong)戶(hu)進(jin)行提醒，這(zhe)些也都是很重要的邊界(jie)分割能力。
第(di)三是在安(an)全(quan)方面，我們要求對(dui)整(zheng)個產品的(de)安(an)全(quan)得到(dao)非常好的(de)保(bao)障，比如訪(fang)問權限的(de)保(bao)障、本地推理、模型保(bao)護、數據保(bao)護、知識產權保(bao)護，以及流(liu)媒體保(bao)護等，這些都是安(an)全(quan)相(xiang)關的(de)要求。
最后是不斷增強的(de)(de)(de)人工(gong)智能(neng)，隨(sui)著人工(gong)智能(neng)技術(shu)的(de)(de)(de)進(jin)一(yi)步發展，產品可(ke)以根據一(yi)些(xie)人們的(de)(de)(de)行為來(lai)進(jin)行判斷，比如現(xian)在有一(yi)些(xie)安(an)全隱患或安(an)全時間，我們可(ke)以通(tong)過人工(gong)智能(neng)模型分析，遠處的(de)(de)(de)攝像頭(tou)就會變成安(an)全部分延(yan)伸的(de)(de)(de)千里眼，能(neng)夠看(kan)到一(yi)些(xie)特殊或比較激烈的(de)(de)(de)行為，提(ti)早給安(an)全部門一(yi)些(xie)提(ti)醒和警(jing)示。
這些都是邊緣計算等技術發(fa)展帶來的。
隨(sui)著(zhu)不斷的安(an)全關切，我們也要在技術上(shang)實現突破。
首先是(shi)(shi)安(an)(an)(an)全島（Secure Enclave）的(de)建立，它會(hui)使得整個(ge)(ge)系統(tong)有一(yi)個(ge)(ge)安(an)(an)(an)全的(de)信任根（Root of Trust），也就是(shi)(shi)一(yi)個(ge)(ge)安(an)(an)(an)全可信的(de)空間(jian)(jian)。在空間(jian)(jian)內，你可以實現安(an)(an)(an)全啟(qi)動，包括對(dui)整個(ge)(ge)設備進(jin)(jin)行(xing)安(an)(an)(an)全檢查，使得其不(bu)會(hui)被黑客襲擊(ji)或對(dui)攻擊(ji)模型進(jin)(jin)行(xing)分(fen)析，同時可以使整個(ge)(ge)系統(tong)里的(de)不(bu)同安(an)(an)(an)全級(ji)別的(de)軟件(jian)能夠進(jin)(jin)行(xing)隔離，另一(yi)個(ge)(ge)軟件(jian)不(bu)會(hui)侵入其它軟件(jian)中更(geng)為敏感的(de)空間(jian)(jian)，此外，安(an)(an)(an)全存儲、固件(jian)更(geng)新也都能得到保障。
如固件(jian)更(geng)(geng)新(xin)(xin)，后面我們也會(hui)談到，很多產品(pin)的(de)升級(ji)、更(geng)(geng)新(xin)(xin)都是(shi)非(fei)常(chang)(chang)重要(yao)的(de)。設備(bei)更(geng)(geng)新(xin)(xin)會(hui)經常(chang)(chang)發生(sheng)，需(xu)要(yao)保證(zheng)固件(jian)安全(quan)，不(bu)會(hui)有(you)木馬或其他(ta)黑客(ke)的(de)病毒，并且(qie)能夠隔絕(jue)襲擊(ji)，另外加密認證(zheng)等內容，都是(shi)安全(quan)關(guan)切(qie)里非(fei)常(chang)(chang)重要(yao)的(de)部分。
Arm聯(lian)合(he)很多合(he)作伙伴，提(ti)(ti)出了PSA Certified安(an)(an)(an)全認(ren)證，這個認(ren)證和相關(guan)架構的(de)提(ti)(ti)出，將安(an)(an)(an)全模型、攻擊(ji)模型進行(xing)仔細分析，并通過PSA Certified安(an)(an)(an)全認(ren)證的(de)方(fang)式，使得不(bu)管你的(de)設(she)備用什么(me)樣的(de)硬件結構搭建起來，都(dou)能顯著(zhu)提(ti)(ti)高(gao)設(she)備的(de)安(an)(an)(an)全等級(ji)，極大地保障其安(an)(an)(an)全。
不僅是國(guo)際上有不同(tong)的(de)安(an)(an)全(quan)(quan)標(biao)(biao)準(zhun)(zhun)，國(guo)內也(ye)(ye)有相關(guan)標(biao)(biao)準(zhun)(zhun)去保障安(an)(an)全(quan)(quan)，國(guo)內國(guo)標(biao)(biao)《公共安(an)(an)全(quan)(quan)視頻(pin)監控聯網信息安(an)(an)全(quan)(quan)技術要求(qiu)(qiu)》也(ye)(ye)分為A、B、C三個(ge)不同(tong)的(de)等級(ji)，尤其C級(ji)中，除了安(an)(an)全(quan)(quan)認證外，還會(hui)對視頻(pin)流(liu)進行(xing)保護，也(ye)(ye)就是對視頻(pin)進行(xing)加(jia)密(mi)(mi)，同(tong)時對安(an)(an)全(quan)(quan)的(de)底層硬(ying)(ying)件提(ti)出要求(qiu)(qiu)，使得硬(ying)(ying)件能夠(gou)快速(su)、實時的(de)支撐視頻(pin)流(liu)的(de)加(jia)密(mi)(mi)、解密(mi)(mi)過程，這些也(ye)(ye)都是安(an)(an)全(quan)(quan)要求(qiu)(qiu)及安(an)(an)全(quan)(quan)技術產生的(de)實現方(fang)案。
第三個方向是云原生應(ying)用，我會通過(guo)這張圖跟大家展開介(jie)紹一下。
首(shou)先我(wo)們可(ke)以(yi)看到，有底層技術的保障，使得我(wo)們可(ke)以(yi)在(zai)云上提供很多服務，云上的應用也(ye)可(ke)以(yi)不斷進行開發(fa)。
未來(lai)，我們想要(yao)(yao)做到軟件(jian)定義攝像(xiang)頭的趨勢(shi)，就需要(yao)(yao)一方(fang)面在底層建立(li)更加統一、抽(chou)象，并能(neng)夠與硬(ying)件(jian)隔離的軟件(jian)架構，使得上(shang)層開發(fa)者(zhe)不(bu)(bu)再被不(bu)(bu)同硬(ying)件(jian)之(zhi)間的差異所困擾，而能(neng)夠集中精力去開發(fa)不(bu)(bu)同場景的應用。
所以(yi)(yi)我(wo)們可以(yi)(yi)想(xiang)象，未來(lai)(lai)，隨著端(duan)云互動機(ji)制的(de)(de)打通，會(hui)(hui)有更多(duo)開(kai)發(fa)者(zhe)面(mian)向不(bu)同的(de)(de)應用場景(jing)來(lai)(lai)開(kai)發(fa)云端(duan)的(de)(de)應用，使得智能(neng)攝(she)像(xiang)頭具(ju)備的(de)(de)功能(neng)越來(lai)(lai)越多(duo)。就(jiu)像(xiang)我(wo)們的(de)(de)手機(ji)中(zhong)有上百(bai)萬個應用一樣(yang)，都(dou)和我(wo)們的(de)(de)生活息息相關。隨著整個生態系(xi)統(tong)不(bu)斷成熟(shu)，會(hui)(hui)出現更多(duo)的(de)(de)應用場景(jing)和需求，這些開(kai)發(fa)者(zhe)也會(hui)(hui)針(zhen)對性的(de)(de)根據廣大用戶(hu)的(de)(de)需求進行開(kai)發(fa)。
在智(zhi)慧(hui)家庭中，比如會出現(xian)(xian)老人(ren)摔倒、嬰兒看護、監測廚房煙霧等(deng)情況，現(xian)(xian)在這(zhe)些問題的解決往(wang)往(wang)是由廠家建立軟件團(tuan)隊(dui)，做各種(zhong)(zhong)各樣的模型(xing)，未(wei)來，其實這(zhe)些內容都可(ke)以形成一個社區，大家根據現(xian)(xian)在已經(jing)有的各種(zhong)(zhong)各樣的應用場景(jing)或(huo)未(wei)來可(ke)能出現(xian)(xian)的場景(jing)或(huo)需(xu)求，基于底層(ceng)軟硬件技術，使得這(zhe)些應用能發展起來。
所以(yi)我們(men)一(yi)(yi)(yi)方面在云端(duan)形成(cheng)了(le)一(yi)(yi)(yi)個虛擬環境，它能開發(fa)(fa)不(bu)同的(de)應用(yong)(yong)，同時又基于容器技(ji)術(shu)(shu)等(deng)底層(ceng)技(ji)術(shu)(shu)，將(jiang)這些應用(yong)(yong)平滑、有效的(de)部(bu)署(shu)到終端(duan)上(shang)去。開發(fa)(fa)者(zhe)(zhe)不(bu)用(yong)(yong)再擔心(xin)其開發(fa)(fa)的(de)應用(yong)(yong)在攝像頭(tou)或(huo)者(zhe)(zhe)機(ji)(ji)器人等(deng)設(she)(she)備(bei)上(shang)的(de)部(bu)署(shu)問題，不(bu)用(yong)(yong)考慮硬件設(she)(she)備(bei)之間(jian)的(de)差異(yi)，充分利用(yong)(yong)端(duan)云互動機(ji)(ji)制，這一(yi)(yi)(yi)方面也是(shi)算(suan)法應用(yong)(yong)部(bu)署(shu)的(de)一(yi)(yi)(yi)個方向(xiang)。
那么為什(shen)么端(duan)側需要更多(duo)的(de)智(zhi)能(neng)？因為智(zhi)能(neng)攝像頭能(neng)手機很多(duo)真實的(de)數據，它也最(zui)靠(kao)近數據，并可(ke)以(yi)根據這(zhe)些數據的(de)特(te)點進(jin)行訓(xun)練。
一方面(mian)，數據在端(duan)側(ce)可以進行訓練(lian)(lian)，也能把一些更加(jia)復雜的(de)(de)或者(zhe)需要(yao)云端(duan)算(suan)力訓練(lian)(lian)的(de)(de)數據送(song)到(dao)云端(duan)，然(ran)后進行更細致的(de)(de)訓練(lian)(lian)，使得訓練(lian)(lian)模型更加(jia)精(jing)準、豐富，接著把訓練(lian)(lian)好的(de)(de)模型再部署到(dao)端(duan)側(ce)，回到(dao)智能攝像頭這(zhe)樣的(de)(de)硬件中去，進行算(suan)法更新(xin)。
同時(shi)我們也可(ke)以看(kan)到，容器技術(shu)等的(de)支撐下(xia)，并行的(de)模(mo)(mo)型也能夠(gou)同時(shi)進(jin)行推理。就像前面嘉賓提到的(de)，像多(duo)模(mo)(mo)態感知，將(jiang)聲音、視(shi)覺或其(qi)他的(de)感知，通過并行的(de)方式(shi)來運行。
在圖(tu)片(pian)右側下方，我們有異(yi)構系統，也(ye)就(jiu)是相關的(de)(de)CPU、GPU、NPU、ISP等硬(ying)件單元，異(yi)構技術的(de)(de)發展，再加(jia)上摩爾定律，硬(ying)件的(de)(de)發展更(geng)加(jia)豐(feng)富，也(ye)需要專門的(de)(de)硬(ying)件來處理更(geng)多的(de)(de)數(shu)據(ju)流、更(geng)多的(de)(de)應用。
所以根據不(bu)同的硬件(jian)形成了異構系(xi)統(tong)，并通過前面(mian)的軟件(jian)技術能更好(hao)的利用不(bu)同硬件(jian)，使得這些(xie)數據流能夠得到更好(hao)地處理。這個是整個業界(jie)大家在共(gong)同推(tui)進的話題。
以上(shang)就是整個行業的趨勢(shi)以及現狀的一(yi)些(xie)特(te)點(dian)。
接(jie)下來我(wo)介紹一(yi)下安(an)謀科技在(zai)智能攝像頭(tou)解決方案(an)上的做法，主要(yao)有三個方面，我(wo)們也在(zai)和合(he)作伙伴一(yi)起研究更好的解決方案(an)。
首先是芯片參考設計。芯片里包含這些所(suo)有(you)的(de)(de)處(chu)理能(neng)力的(de)(de)IP，如何使芯片中不同的(de)(de)子系統(tong)和這些系統(tong)IP的(de)(de)組合，能(neng)夠適(shi)應智能(neng)攝像頭里邊的(de)(de)高速數據流，并對(dui)數據流進行智能(neng)分(fen)析(xi)，提取更多信(xin)息，這是芯片參考設計中最主要的(de)(de)一個作(zuo)用(yong)。
實現這(zhe)一目的(de)(de)需(xu)要(yao)具(ju)備更(geng)高(gao)的(de)(de)性能、完整(zheng)的(de)(de)功能以(yi)及更(geng)快速(su)的(de)(de)處理能力，并保(bao)持(chi)實時性，這(zhe)也是芯片層面需(xu)要(yao)解決的(de)(de)問(wen)題(ti)。
第二是硬件仿真平臺。我們有幾種方(fang)(fang)式，一方(fang)(fang)面我們完成(cheng)了智能攝(she)像頭方(fang)(fang)案設(she)計(ji)后(hou)，可(ke)以在FPGA板(ban)上(shang)進(jin)行調測(ce)、驗(yan)證。同(tong)時，我們也(ye)可(ke)以通過RTL在Testbench上(shang)進(jin)行測(ce)試，發(fa)(fa)現開(kai)發(fa)(fa)者(zhe)設(she)計(ji)的芯片方(fang)(fang)案是否在性能上(shang)達到要求。
尤其是我們不僅僅是要(yao)使自己的算法，自己的軟件(jian)在(zai)功能上(shang)能夠滿足要(yao)求，同時(shi)你要(yao)考慮這個性能在(zai)哪一個硬件(jian)單(dan)元上(shang)花費了(le)很(hen)多時(shi)間，同時(shi)，你的算法在(zai)提(ti)升、優化后(hou)的實際效果(guo)如何，這些都(dou)需要(yao)進(jin)行測試(shi)。
此外(wai)，我(wo)還想強(qiang)調的是(shi)(shi)Arm提出的Virtual Hardware，這(zhe)也和我(wo)前面提到的云原(yuan)生(sheng)和充分利(li)用(yong)云上的能(neng)力相(xiang)(xiang)關(guan)，也就(jiu)是(shi)(shi)說我(wo)們把相(xiang)(xiang)關(guan)的重(zhong)要(yao)(yao)IP，包括(kuo)我(wo)們現在(zai)(zai)正在(zai)(zai)規劃(hua)和開發的智能(neng)攝像頭解決方案在(zai)(zai)內的相(xiang)(xiang)關(guan)重(zhong)要(yao)(yao)IP，將其進(jin)行(xing)虛擬化部署在(zai)(zai)云端(duan)，這(zhe)樣的話包括(kuo)算法(fa)工(gong)程師、軟件工(gong)程師等開發者，就(jiu)不(bu)需要(yao)(yao)等芯片流片，再到板子上進(jin)行(xing)測試(shi)。
事實上，這(zhe)一過程需(xu)要花費很長(chang)周期，非(fei)常耗時。開發者(zhe)不需(xu)要等待，就可(ke)以在(zai)Virtual Hardware的虛擬環境中調(diao)試(shi)智能(neng)攝像頭的能(neng)力。前面嘉賓也(ye)提到，有(you)聲(sheng)音、視(shi)覺方(fang)面的算(suan)法(fa)以及(ji)成百上千的不同應(ying)用，都可(ke)以在(zai)這(zhe)個(ge)平臺上進(jin)行(xing)測試(shi)，這(zhe)是非(fei)常重(zhong)要也(ye)是很有(you)價值的一種(zhong)方(fang)式。
第三是參考軟件棧，這也(ye)是(shi)非常重(zhong)要的。我(wo)們(men)會(hui)從容器技術、安全認證(zheng)等不同角(jiao)度來提(ti)供(gong)底層的協議棧。作(zuo)(zuo)為(wei)一(yi)個平臺開發商，軟件工作(zuo)(zuo)量往往是(shi)大于硬件工作(zuo)(zuo)量的。
所以我們提供軟(ruan)件(jian)(jian)參考(kao)設計或參考(kao)軟(ruan)件(jian)(jian)棧(zhan)，可(ke)以大大縮短產(chan)(chan)品(pin)開發的時(shi)間。此外，從生態角度講，軟(ruan)件(jian)(jian)棧(zhan)在(zai)生態上實現了統(tong)一(yi)，廣(guang)大的開發者和用戶就可(ke)以享受這一(yi)便(bian)利(li)，能(neng)夠開發出更加豐富的底(di)(di)層(ceng)應(ying)用，不需要(yao)在(zai)底(di)(di)層(ceng)一(yi)些沒(mei)有差異化(hua)的軟(ruan)件(jian)(jian)棧(zhan)上投入更多(duo)，使(shi)得產(chan)(chan)品(pin)、資源都更加聚(ju)焦(jiao)到企業構建差異化(hua)優(you)勢的產(chan)(chan)品(pin)和應(ying)用中。
剛(gang)剛(gang)，我(wo)介紹了(le)從硬(ying)(ying)件(jian)、軟(ruan)件(jian)、開發(fa)環境，以(yi)及(ji)我(wo)們(men)向合作伙伴提(ti)供的(de)參考設計圖(tu)。對不同(tong)的(de)企業硬(ying)(ying)件(jian)、軟(ruan)件(jian)團隊(dui)，這張圖(tu)片(pian)可以(yi)做(zuo)一(yi)(yi)個(ge)參考，能(neng)(neng)夠讓相關行業的(de)合作伙伴共(gong)同(tong)探討，使得整個(ge)硬(ying)(ying)件(jian)平臺能(neng)(neng)夠更加優化和高效。這個(ge)參考設計以(yi)Arm的(de)CPU為(wei)基礎(chu)，我(wo)們(men)通過一(yi)(yi)條互聯的(de)總線，將不同(tong)系統(tong)的(de)其他處理單元都能(neng)(neng)夠集(ji)成到整個(ge)系統(tong)中。當然，CPU里(li)面的(de)一(yi)(yi)些安全機制等(deng)，這些同(tong)樣能(neng)(neng)為(wei)整個(ge)產(chan)品(pin)提(ti)供價值(zhi)。
同時，異構系統中有(you)“周(zhou)易”NPU、對流媒體進行有(you)效處(chu)理的(de)“玲瓏”ISP、可以進行數據壓縮的(de)“玲瓏”VPU，這些都是(shi)我(wo)們整(zheng)個芯片參(can)考設計(ji)中非(fei)常重(zhong)要的(de)部分。然(ran)后NPU可以提供(gong)神(shen)經(jing)網絡計(ji)算(suan)，使得智能化進一步得到保(bao)障。
芯(xin)片參考設(she)計中比(bi)較有特(te)點(dian)的(de)是我們可(ke)以集(ji)成不(bu)同的(de)子系統。如(ru)MCU級別(bie)的(de)子系統，可(ke)以連接一個(ge)更(geng)低像(xiang)(xiang)素(su)的(de)攝像(xiang)(xiang)頭，也可(ke)以部署一個(ge)更(geng)小配置的(de)設(she)備(bei)。
就(jiu)像前面有(you)嘉賓提到的低功耗(hao)等(deng)場景下，我們會先將一個小(xiao)的系統，在電池(chi)驅動下實(shi)現低功耗(hao)運行(xing)，這樣就(jiu)可(ke)以(yi)實(shi)現數月甚(shen)至(zhi)數年都不需要更(geng)換(huan)電池(chi)，并且進行(xing)一些基本(ben)的環境監控功能。
比如像(xiang)智(zhi)能門鈴，一旦發(fa)現有(you)人(ren)進(jin)入，或者用戶需要觀察車輛，就可(ke)以通(tong)過(guo)攝(she)像(xiang)頭喚醒整個系統(tong)，在有(you)效的工作時間內進(jin)行更(geng)高像(xiang)素、更(geng)智(zhi)能的分析(xi)，發(fa)揮智(zhi)能攝(she)像(xiang)頭的相關功能。
所以我們(men)希(xi)望(wang)通過參(can)考設計(ji)，能(neng)夠把核(he)心IP和(he)技術進行集(ji)成，交付給客戶(hu)(hu)一個比較完整(zheng)的參(can)考設計(ji)，使(shi)得(de)客戶(hu)(hu)能(neng)增加一些(xie)外圍設備或接口，可(ke)(ke)以很快形成自己新(xin)一代攝(she)像(xiang)頭的設計(ji)方(fang)案，這(zhe)可(ke)(ke)以大大縮短產品的開(kai)發(fa)時(shi)間，同時(shi)我們(men)的整(zheng)個參(can)考設計(ji)也(ye)是(shi)經過充分驗證(zheng)的，可(ke)(ke)以為客戶(hu)(hu)在實現相(xiang)應功能(neng)的基(ji)礎(chu)上(shang)，減(jian)少時(shi)間和(he)研發(fa)投入。
這里比較關鍵的(de)模組(zu)我們剛剛也提到(dao)了，就是安(an)全機制(zhi)，“山(shan)海”SPU根據不(bu)同(tong)(tong)的(de)安(an)全等(deng)級(ji)和(he)對安(an)全處(chu)理(li)性(xing)能(neng)的(de)要求分成(cheng)不(bu)同(tong)(tong)型號，還有“玲瓏(long)”ISP，可(ke)以提供高質(zhi)量(liang)的(de)圖像處(chu)理(li)。
而(er)視頻處理單元VPU，通(tong)(tong)過(guo)軟硬(ying)件架構，系統級(ji)設計，同樣能使(shi)其(qi)性能得到大幅提升。如(ru)視頻編碼(ma)標準H.265和ADSP等視頻解碼(ma)標準，都能夠通(tong)(tong)過(guo)硬(ying)件的(de)(de)時間以非常(chang)低的(de)(de)延時完成，這也(ye)是智能攝像頭中的(de)(de)重要技術(shu)。
這(zhe)些過程(cheng)是(shi)標準化的，非常(chang)適合(he)用(yong)IP的方式來實現，使(shi)得我們(men)的客戶能夠(gou)節省研發時間。
隨著人工(gong)智(zhi)能技術的發展(zhan)，ML（機器(qi)學習）對算(suan)力、模型要(yao)求越來越高，所以有一個(ge)能夠(gou)處理(li)神經網(wang)絡計算(suan)的NPU是非常重要(yao)的。其(qi)中，周易就擁有自定義(yi)算(suan)法能力，使不同(tong)的定制(zhi)算(suan)子能夠(gou)得到支(zhi)撐。
此(ci)外，我(wo)們也可(ke)以通過子(zi)(zi)系統進行擴展，增(zeng)加Wi-Fi或(huo)者聲音(yin)當面的(de)子(zi)(zi)系統。
這個產品(pin)組合(he)中，最重要的(de)是(shi)CPU，攝像頭(tou)、機器人或者是(shi)其(qi)他機器視覺方面的(de)產品(pin)對CPU的(de)處(chu)理能力要求是(shi)不(bu)(bu)一樣的(de)，最近Arm推出的(de)新一代CPU能力也在不(bu)(bu)斷提(ti)升，安全性上也做了補充和升級。
所(suo)以(yi)，在CPU上，客(ke)(ke)戶(hu)可(ke)以(yi)有很(hen)多種選擇，NPU也有不同(tong)的系列，客(ke)(ke)戶(hu)同(tong)樣(yang)可(ke)以(yi)根(gen)據(ju)算力(li)需求來選擇合適的IP。同(tong)樣(yang)道(dao)理(li)，VPU和ISP的IP組合實際上就(jiu)是(shi)產品組合，根(gen)據(ju)客(ke)(ke)戶(hu)的產品定(ding)位(wei)選擇是(shi)否帶電池或者功耗。
根(gen)據不同的(de)方式(shi)，選(xuan)擇IP組(zu)合，通過參考(kao)設計(ji)形成一個系統級的(de)解(jie)決方案，這(zhe)是我們希望提供給(gei)行業的(de)價值，也使(shi)這(zhe)個行業在(zai)這(zhe)一方面(mian)能夠大(da)大(da)節省研發投(tou)入。
剛(gang)才(cai)也(ye)有(you)提到，一方面我們在底層通過硬件(jian)(jian)模擬，使得軟件(jian)(jian)環境能夠進行(xing)測試和運(yun)行(xing)，另一方面也(ye)在安全(quan)方面擁有(you)PSA Certified安全(quan)認(ren)證。
我們(men)正在(zai)推出的全球聯(lian)盟計劃SystemReady，國內也已(yi)經有很多廠家加入(ru)了這(zhe)個認證，使得(de)硬件(jian)能夠得(de)到統一。
這樣(yang)的(de)話(hua)，操(cao)作系統可(ke)以在硬(ying)件(jian)(jian)之間有一個抽(chou)象，這就是前面所提到的(de)軟件(jian)(jian)和硬(ying)件(jian)(jian)隔離，軟件(jian)(jian)環境就不會受硬(ying)件(jian)(jian)變化的(de)影響，同(tong)時，操(cao)作系統都是行業中各個社區的(de)開(kai)源軟件(jian)(jian)，能(neng)夠提供很多軟件(jian)(jian)應用和操(cao)作系統支撐。
Arm就是(shi)將相關的(de)IP，集成經過(guo)測(ce)試并實(shi)踐(jian)過(guo)的(de)解(jie)決方案(an)，然后提供給合作伙伴。在(zai)通過(guo)不(bu)同客戶發(fa)現的(de)問題，進(jin)一步提升、優化我們的(de)解(jie)決方案(an)。
無論是ISP、VPU還是NPU，我們(men)都在走同樣的(de)路(lu)線(xian)，使得(de)這個(ge)產品(pin)能夠(gou)通過多次(ci)迭代提供更多的(de)價值(zhi)、更好的(de)性能，以此來滿(man)足上層應用需求，包(bao)括安全機制、機器(qi)學習和云原生(sheng)的(de)相關應用，實(shi)現高(gao)效支持(chi)。
通過這種方式(shi)，客戶的產(chan)品在亞馬遜、阿里云或其他云上，都可以在軟件層面進行平(ping)滑(hua)部署。
這個也只(zhi)是(shi)其(qi)中一個應用(yong)場景，其(qi)實包括前面嘉賓的(de)分享，智(zhi)能攝像頭有非常(chang)多(duo)的(de)應用(yong)場景，我們都是(shi)通過(guo)(guo)這樣的(de)流程，將數據流進行接收，然后通過(guo)(guo)神經網絡處(chu)理進行判別。
這里面最核(he)心的(de)問(wen)題(ti)就是我(wo)們為什(shen)么要提出(chu)這樣一(yi)個參考(kao)設(she)計？關鍵在(zai)于，我(wo)們認為任何一(yi)個設(she)計都需要平衡，如何使你的(de)計算資源能滿(man)足(zu)數(shu)據流需求是非常核(he)心的(de)。
不論是(shi)(shi)(shi)一(yi)個攝(she)像頭還是(shi)(shi)(shi)多路攝(she)像頭，其分辨率和(he)數(shu)(shu)據(ju)量大小(xiao)是(shi)(shi)(shi)不一(yi)樣(yang)的(de)，數(shu)(shu)據(ju)流(liu)進來以(yi)后(hou)，如(ru)何(he)對其進行拆解(jie)、處理(li)，包括數(shu)(shu)據(ju)流(liu)需要盡量減少DDR訪(fang)問，或在RAM里(li)面如(ru)何(he)配置(zhi)，以(yi)及如(ru)何(he)將碎片化空間利用好，這些(xie)都是(shi)(shi)(shi)非常核心的(de)需求。
除了單IP非常高效(xiao)，整個(ge)系統設計也需(xu)要對數(shu)據流(liu)進行很好(hao)的處理，我們用最有限(xian)的硬(ying)件配置，就能(neng)夠實現性能(neng)更高的效(xiao)果。
所以這個設計的理(li)念在于，通過不同(tong)的Use-case開發來得到保障(zhang)。
除(chu)了這(zhe)些(xie)技(ji)術(shu)和研發成果以外，我們也(ye)在(zai)積極推動(dong)整(zheng)個生態系統的(de)(de)(de)(de)建設，比(bi)如之前(qian)我們提到(dao)的(de)(de)(de)(de)SystemReady，也(ye)有更多的(de)(de)(de)(de)廠家(jia)參與進(jin)來，包括很多行業的(de)(de)(de)(de)領導者，使得硬件和軟(ruan)件能(neng)夠更加廣(guang)泛的(de)(de)(de)(de)在(zai)SystemReady基礎上，實現(xian)統一化，這(zhe)都是生態建設中(zhong)非常(chang)重要(yao)的(de)(de)(de)(de)內容，通過不同的(de)(de)(de)(de)標準讓大家(jia)實現(xian)兼容。
在(zai)安全方(fang)面，我(wo)們剛才也介紹了PSA Certified安全認(ren)證，使得客(ke)戶實現不同安全機(ji)制(zhi)的(de)(de)端側硬件，通(tong)過統一的(de)(de)API，在(zai)安全方(fang)面的(de)(de)調(diao)用和(he)硬件機(ji)制(zhi)上(shang)得到統一，所以(yi)我(wo)們的(de)(de)安全軟件、安全功能(neng)開發，會在(zai)更加統一、便利的(de)(de)環境中(zhong)進(jin)行。
同時，生(sheng)態系統中更多的(de)合作伙伴加入，形成方(fang)案，其價值在于，第(di)一使得其在安全、云端開發(fa)、部署方(fang)面都(dou)能得到保(bao)障。
第二就是(shi)使更高的能效(xiao)比(bi)和(he)低(di)功耗成為可能，不論是(shi)聲音還是(shi)視覺功能這(zhe)些(xie)在低(di)功耗模式下都能運(yun)行。
第三是機器學習，NPU部署(shu)產品的算(suan)力(li)能(neng)夠得(de)到保障(zhang)，再加上云端模(mo)型(xing)的延展性，客戶的模(mo)型(xing)無論大小，都可以根據設備能(neng)力(li)，部署(shu)相應(ying)的算(suan)法。
第(di)四是，通過我們的參考設計(ji)等解決方案，客戶可以在云端進行虛(xu)擬測試，能夠提前進行軟件(jian)開(kai)發(fa)、硬件(jian)開(kai)發(fa)。同時(shi)，由(you)于有(you)參考設計(ji)，也可以縮減硬件(jian)開(kai)發(fa)時(shi)間。
第五(wu)是軟(ruan)(ruan)(ruan)件(jian)(jian)層面，基于(yu)容器技術等，這(zhe)些服務(wu)能夠(gou)得(de)到(dao)很好的部(bu)署。所以這(zhe)樣的話客戶就不(bu)會太局限于(yu)硬件(jian)(jian)，不(bu)需(xu)要針對不(bu)同的硬件(jian)(jian)開發特定的軟(ruan)(ruan)(ruan)件(jian)(jian)，而是通過這(zhe)個軟(ruan)(ruan)(ruan)件(jian)(jian)進行一次性開發，然(ran)后再去大量部(bu)署到(dao)不(bu)同的場景中。
通過這(zhe)樣的(de)方式，我們希望(wang)能(neng)夠(gou)給行業提供更(geng)大的(de)價(jia)值，也能(neng)夠(gou)和合作伙伴共同推動智(zhi)(zhi)能(neng)攝像(xiang)頭(tou)的(de)發(fa)展(zhan)，使智(zhi)(zhi)慧家庭能(neng)夠(gou)有更(geng)好的(de)技術支撐，產生更(geng)多豐富(fu)的(de)應用，將智(zhi)(zhi)能(neng)帶到千家萬(wan)戶。
好的，感謝(xie)大(da)家(jia)，我就分(fen)享到這(zhe)里。
