芯東西（公眾號：aichip001）
作者 | ?高歌
編輯 | ?漠影
芯(xin)東(dong)西12月10報(bao)道，近日，國產視覺AI芯(xin)片(pian)(pian)公司(si)肇觀(guan)電子(zi)推出了基(ji)于NE-D163A芯(xin)片(pian)(pian)的深度3D AI相機Feynman。
NE-D163A芯片是(shi)肇觀電子在(zai)今年1月份推出的第二款D系(xi)列(lie)3D視覺芯片，具有高精度3D深度計算(suan)能力(li)、支持200余種(zhong)通用(yong)數學計算(suan)和較高的AI計算(suan)能力(li)。
在這款芯片加持(chi)下，Feynman系(xi)列智能(neng)(neng)深(shen)度(du)相機(ji)(ji)采用主(zhu)動(dong)雙目視覺技術，在室(shi)內外各(ge)種場景均(jun)能(neng)(neng)生成高幀率和(he)高精度(du)的(de)深(shen)度(du)圖，同時支持(chi)端側AI算法的(de)部署，能(neng)(neng)夠幫助機(ji)(ji)器(qi)人、安防、AR/VR等(deng)行(xing)業(ye)的(de)廠商實現精確定位(wei)、避(bi)障和(he)分析等(deng)需求。
芯東西采(cai)訪(fang)到(dao)了肇(zhao)觀電(dian)子創始人兼CEO馮歆(xin)鵬，就Feynman相機(ji)研發(fa)背后的故事，以及肇(zhao)觀電(dian)子對于(yu)智能(neng)深(shen)度(du)相機(ji)賽道看法進(jin)行了深(shen)入(ru)地探(tan)討。
▲肇觀電子(zi)創始人兼(jian)CEO馮(feng)歆鵬(peng)
一、多部門協同，自主研發相機助力客戶AI落地
Feynman系列相機的(de)誕生還要從NE-D163A芯(xin)(xin)片說起。該芯(xin)(xin)片具備高(gao)AI算力和高(gao)精度3D深度計算能力，支持200余種通用(yong)數學(xue)計算。
簡單來(lai)說(shuo)，NE-D163A芯(xin)片在機器人(ren)上(shang)，可(ke)以消除傳統(tong)近(jin)距(ju)離(li)(li)盲區，提供周邊(bian)障礙的(de)位置和距(ju)離(li)(li)；在近(jin)距(ju)離(li)(li)的(de)人(ren)臉識別(bie)中，假如被測人(ren)員(yuan)張嘴，NE-D163A可(ke)以精確(que)識別(bie)嘴內(nei)外(wai)的(de)深(shen)度不同。
▲肇觀電子NE-D163A視覺AI芯片
芯片(pian)很好，也(ye)滿(man)足了(le)機器人(ren)、AR/VR、安防、工業(ye)等(deng)不同行業(ye)的(de)痛點。但是在AI視覺這一新的(de)賽(sai)道，相應的(de)模組廠商和系統廠商都不成熟，找上門的(de)終(zhong)端客戶需求也(ye)不盡相同。
馮歆鵬稱：“市場的反饋(kui)是，有(you)的客(ke)戶是有(you)能(neng)力自己研發基于芯片的產(chan)品，有(you)些客(ke)戶希望(wang)能(neng)拿(na)到(dao)(dao)一(yi)個半成品（不光是提供芯片），有(you)些客(ke)戶就希望(wang)拿(na)到(dao)(dao)一(yi)個相機，然(ran)后(hou)進(jin)一(yi)步推動(dong)他們(men)產(chan)品的研發。”
最終，為幫助終端客戶實現(xian)快速AI落地，肇觀電(dian)子決(jue)定自己做一(yi)款3D視覺+AI的智能(neng)深(shen)度相機。這個決(jue)定并不(bu)簡單，一(yi)款合格的智能(neng)深(shen)度相機除了芯片，還需要面對傳感器光(guang)路設計、軟硬件結合、平(ping)衡系統功耗等不(bu)同(tong)的挑戰。
可以說(shuo)做(zuo)一款(kuan)智(zhi)能深(shen)度相機(ji)(ji)，肇觀電子(zi)要(yao)打(da)通一整條(tiao)產業(ye)鏈(lian)，而上(shang)一個這么做(zuo)的(de)是家(jia)大業(ye)大的(de)英(ying)特(te)爾。就算是英(ying)特(te)爾，最近(jin)也為了(le)專注芯片制造等核心業(ye)務，正在縮減RealSense深(shen)度相機(ji)(ji)業(ye)務規模，甚(shen)至會關停(ting)其部門(men)。
▲英特爾(er)RealSense D435（左(zuo)）與Feynman M1（右(you)）
在(zai)產品之外，肇觀電(dian)子的(de)(de)客戶(hu)(hu)涉及各個(ge)(ge)不同的(de)(de)行業，僅機(ji)(ji)器(qi)人(ren)(ren)就既有用(yong)于內蒙古強烈光照環境下的(de)(de)智能采集機(ji)(ji)器(qi)人(ren)(ren)，也有用(yong)于冷庫中的(de)(de)物流(liu)機(ji)(ji)器(qi)人(ren)(ren)，對環境要求可謂(wei)是(shi)天(tian)差地別(bie)。如何挖掘客戶(hu)(hu)需求進行精準地描(miao)述，最后加以解決(jue)是(shi)一個(ge)(ge)關鍵的(de)(de)挑戰。
馮歆鵬透(tou)露(lu)，為了(le)(le)解決(jue)種種挑戰(zhan)，肇觀電子動員了(le)(le)很多部門進行(xing)研(yan)發(fa)，最(zui)終在(zai)NE-D163A芯(xin)片的基礎上自主完成了(le)(le)算法、光路、硬件、軟(ruan)件、結構、認證等各方面的設(she)計研(yan)發(fa)。
二、自帶高算力AI芯片，低成本、功耗產生高清深度圖
作為芯(xin)片(pian)公司的肇觀電子，最大化地(di)發揮出(chu)了(le)NE-D163A芯(xin)片(pian)的性(xing)能優勢。NE-D163A芯(xin)片(pian)作為主控芯(xin)片(pian)，內嵌幾(ji)何(he)和深度引擎(qing)DEP、AI加速引擎(qing)NPU和視覺加速引擎(qing)DSP。
在芯片的(de)加持下，Feynman相機(ji)自帶(dai)1.2Tops INT8/0.6Tops FP16的(de)AI算(suan)力(li)和666 DMIPS的(de)CPU運算(suan)性(xing)能，是業界(jie)唯一一款內(nei)嵌AI和DSP擴展算(suan)力(li)的(de)深(shen)度相機(ji)。這對Feynman的(de)部署起(qi)到了(le)關鍵作(zuo)用(yong)。
▲不同芯片(pian)跑經典網(wang)絡模型(xing)每秒(miao)處理的圖片(pian)幀數(shu)對比
此前，終端(duan)(duan)客(ke)戶如(ru)果采(cai)用英特爾的RealSense相機，往往需(xu)要(yao)搭(da)配i7系列的處理器。這種方案(an)對最后終端(duan)(duan)產(chan)品的成本、功耗(hao)都(dou)不友好，還(huan)需(xu)要(yao)占(zhan)用處理器帶寬(kuan)，造成延遲等(deng)問(wen)題。
相比之下，內(nei)嵌高算力芯片的(de)Feynman應用更加簡單，可以直接在端側處(chu)理視覺(jue)數據(ju)，無需外掛其他處(chu)理器，就可以產生性能高達720P 30FPS的(de)深(shen)度圖。
因此(ci)Feynman相(xiang)機(ji)既不需要(yao)向后傳輸數據，也(ye)降低(di)了終端產品的中控算力要(yao)求，對(dui)客(ke)戶來說部署(shu)成本和使用成本都更低(di)。Feynman相(xiang)機(ji)整體的功(gong)耗水平(ping)在2W-3.8W之(zhi)間，根據所運行的AI模型(xing)大小不同有所浮動。
同時，在(zai)最重要(yao)的圖(tu)像探測上，Feynman相機(ji)搭載了散斑結構(gou)光、雙目(mu)紅(hong)外攝(she)像頭IR模(mo)組(zu)、彩色攝(she)像頭RGB全局曝光模(mo)組(zu)以及慣性測量單元(yuan)（IMU）等傳(chuan)感器，能夠提供多維度(du)的信息。
▲Feynman M1結(jie)構圖
這(zhe)些傳感器(qi)并(bing)不是Feynman的(de)探測極限。馮歆(xin)鵬強(qiang)調，NE-D163A芯片支持當前雙(shuang)目立體(ti)視覺、結構(gou)光(guang)、ToF（飛行(xing)時間傳感器(qi)）、激光(guang)雷達(da)等各類傳感器(qi)，Feynman傳感器(qi)配置是在(zai)功能(neng)、性(xing)能(neng)、成(cheng)本和功耗(hao)四個(ge)維度考量后決(jue)定的(de)。
當(dang)前Feynman相機(ji)的(de)(de)傳(chuan)感器(qi)可以最大化的(de)(de)滿足(zu)客戶需(xu)(xu)求(qiu)(qiu)，實現如在(zai)障礙物(wu)到(dao)相機(ji)僅(jin)有10cm的(de)(de)距離下仍能準(zhun)確分辨(bian)等功能。如果客戶需(xu)(xu)要使用其他類型的(de)(de)傳(chuan)感器(qi)，Feynman相機(ji)也能夠滿足(zu)需(xu)(xu)求(qiu)(qiu)。
實測數據顯示，Feynman的(de)空(kong)洞率(lv)僅為0.2%，而同一環境下英特爾的(de)RealSense空(kong)洞率(lv)在1%左右，這(zhe)意(yi)味著Feynman相(xiang)機(ji)采集(ji)到空(kong)間位置的(de)有效(xiao)信息更(geng)多。同時，Feynman的(de)深(shen)(shen)度(du)圖具有90°對(dui)角的(de)廣角視(shi)場，比常(chang)規深(shen)(shen)度(du)相(xiang)機(ji)的(de)視(shi)野(ye)更(geng)廣。
▲Feynman M1深度圖(tu)效果(guo)
最重要的(de)一點則(ze)是，肇觀電子對(dui)Feynman相(xiang)機的(de)研發(fa)目(mu)標就是適應所有(you)他們見過的(de)場景，這里(li)面就包括前文提到的(de)內蒙古10萬流明光照環境、冷庫中低溫環境和黑暗環境等。
為此，肇觀(guan)電子在Feynman相(xiang)機(ji)內部的(de)(de)(de)光(guang)路設計(ji)上花費了不少心思，使其能(neng)夠精(jing)確地控制補光(guang)和(he)傳感器曝光(guang)。結合NE-D163A芯片的(de)(de)(de)自學(xue)習ISP流水線架構，Feynman相(xiang)機(ji)在各(ge)種復雜光(guang)照環境下均能(neng)獲得優質的(de)(de)(de)圖像。
▲不同光照環境下的圖像處理對比圖
三、提供高效軟件工具鏈，可部署差異化算法
對于智(zhi)能(neng)(neng)深(shen)度相機這一賽道(dao)，馮(feng)歆鵬表示看(kan)好。從技術(shu)發展來看(kan)，工廠的高度自動化、萬(wan)物智(zhi)聯的發展趨(qu)勢(shi)是必然的。在(zai)這樣(yang)的大趨(qu)勢(shi)下(xia)，智(zhi)能(neng)(neng)設(she)備需要具備視(shi)覺能(neng)(neng)力(li)，甚至要讓智(zhi)能(neng)(neng)設(she)備自己看(kan)懂世界。
這(zhe)(zhe)一宏偉藍圖的關鍵，就是視(shi)(shi)覺系(xi)統，也就是智能(neng)深度相(xiang)機(ji)。假設(she)全球(qiu)人口繼續(xu)增長(chang)，每個人周邊的智能(neng)設(she)備也會越(yue)來越(yue)多，而這(zhe)(zhe)些智能(neng)設(she)備都需要具備視(shi)(shi)覺能(neng)力，所(suo)以肇觀(guan)電子對這(zhe)(zhe)一賽道的市場(chang)前景十分看好。
現實來講，肇觀電子已(yi)經看(kan)到數十家Feynman相機(ji)的(de)潛在客(ke)戶。
為了(le)讓Feynman相機(ji)應用于(yu)各個客戶(hu)，肇觀(guan)電子提供了(le)Windows、Android、Linux的驅動SDK，客戶(hu)通過中控直(zhi)接加載就(jiu)可實現通信，完(wan)成對(dui)Feynman相機(ji)的部署。
▲Feynman相(xiang)機對各平臺SDK的支持
對于(yu)需要利用(yong)端(duan)側(ce)AI和DSP算力的(de)產品和深(shen)度(du)定(ding)制(zhi)的(de)客(ke)(ke)戶，肇觀(guan)電子則有一套InferStudio?工具鏈。客(ke)(ke)戶可(ke)以通過InferStudio?將自己(ji)的(de)神經網絡翻譯(yi)成一個鏡像文(wen)件，以提供(gong)給Feynman相機(ji)使用(yong)。
在(zai)整個采訪中，馮歆鵬(peng)談到了很多次Feynman相機(ji)在(zai)研發和(he)落地過(guo)程中的挑戰和(he)困難，有一部分原因是AI芯片(pian)(pian)產業(ye)鏈并不完善。作為芯片(pian)(pian)公司的肇(zhao)觀電(dian)子在(zai)Feynman相機(ji)的研發過(guo)程中，同時扮演了模組廠商、系(xi)統廠商的角色。
相比(bi)賣芯片，基于NE-D163A芯片研制Feynman當然挑戰的環節更(geng)多，但在馮歆鵬看來，這是肇(zhao)觀電(dian)子參(can)與(yu)產業鏈塑(su)形的一個過(guo)程，能夠(gou)幫助更(geng)多地客戶找到(dao)AI落地的正確路徑(jing)和方法，有著更(geng)為實際的意(yi)義(yi)。
結語：肇觀電子參與產業鏈構建，解答AI落地挑戰
AI將(jiang)改(gai)變各行各業(ye)(ye)(ye)已成為產業(ye)(ye)(ye)共(gong)識，但由于產業(ye)(ye)(ye)鏈不成熟使(shi)得AI落地(di)需要花很(hen)大(da)力氣；如何破解(jie)AI落地(di)難(nan)的問題(ti)一(yi)直在困擾(rao)整(zheng)個人工智能行業(ye)(ye)(ye)。對于很(hen)多AI芯片玩家的創(chuang)始人，一(yi)方(fang)面(mian)(mian)他們有著深厚的芯片從業(ye)(ye)(ye)經歷(li)，另一(yi)方(fang)面(mian)(mian)卻要面(mian)(mian)對產業(ye)(ye)(ye)鏈并(bing)不完整(zheng)的新問題(ti)。
肇觀電子作為AI芯片賽道的(de)參與者，親身參與了產業(ye)鏈的(de)構(gou)建(jian)，Feynman相機也是他們對于行業(ye)挑戰所提交的(de)一份答卷，結果(guo)如何值得行業(ye)期待。
