智東西(公眾號:zhidxcom)
作者 | 楊暢
編輯 | 心緣

智東西7月7日報道(dao),昨日,法國機器(qi)視覺創(chuang)企普諾飛(fei)(fei)思(PROPHESEE)宣(xuan)布獲得C輪融資,由李開復創(chuang)立的(de)創(chuang)新工廠(chang)領投,小米和上(shang)海韋豪(hao)創(chuang)芯跟投。迄今普諾飛(fei)(fei)思已累(lei)計融資6800萬美元。

普諾(nuo)飛思的(de)核心技術是神經擬態視(shi)(shi)覺技術,其(qi)主要產品包(bao)含兩類(lei):原視(shi)(shi)覺(Metavision)傳感器和原視(shi)(shi)覺智能套(tao)件。這(zhe)可(ke)以(yi)被理解(jie)為模擬了人眼和大腦協(xie)同的(de)工作(zuo)方式,能讓機(ji)器看到隱藏的(de)場景運動信息。

今日(ri),普(pu)諾飛思聯(lian)合創始人兼CEO盧卡(ka)·維雷(lei)(Luca Verre)與(yu)智東西等媒體遠程視頻連(lian)線,詳(xiang)細介(jie)紹其核心技術的三大主要優(you)勢。此外,盧卡(ka)還特別(bie)提及對中(zhong)國市場的看好。

一、僅檢測變化信息,忽略靜止圖像

成立7年的普諾(nuo)飛思(si),總部(bu)位(wei)于巴(ba)黎,目前在全球設(she)有5個(ge)辦事處,中國(guo)分公司位(wei)于上海,普諾(nuo)飛思(si)最近在大力拓展中國(guo)團隊。

目前普諾飛思團隊共有100多位工程師,掌握51項國際(ji)專利。

據盧卡分享,普諾(nuo)飛思傳(chuan)感器和(he)傳(chuan)統傳(chuan)感器的工作原(yuan)理存在明顯差異。

傳(chuan)(chuan)統圖像傳(chuan)(chuan)感器是以(yi)某(mou)一固定幀速率(lv)記(ji)錄整個場景,如(ru)每秒(miao)30幀。以(yi)打高爾夫球的(de)(de)視頻(pin)為例,這(zhe)(zhe)一場景中重要的(de)(de)信息(xi)是球桿的(de)(de)擺動和球的(de)(de)運動,但傳(chuan)(chuan)統傳(chuan)(chuan)感器將丟失這(zhe)(zhe)些信息(xi)的(de)(de)某(mou)些部分,同時反復記(ji)錄他身后的(de)(de)天空、樹木和草地,這(zhe)(zhe)樣(yang)記(ji)錄的(de)(de)數(shu)據對于(yu)機器識(shi)別來講相對原始和冗(rong)余。

這家AI創企專攻神經擬態視覺技術,獲創新工場、小米投資

普諾飛思(si)的核心(xin)技(ji)術受到人眼和大(da)腦工作原(yuan)理(li)的啟(qi)發(fa),是一種基于事件的視覺神(shen)經擬態處理(li)技(ji)術。

人(ren)眼眼睛(jing)(jing)中(zhong)的(de)視覺細(xi)(xi)(xi)胞感測(ce)到場(chang)(chang)景變化時,即“事件”,細(xi)(xi)(xi)胞會傳遞(di)(di)信息(xi)給大腦(nao),如果場(chang)(chang)景沒有任何變化,則細(xi)(xi)(xi)胞不會傳遞(di)(di)任何內(nei)容,場(chang)(chang)景中(zhong)的(de)物體移動得越(yue)多,我們(men)的(de)眼睛(jing)(jing)和大腦(nao)收集(ji)的(de)數據越(yue)多。

這種基于事件的傳感器,每個像素都會根(gen)據其(qi)檢測到的對比(bi)度(du)變(bian)化(運動)智(zhi)能地(di)激(ji)活自己,可(ke)以獲得連續數據,沒有幀率的限制。

具(ju)體(ti)來講就(jiu)是,跟蹤識別(bie)物體(ti)變(bian)化(hua)產生的光的變(bian)化(hua)。

普(pu)諾飛思高級現場應(ying)用工程(cheng)師Cyrus Lo,從三個方面對其技(ji)術進行了展示(shi):

首先(xian)是(shi)演示了(le)普諾飛思的視覺傳感器可以檢測物體或人運(yun)動產生的光(guang)的變化,反(fan)映到屏幕上(shang)是(shi)箭頭(tou)的顏(yan)色和長度(du),顏(yan)色代表運(yun)動方(fang)向,長度(du)代表運(yun)動速(su)度(du)。

這家AI創企專攻神經擬態視覺技術,獲創新工場、小米投資

▲普諾飛思視(shi)覺傳感器可以(yi)反映(ying)物體運(yun)動速度(du)和運(yun)動方向

第二(er)個演(yan)示(shi)(shi)展示(shi)(shi),說(shuo)明(ming)了普諾飛思傳感器檢測(ce)數據的(de)另(ling)一個特點(dian),靜止狀態的(de)話(hua),顯(xian)示(shi)(shi)屏幕上(shang)是(shi)一片空(kong)白的(de),當有物體動起來,就會(hui)有藍色和黑(hei)色的(de)圖像(xiang)出(chu)現(xian),代表從暗到(dao)明(ming)或(huo)從明(ming)到(dao)暗的(de)變化。

這家AI創企專攻神經擬態視覺技術,獲創新工場、小米投資

▲普諾飛思視覺傳(chuan)感器顯示物體反射光線的明暗變化

最后一(yi)個演示(shi)表明(ming)了(le),普諾飛思(si)傳(chuan)感器記錄(lu)數據是(shi)連續(xu)的,只要物體一(yi)直在動,它就一(yi)直記錄(lu)。而傳(chuan)統傳(chuan)感器記錄(lu)是(shi)有間隔(ge)的。

這家AI創企專攻神經擬態視覺技術,獲創新工場、小米投資

▲普諾飛思傳感器記錄數據是連續的

盧卡說(shuo),基于事件的(de)處(chu)理(li)技術有三(san)個(ge)優點:第(di)一(yi)是(shi)會減(jian)少數(shu)據冗余,減(jian)輕計算壓(ya)力;第(di)二是(shi)速(su)度,提高機器(qi)識(shi)別圖(tu)像的(de)速(su)度,不用機器(qi)去對比圖(tu)像之間的(de)變(bian)化,而是(shi)直接記錄變(bian)化;第(di)三(san)是(shi)增加動(dong)態范圍,只要有光(guang)即使(shi)是(shi)很微弱的(de)光(guang)線(xian)環境,也可(ke)以進行動(dong)態物(wu)體運動(dong)的(de)捕捉。

二、極端環境或不便接觸的環境下可用

盧(lu)卡(ka)還(huan)介紹(shao)了(le)多種其技術的應(ying)用場景,目前(qian)涉及輔助駕(jia)駛領(ling)域(yu)、醫藥醫療領(ling)域(yu)、工業領(ling)域(yu)。

輔助駕駛領域(yu),例如當駕駛員放下遮(zhe)光板時(shi),車內存在(zai)非常亮(liang)和非常暗的(de)(de)地方,傳統圖(tu)像(xiang)傳感器可(ke)能識別(bie)起來存在(zai)困(kun)難(nan),但是基于事(shi)件(jian)的(de)(de)圖(tu)像(xiang)處理傳感器是根(gen)據物品移動(dong)時(shi)帶來的(de)(de)光的(de)(de)變化(hua)而采集的(de)(de)數據,也就具有更寬的(de)(de)動(dong)態范圍。

醫療領域(yu),如(ru)在胰島素(su)生產過程中,原(yuan)有的方(fang)法是(shi)等最(zui)后(hou)時候進行(xing)無菌檢測(ce),但是(shi)基于事(shi)件的視覺(jue)技術就可以(yi)實時對培(pei)養基進行(xing)檢測(ce),這是(shi)非(fei)接(jie)觸(chu)性的。

這家AI創企專攻神經擬態視覺技術,獲創新工場、小米投資

普(pu)諾飛(fei)思(si)大中(zhong)華區商務發展主管Johney Lu說,在工業(ye)領域,普(pu)諾飛(fei)思(si)的(de)技術(shu)已經實(shi)現商業(ye)化落地,例如振動檢測像鐵軌、高壓裝置等不方便放(fang)傳感(gan)器(qi)(qi)的(de)地方,基(ji)于事件的(de)視覺傳感(gan)器(qi)(qi)可以(yi)不與物(wu)體接觸,就(jiu)能檢測出物(wu)體的(de)變化,再如,焊接過(guo)程中(zhong),使用傳感(gan)器(qi)(qi)也可以(yi)幫助(zhu)尋找焊點和實(shi)現質(zhi)檢。

盧卡提到他非(fei)常看好中(zhong)(zhong)國市(shi)場(chang),因為中(zhong)(zhong)國是最(zui)(zui)大(da)(da)的(de)智能手機(ji)(ji)市(shi)場(chang)、最(zui)(zui)大(da)(da)的(de)攝像頭市(shi)場(chang)、最(zui)(zui)大(da)(da)的(de)無人機(ji)(ji)市(shi)場(chang)等(deng)等(deng),這些都可能用到他們公司的(de)產(chan)(chan)品,助(zhu)力普諾(nuo)飛思的(de)產(chan)(chan)品和(he)技術進(jin)入商用領域。

結語:神經擬態視覺領域,索尼、三星等已進入

普(pu)諾飛思(si)傳(chuan)(chuan)感器是從(cong)采(cai)集階段就之間采(cai)集數據(ju)變化的(de)信息(xi),相對于傳(chuan)(chuan)統視覺傳(chuan)(chuan)感器輸出的(de)結果(guo)更(geng)簡潔,沒(mei)有重復信息(xi),提高圖像等的(de)處理效率(lv)。

像三星和(he)(he)索尼等,去年(nian)(nian)就有(you)涉及神經擬態(tai)視覺方面的行(xing)動,其(qi)中(zhong)索尼在去年(nian)(nian)2月就和(he)(he)普諾(nuo)飛思合作發布了(le)第四代原視覺傳(chuan)感器芯片。根據歐洲半(ban)導體分析機(ji)構Yole Développement的預測,到2029年(nian)(nian),神經擬態(tai)半(ban)導體、傳(chuan)感和(he)(he)計算市(shi)場(chang)可能會達到71億(yi)美元,市(shi)場(chang)有(you)一定發展(zhan)前景(jing)。