芯東西（公眾號：aichip001）
作者 | ?ZeR0
編輯 | ?漠影
當(dang)你用手機抓拍(pai)某個精彩(cai)瞬間(jian)，一旦拍(pai)糊(hu)了，可能會令人相當(dang)郁(yu)悶。
一家法(fa)國創企正從根源(yuan)上解決這(zhe)個問題。
這家機器視覺(jue)創企名為普諾飛思(si)（Prophesee），是神(shen)經(jing)擬(ni)態視覺(jue)系統的發明者(zhe)。它通過模(mo)仿人(ren)眼和大腦的工作方(fang)式，開發了突破性的事(shi)件視覺(jue)（EBV，Event-Based Vision）技術(shu)，讓攝(she)影(ying)(ying)設(she)備能(neng)夠高(gao)效捕捉到(dao)清晰畫(hua)面(mian)，而(er)且幾(ji)乎(hu)不受光(guang)線影(ying)(ying)響。
▲采用Prophesee事(shi)件視(shi)覺技(ji)術(shu)，手機(ji)在(zai)動態過程中拍攝的照片變清晰(xi)（圖源：Prophesee）
總的(de)來說，Prophesee的(de)神經擬態事件視覺解決方案(an)可以幫助有效解決三個(ge)痛點：一是(shi)實現高速跟蹤，二是(shi)降低算(suan)力需(xu)求，三是(shi)優(you)化整體(ti)功耗。
Prophesee的全球總部位(wei)(wei)于(yu)法國巴黎(li)，中國總部位(wei)(wei)于(yu)上海，擁(yong)有100多(duo)位(wei)(wei)科(ke)研人員、50多(duo)項國際(ji)專利，國際(ji)智能手機芯片巨頭高通、國際(ji)圖像傳(chuan)感器巨頭索尼均是它的合作(zuo)伙伴(ban)。
今年1月，Prophesee完成五千萬歐元(yuan)C輪融資(zi)(zi)，成為歐盟(meng)獲融資(zi)(zi)最多的無(wu)晶圓廠半導體公(gong)司。其歷代(dai)投資(zi)(zi)陣容相當吸(xi)睛，包括英特爾(er)、博世、雷諾集(ji)團、小米、韋爾(er)股份等(deng)戰(zhan)略投資(zi)(zi)者，以及歐洲投資(zi)(zi)銀(yin)行EIB、創新工場、韋豪創芯(xin)、Prosperity7 Ventures等(deng)產業投資(zi)(zi)人。
這家創企(qi)為何(he)被如此(ci)多科技(ji)(ji)大(da)廠看好？事件視覺(jue)技(ji)(ji)術與傳(chuan)統基于幀的傳(chuan)感器技(ji)(ji)術有何(he)不同？它通過什么原理讓(rang)手機攝影質量大(da)幅提升？近日，Prophesee聯合創始(shi)人兼執(zhi)行總裁(cai)盧(lu)卡·維雷（Luca Verre），Prophesee副總裁(cai)兼大(da)中華區總經理楊(yang)雪飛來到(dao)北京，與芯東西等媒(mei)體(ti)進行了深入交(jiao)流。
一、模擬人眼捕捉動態信息，暗光環境下也能抓拍清晰影像
人類對世界的(de)認識(shi)，并非(fei)是基(ji)于柵格或(huo)基(ji)于幀的(de)。傳(chuan)統基(ji)于幀的(de)傳(chuan)感器，目標是盡可(ke)能捕(bu)捉空間的(de)信息，在數(shu)據處(chu)理量(liang)、處(chu)理速度、周遭光線條件不理想(xiang)時，瓶(ping)頸問題會日益突出。
從自然界汲取靈感(gan)的(de)Prophesee產品和技術，則能(neng)很好地解決(jue)這些問題。
▲傳(chuan)統傳(chuan)感器(qi)與Prophesee傳(chuan)感器(qi)處理Luca Verre講(jiang)話影像的對比（圖源(yuan)：Prophesee）
在生物(wu)界中，當(dang)視野中的人(ren)(ren)或物(wu)不動時，人(ren)(ren)眼(yan)是沒有向大腦傳送圖像信(xin)號的，只有發(fa)生變化(hua)時，眼(yan)睛(jing)才會開始(shi)工作。
受此啟發(fa)，Prophesee開(kai)發(fa)了(le)事件視(shi)覺(jue)傳(chuan)感(gan)器。在(zai)拍攝一(yi)些移動(dong)物(wu)體時，該傳(chuan)感(gan)器更關(guan)注(zhu)動(dong)作信息，其像素(su)不(bu)會(hui)在(zai)一(yi)個(ge)固定的時間(jian)節點（幀率(lv)）記(ji)錄(lu)整個(ge)畫面(mian)的信息，僅記(ji)錄(lu)關(guan)鍵(jian)的動(dong)態場景信息，因此像素(su)反應速度極(ji)快(kuai)，能捕(bu)捉到亞毫(hao)秒級的瞬間(jian)，而且(qie)幾乎不(bu)受光線條(tiao)件的影(ying)響。
相比傳統方(fang)法，這樣能(neng)大幅減少系統需處(chu)理的信息量，實現更好的能(neng)效。
▲事件視覺傳感技術的四項能(neng)力（圖源：Prophesee）
對于解決(jue)攝(she)(she)影(ying)模糊問題來說，事件視覺傳(chuan)感(gan)器(qi)尤其(qi)有(you)用。以(yi)前用常規普通攝(she)(she)像頭(tou)拍(pai)照時，如果(guo)被拍(pai)攝(she)(she)對象移動速度很(hen)快，或是因場景光線(xian)不足(zu)導致(zhi)曝光時間(jian)延(yan)長，都(dou)可能會導致(zhi)照片發(fa)生模糊。
而(er)Prophesee的(de)事(shi)(shi)件(jian)(jian)視覺(jue)(jue)傳感器，收集(ji)到的(de)事(shi)(shi)件(jian)(jian)數(shu)據在時間上具有連續(xu)性，可以(yi)借助(zhu)這些信息來(lai)重構和修復常規(gui)攝(she)(she)像機拍攝(she)(she)的(de)模(mo)糊圖像，使得(de)照片中(zhong)的(de)人(ren)或物恢復到接近人(ren)眼視覺(jue)(jue)看(kan)到的(de)狀態。
▲手機原(yuan)相機與Prophesee技術加持(chi)后的抓拍(pai)清晰(xi)度對比（圖源(yuan)：Prophesee）
Luca Verre說，就成本而(er)言(yan)，事件視覺傳(chuan)(chuan)感器與傳(chuan)(chuan)統基于(yu)幀的(de)傳(chuan)(chuan)感器沒(mei)有太大的(de)區別，遵循一(yi)樣的(de)技(ji)術趨勢，使用(yong)一(yi)樣的(de)生產工藝。
這(zhe)對手(shou)機廠商們相當有吸引力。畢竟手(shou)機攝影(ying)功能是(shi)許(xu)多消費者在(zai)購買手(shou)機時會重點考(kao)慮的因素之(zhi)一，在(zai)暗光(guang)環境隨手(shou)抓拍清晰(xi)照片的功能會令不少攝影(ying)愛好者為之(zhi)心動。
智能(neng)手(shou)機(ji)也是Prophesee當前的(de)一(yi)(yi)大戰(zhan)略(lve)高(gao)地。在全(quan)球，每年有(you)超過10億臺的(de)手(shou)機(ji)在銷售，一(yi)(yi)臺手(shou)機(ji)有(you)越來越多(duo)的(de)攝像頭(tou)，市場潛力非常大。
二、與高通、索尼、中國手機大廠密切合作
Luca Verre分享說，當前(qian)手(shou)機占(zhan)據了60%以上的圖(tu)像(xiang)傳(chuan)感器市場。在手(shou)機端，Prophesee當前(qian)的應用是將其事件視覺傳(chuan)感器與(yu)傳(chuan)統基于幀的圖(tu)像(xiang)傳(chuan)感器進行(xing)結(jie)合，提高手(shou)機后置主攝(she)(she)的攝(she)(she)影質量。
索(suo)尼(ni)在傳(chuan)統基于幀的圖(tu)像傳(chuan)感(gan)器方(fang)面占據(ju)了超(chao)過40%的市場(chang)份額，擁有可靠的供應(ying)(ying)鏈和(he)強(qiang)大的供應(ying)(ying)能力(li)。Prophesee正與索(suo)尼(ni)積極合作，將(jiang)事件(jian)視覺技術推廣到工業、物聯網(wang)（IoT）、手機等不同的應(ying)(ying)用領域(yu)。Prophesee的事件(jian)視覺傳(chuan)感(gan)器也是由(you)索(suo)尼(ni)來幫助完成生產(chan)供應(ying)(ying)的。
在上(shang)(shang)個月舉行的世界移動(dong)通信大會(hui)MWC 2023期間(jian)，高(gao)通公(gong)布(bu)了與小米(mi)、榮耀等手(shou)機大廠的戰略合作，Prophesee也名列(lie)其中。在技術(shu)層(ceng)面，高(gao)通將(jiang)Prophesee的事件視(shi)覺(jue)傳(chuan)感(gan)器和軟件整合到驍龍移動(dong)平臺上(shang)(shang)，相關開(kai)發套件將(jiang)于今年(nian)上(shang)(shang)市；在業(ye)務發展層(ceng)面，高(gao)通將(jiang)會(hui)和Prophesee一起向手(shou)機OEM推(tui)廣這個解決方案。
目(mu)前全球60%以上(shang)的(de)旗艦手機(ji)和(he)高(gao)端手機(ji)都(dou)采用由高(gao)通(tong)提供的(de)處理器。Prophesee進(jin)一步鞏固(gu)了和(he)高(gao)通(tong)的(de)長(chang)期戰略(lve)合作(zuo)關系。雙方(fang)一致認為，在計算攝(she)影、傳(chuan)感應用等(deng)方(fang)面，神(shen)經擬態技術(shu)將會為未來智能(neng)手機(ji)帶來非常多(duo)的(de)附(fu)加價值。
▲高通在MWC 2023公布與Prophesee的(de)戰略合(he)作
Prophesee現(xian)階段和高通合作的重點是提高手機(ji)影像(xiang)成像(xiang)質量，首推功(gong)能是很(hen)多手機(ji)OEM廠商一(yi)個主要(yao)訴求——照片(pian)的運動去模糊功(gong)能。
除(chu)此(ci)之外(wai)，Prophesee也在與高通(tong)以及(ji)中國知名手機OEM廠(chang)商進行密切接洽，去開發(fa)更(geng)多的功能，以將事(shi)件視覺(jue)技術推向更(geng)廣闊的市場(chang)。
除(chu)了高通和索尼外，Prophesee公布的(de)(de)合作伙伴還有中國臺灣的(de)(de)芯(xin)鼎科技（iCatch）、日本的(de)(de)DMP公司等(deng)。Prophesee也一直和英特爾(er)保持積極合作，并在AMD賽靈(ling)思上搭建了參考系(xi)統。
除(chu)了手機(ji)之外，IoT監(jian)控安防也(ye)是(shi)一個(ge)很好的(de)(de)應用場(chang)景。Prophesee的(de)(de)技術不但能夠保護隱私(si)，而(er)且能夠節(jie)省數據流量和資(zi)源，讓(rang)整個(ge)方(fang)案變得更便捷、安全。今年Prophesee在該領(ling)域就(jiu)會有相應的(de)(de)量產產品落地。
三、降低延遲與功耗，優化AR/VR沉浸式體驗
除(chu)了手機領域(yu)外(wai)，Prophesee也在可穿戴設備及AR/VR領域(yu)進(jin)行探索和突破。
Luca Verre相信未來(lai)AR/VR將成為(wei)我們與世界進行(xing)交(jiao)互(hu)的(de)方(fang)式，因此，Prophesee正努(nu)力(li)盡可能(neng)地提升AR/VR技(ji)術(shu)的(de)沉(chen)浸(jin)式體驗，比方(fang)幫助(zhu)位(wei)姿跟蹤、手勢追(zhui)蹤、目光跟蹤等減少延遲和(he)降低功耗。這些是提升沉(chen)浸(jin)式體驗的(de)關鍵(jian)。
▲Prophesee在VR應用方面的儲備（圖(tu)源：Prophesee）
使用AR/VR設備，如(ru)果延(yan)遲非常嚴重，使用者可能會感到(dao)頭暈(yun)、產生暈(yun)眩感；如(ru)果設備功耗比較高的話，相應的AR/VR設備成(cheng)本可能會提升，難以在(zai)消費市場推(tui)廣普(pu)及(ji)。
而(er)Prophesee的(de)(de)(de)事件視覺技術可以(yi)精準檢測(ce)目(mu)標(biao)對象的(de)(de)(de)輪廓，并進行高速追蹤，同樣幾乎不受(shou)光線(xian)條件的(de)(de)(de)影響。
以眼球追(zhui)(zhui)蹤(zong)為例，如果使用傳統(tong)攝像頭，通常需要(yao)達(da)到500幀/秒以上的(de)速度，對算(suan)力(li)的(de)要(yao)求非常高(gao)。與傳統(tong)的(de)解決(jue)方案相(xiang)比，事件(jian)視覺技術只(zhi)關注畫面中動態變化的(de)信(xin)息，可以大大降低數(shu)據量(liang)，實現非常高(gao)速的(de)追(zhui)(zhui)蹤(zong)。
去年，Meta公司也發布了基于與Prophesee合(he)作取得的(de)(de)成果和數據，在有(you)限的(de)(de)功耗內實現了高性(xing)能的(de)(de)眼球追蹤。
由于事件視覺(jue)技術(shu)很適(shi)合用于捕捉(zhuo)運動的(de)物體信息，Luca Verre說，有人把電動汽車比(bi)喻成四個輪子的(de)智能手機，未來Prophesee也將會關注汽車領域(yu)。
四、看重在中國投資：團隊規模最大，正在高速增長
在(zai)神經(jing)擬態(tai)視(shi)覺技(ji)術上，Prophesee核(he)心團隊的研究(jiu)已經(jing)長(chang)達(da)25年(nian)。大約在(zai)8年(nian)前，Luca Verre與其合(he)作伙伴們共同成立了Prophesee公司。
他們最初是(shi)希望能夠用(yong)這項(xiang)(xiang)技術來幫助視力受損(sun)的(de)人(ren)恢復視覺，工(gong)作原(yuan)理有點像用(yong)硅做的(de)視網(wang)膜，這項(xiang)(xiang)工(gong)作在(zai)2016年取(qu)得了成功。從那之后，他們希望能夠把人(ren)眼視覺也(ye)賦能到一些設備上，特別是(shi)在(zai)人(ren)工(gong)智(zhi)能（AI）和機(ji)器視覺領域的(de)物(wu)聯網(wang)設備、機(ji)器人(ren)、無人(ren)機(ji)、智(zhi)能手機(ji)上。
從創建起初，Prophesee團隊就(jiu)決定要在(zai)中(zhong)國進行投資。Luca Verre非常看(kan)好(hao)中(zhong)國市(shi)(shi)場(chang)的巨大市(shi)(shi)場(chang)潛力(li)和(he)豐(feng)富(fu)的市(shi)(shi)場(chang)資源，以及來自公(gong)共和(he)私人領(ling)域的投資和(he)良好(hao)的生態。
Prophesee副總裁(cai)兼大(da)中(zhong)華區總經理楊雪飛說，中(zhong)國(guo)是Prophesee非常重(zhong)要的戰略(lve)投資和業務(wu)拓展方向。目前Prophesee的全球布局中(zhong)，中(zhong)國(guo)團隊規(gui)模(mo)最(zui)大(da)，增長速度也(ye)非常快。
Prophesee的中國總部位于上(shang)海，在北京、香(xiang)港(gang)、臺北等(deng)各地(di)均有(you)設立支持合作伙(huo)伴和客戶的團隊。深(shen)圳(zhen)也(ye)是其未來的一(yi)個重(zhong)要布(bu)局(ju)點。
除了(le)銷售外，Prophesee團(tuan)隊(dui)同樣非常(chang)重視(shi)開發(fa)，去年夏天專門從法國邀請了(le)創始(shi)團(tuan)隊(dui)中(zhong)的(de)一位成員擔任中(zhong)國區CTO，以(yi)帶(dai)動中(zhong)國區市場客戶(hu)所需(xu)的(de)支持與開發(fa)。Prophesee還在加強(qiang)本地(di)(di)化團(tuan)隊(dui)的(de)技術開發(fa)能力(li)及快(kuai)速地(di)(di)響應能力(li)。
▲在中國，Prophesee截至2022年的(de)工作進(jin)展和2023年的(de)計(ji)劃（圖(tu)源：Prophesee）
到2022年為止，Prophesee的(de)很多工作(zuo)都是鋪墊性的(de)。
Prophesee與中國區合(he)作伙(huo)伴(ban)進(jin)行了(le)大(da)量(liang)合(he)作，包括如清華大(da)學在內(nei)的(de)超過30所大(da)學院校、大(da)專院校以及研(yan)究(jiu)所單位(wei)。面向工(gong)業類、應用類，它與小米、索尼等大(da)量(liang)的(de)ToB企業進(jin)行合(he)作，開發不同產(chan)品系列(lie)上的(de)可(ke)能應用。去年Prophesee還在中國找到了(le)相機合(he)作廠(chang)商。
進入2023年，Prophesee逐漸開始收獲：首先會(hui)推出Prophesee的(de)中文版(ban)官方(fang)網站(zhan)，并將建立以中文交(jiao)流為主的(de)開發者社區，方(fang)便(bian)與中國合作伙伴(ban)一(yi)起把(ba)技術交(jiao)流和研(yan)發推向一(yi)個更(geng)廣闊的(de)前景。
在大(da)量前期研(yan)發合作的(de)基礎上，今(jin)年(nian)，Prophesee有兩大(da)應用進入(ru)到了成熟(shu)階段(duan)，除了在MWC巴塞羅那展上獲獎(jiang)的(de)手(shou)機Deblur應用方(fang)案外，IoT方(fang)案也將于(yu)今(jin)年(nian)量產落地。
Prophesee正在加(jia)快(kuai)與中(zhong)國(guo)區(qu)合(he)作伙伴(ban)開(kai)發部署很多潛在的(de)優秀應用場景，包括VR眼球追蹤、真(zhen)人動(dong)作捕捉(zhuo)等技術。Prophesee今年(nian)還(huan)會推(tui)出針對高速3D深(shen)度信(xin)息獲取的(de)解決(jue)方(fang)案，將大幅提升捕捉(zhuo)速度，在更高速運動(dong)過程中(zhong)進行3D信(xin)息傳輸(shu)。
結語：解鎖成像與機器視覺的更多可能
隨著AI、工業(ye)自動化、物(wu)聯網(wang)、VR/AR、自動駕駛等(deng)新(xin)興產業(ye)加速發展(zhan)，新(xin)時代的算力需求亟待更(geng)強大的芯片(pian)來承擔(dan)更(geng)高的視(shi)覺處理需求。
事件視覺(jue)技術通(tong)過模擬人(ren)眼感知處理信息的(de)方式，為重新(xin)定(ding)義當今的(de)成(cheng)像和機器視覺(jue)、解(jie)鎖更多應用創造了全新(xin)可能。
