4月20日起(qi)，智東(dong)西創課(ke)推出自(zi)動駕(jia)駛(shi)系列(lie)(lie)課(ke)第二季，9位自(zi)動駕(jia)駛(shi)新勢力的(de)創始人和(he)高管將帶(dai)來9節系列(lie)(lie)課(ke)。
第(di)三課由眼擎科技CEO朱繼志(zhi)主(zhu)講(jiang)，主(zhu)題(ti)為(wei)《如何克服(fu)ISP解(jie)決(jue)不了(le)的(de)復雜(za)光線難題(ti)》。本文(wen)為(wei)朱繼志(zhi)的(de)主(zhu)講(jiang)實錄，共(gong)計14605字(zi)，預計18分鐘(zhong)讀完。一起(qi)了(le)解(jie)周朱繼志(zhi)的(de)主(zhu)講(jiang)提綱：
1、自動駕駛前端成像的現狀
2、ISP架構及其在自動駕駛中的局限性
3、成像引擎如何在復雜光線下提高成像準確率
4、120dB如何在自動駕駛領域中實現
在瀏覽正文之前(qian)，可(ke)以(yi)先(xian)思考以(yi)下(xia)幾(ji)個問題：
-實驗室數據和現場數據最大的差別是什么？
-如何正確的理解ISP（圖像信號處理）？
-動態范圍的概念是什么？動態范圍是如何導致復雜光線問題的？
-在自動駕駛領域中，視覺相比于激光雷達有哪些優點？
-eyemore用四年時(shi)間開發的成(cheng)像引擎(qing)有什么特點和(he)優勢？
「提醒：如果希望下載自動駕駛第二季每堂(tang)課的完(wan)整課件，可以在車東西(xi)公眾號（ID：chedongxi）回復關鍵詞(ci)“系列課”獲取(qu)。如果你希望成為(wei)主講導師(shi)，可以回復關鍵詞(ci)“導師(shi)”，進行(xing)申請」
主講環節
朱繼志：大(da)家(jia)好，我(wo)(wo)(wo)是(shi)眼擎科技朱(zhu)繼志。很(hen)高興今天(tian)有(you)機(ji)會在(zai)智東西的(de)自動駕(jia)駛(shi)系列(lie)課(ke)上給(gei)大(da)家(jia)分享(xiang)關于復(fu)雜(za)光線視(shi)覺(jue)成像(xiang)這(zhe)個難題。看到群里有(you)很(hen)多在(zai)自動駕(jia)駛(shi)以及(ji)視(shi)覺(jue)相(xiang)關的(de)各種行業的(de)小伙伴們(men)，我(wo)(wo)(wo)先簡單(dan)介紹我(wo)(wo)(wo)們(men)公司，我(wo)(wo)(wo)們(men)是(shi)一(yi)家(jia)創業公司，專注(zhu)于做新型(xing)的(de)成像(xiang)引擎（我(wo)(wo)(wo)們(men)不(bu)叫ISP），在(zai)復(fu)雜(za)光線下如何進行視(shi)覺(jue)成像(xiang)，四年來一(yi)直專注(zhu)于做這(zhe)一(yi)個事情。
視覺在(zai)圖(tu)像(xiang)(xiang)、AI的各(ge)個領域應用(yong)都(dou)(dou)特別(bie)(bie)廣，自動(dong)駕(jia)駛就不用(yong)說了。群里(li)可(ke)能(neng)(neng)有不少人(ren)是做圖(tu)像(xiang)(xiang)識(shi)別(bie)(bie)的，大家經(jing)常(chang)會看到有很(hen)多(duo)圖(tu)像(xiang)(xiang)識(shi)別(bie)(bie)能(neng)(neng)力現在(zai)做得(de)很(hen)高，95%、97%或者(zhe)98%都(dou)(dou)有可(ke)能(neng)(neng)，但(dan)這些通常(chang)指的是在(zai)實驗室的數據(ju)或者(zhe)是在(zai)光線比較好的環(huan)境下，實際上(shang)有很(hen)多(duo)客(ke)戶(hu)包括很(hen)多(duo)在(zai)做智能(neng)(neng)駕(jia)駛的客(ke)戶(hu)都(dou)(dou)反映一個問題，在(zai)實際應用(yong)中由于(yu)圖(tu)像(xiang)(xiang)源的問題，導致識(shi)別(bie)(bie)的效(xiao)果(guo)會變(bian)差，很(hen)多(duo)圖(tu)像(xiang)(xiang)源可(ke)能(neng)(neng)有各(ge)種各(ge)樣的問題，比如(ru)噪點太多(duo)、顏色不準確、發黑等。
這類似于我(wo)們在淘寶(bao)買東(dong)西時(shi)賣家秀跟買家秀一樣(yang)，我(wo)們平時(shi)用來(lai)做訓練(lian)、學習的(de)(de)視覺圖(tu)片(pian)都是正常(chang)(chang)(chang)的(de)(de)，但是實際場景中經常(chang)(chang)(chang)會碰(peng)到不正常(chang)(chang)(chang)的(de)(de)圖(tu)片(pian)。而我(wo)們要做的(de)(de)事情就是如(ru)何(he)去(qu)幫助大家把實驗室(shi)99%的(de)(de)識(shi)別率(lv)變(bian)成實際應(ying)用中99%的(de)(de)識(shi)別率(lv)。實驗室(shi)和現(xian)場最(zui)大的(de)(de)差別就是光(guang)線的(de)(de)差異(yi)，因為所有視覺成像的(de)(de)來(lai)源(yuan)在圖(tu)像源(yuan)的(de)(de)時(shi)候，主要受光(guang)線的(de)(de)影響(xiang)，差別可能會非常(chang)(chang)(chang)大。
光(guang)線的(de)(de)差(cha)異會帶(dai)來圖像本質(zhi)上的(de)(de)變(bian)化(hua)(hua)，最直接的(de)(de)影響就是(shi)(shi)會損失掉很(hen)多重(zhong)要信(xin)息(xi)，比如會造(zao)成發黑、過曝、完全沒有信(xin)息(xi)、顏色(se)的(de)(de)灰(hui)度(du)不(bu)對、顏色(se)偏差(cha)以及邊緣會失真(zhen)、不(bu)清楚等(deng)一系(xi)列(lie)問題，反映在(zai)后端的(de)(de)視覺識(shi)別算法時看到(dao)的(de)(de)都是(shi)(shi)跟訓練模型不(bu)一樣的(de)(de)效果(guo)，出(chu)現(xian)信(xin)息(xi)量太少或者沒法檢測、沒法分析等(deng)，因(yin)此(ci)導致結果(guo)會差(cha)別非(fei)常大，這是(shi)(shi)一個本質(zhi)的(de)(de)變(bian)化(hua)(hua)。因(yin)為(wei)視覺本身就是(shi)(shi)物體本身的(de)(de)顏色(se)對光(guang)線在(zai)不(bu)同環境(jing)下的(de)(de)響應，所(suo)以光(guang)線變(bian)化(hua)(hua)很(hen)大的(de)(de)時候，帶(dai)來的(de)(de)差(cha)別是(shi)(shi)本質(zhi)的(de)(de)變(bian)化(hua)(hua)，在(zai)各(ge)種環境(jing)當(dang)中，尤其是(shi)(shi)在(zai)自(zi)動駕駛里面，又(you)不(bu)可避免地(di)碰到(dao)各(ge)種各(ge)樣的(de)(de)復雜光(guang)線的(de)(de)環境(jing)。
做自(zi)動駕(jia)駛的(de)(de)(de)(de)(de)，或者普通(tong)的(de)(de)(de)(de)(de)用戶以及其(qi)(qi)他做圖(tu)像(xiang)產業相關(guan)的(de)(de)(de)(de)(de)人會(hui)(hui)經常碰到(dao)(dao)一(yi)些問題，比(bi)如(ru)在(zai)(zai)過隧(sui)道的(de)(de)(de)(de)(de)時候(hou)，尤(you)其(qi)(qi)是(shi)在(zai)(zai)出隧(sui)道的(de)(de)(de)(de)(de)時候(hou)，隧(sui)道里面(mian)會(hui)(hui)比(bi)較(jiao)暗(an)，外(wai)面(mian)特別亮，導致隧(sui)道外(wai)面(mian)一(yi)片看不清楚，出去之(zhi)后車載攝像(xiang)頭還需要(yao)挺長的(de)(de)(de)(de)(de)響應時間；另外(wai)在(zai)(zai)晚(wan)上(shang)(shang)碰到(dao)(dao)對(dui)面(mian)車開遠光(guang)燈(deng)的(de)(de)(de)(de)(de)時候(hou)，會(hui)(hui)感覺(jue)很刺眼，對(dui)機(ji)器也是(shi)一(yi)樣的(de)(de)(de)(de)(de)，識(shi)別的(de)(de)(de)(de)(de)時候(hou)只(zhi)有(you)幾個大的(de)(de)(de)(de)(de)白(bai)圈，其(qi)(qi)他什(shen)么信(xin)息都沒有(you)；還有(you)在(zai)(zai)夜間環境下的(de)(de)(de)(de)(de)紅綠(lv)(lv)(lv)燈(deng)問題，因為(wei)白(bai)天的(de)(de)(de)(de)(de)時候(hou)，紅燈(deng)的(de)(de)(de)(de)(de)亮度是(shi)比(bi)較(jiao)正常的(de)(de)(de)(de)(de)，也比(bi)較(jiao)容易看到(dao)(dao)，而到(dao)(dao)晚(wan)上(shang)(shang)的(de)(de)(de)(de)(de)時候(hou)，一(yi)是(shi)因為(wei)路邊有(you)特別多的(de)(de)(de)(de)(de)燈(deng)，紅綠(lv)(lv)(lv)燈(deng)只(zhi)是(shi)其(qi)(qi)中之(zhi)一(yi)，二是(shi)因為(wei)暗(an)光(guang)下紅綠(lv)(lv)(lv)燈(deng)會(hui)(hui)特別的(de)(de)(de)(de)(de)亮，所(suo)以它很容易過曝，顯示(shi)出來就會(hui)(hui)看不清楚，比(bi)如(ru)指(zhi)示(shi)牌上(shang)(shang)的(de)(de)(de)(de)(de)箭頭很可(ke)能變成一(yi)大塊模(mo)糊的(de)(de)(de)(de)(de)綠(lv)(lv)(lv)色或者紅色。
這(zhe)些(xie)都是(shi)復(fu)雜光(guang)線下(xia)視(shi)覺圖像(xiang)源在(zai)(zai)成(cheng)像(xiang)過(guo)程中產生的(de)(de)(de)問(wen)題(ti)，除(chu)了(le)在(zai)(zai)這(zhe)些(xie)情況下(xia)，其他的(de)(de)(de)比如辦公室的(de)(de)(de)玻璃(li)墻、玻璃(li)杯以及(ji)識別(bie)人臉(lian)時(shi)候的(de)(de)(de)逆光(guang)，還有一(yi)些(xie)物體某(mou)部(bu)分是(shi)高光(guang)，比如白色和黑色的(de)(de)(de)反(fan)差，以及(ji)人臉(lian)晚(wan)上的(de)(de)(de)時(shi)候可(ke)能會變(bian)得非常不清晰(xi)等等，這(zhe)些(xie)出現在(zai)(zai)前(qian)端(duan)的(de)(de)(de)視(shi)覺現象在(zai)(zai)自(zi)動駕駛領域很容易(yi)就會導致(zhi)后端(duan)識別(bie)不了(le)的(de)(de)(de)問(wen)題(ti)。從成(cheng)像(xiang)來(lai)看(kan)的(de)(de)(de)話，不管它(ta)是(shi)什么(me)現象，基本可(ke)以總結為三個：
1，弱光，光線太弱，太黑了，看不清楚；
2，逆光，逆光就是一個大燈，這種情況下也叫大光源；
3，背光(guang)，就有(you)大片是白(bai)的亮的，一些小(xiao)塊前面是暗的。
這幾種(zhong)是最常見的場景(jing)，簡單講就是光(guang)線太暗，或(huo)者光(guang)比太大(da)這兩個(ge)問題。不管是什(shen)么現象，都可以(yi)用光(guang)線太弱(ruo)或(huo)者光(guang)線的反差太大(da)來解釋。通常來講，解決這個(ge)問題有(you)幾種(zhong)基本的策略:
1，感光度不好的時候提高感光度，要大幅度地提高感光度；
2，調整曝光策略，比如我要怎么知道能夠在哪一部分正確的曝光；
3，提高動態范(fan)圍(wei)(wei)，后(hou)面會(hui)講到動態范(fan)圍(wei)(wei)的概念，其中(zhong)動態范(fan)圍(wei)(wei)是(shi)最常見的一個(ge)問題(ti)。
在講到具體的(de)(de)成(cheng)像(xiang)(xiang)過程之前，先給大(da)(da)家(jia)介紹(shao)一(yi)下基本(ben)的(de)(de)概念，因(yin)為從我(wo)們接觸(chu)的(de)(de)很多客戶來(lai)看(kan)，在成(cheng)像(xiang)(xiang)這一(yi)端，大(da)(da)家(jia)對它的(de)(de)認知有(you)很多誤解，而(er)且大(da)(da)部分(fen)(fen)做(zuo)圖(tu)像(xiang)(xiang)的(de)(de)人都是(shi)(shi)(shi)在做(zuo)圖(tu)像(xiang)(xiang)的(de)(de)分(fen)(fen)析(xi)(xi)，就是(shi)(shi)(shi)得(de)到圖(tu)像(xiang)(xiang)之后以及(ji)后面(mian)怎么來(lai)做(zuo)識(shi)別檢測這部分(fen)(fen)的(de)(de)分(fen)(fen)析(xi)(xi)。成(cheng)像(xiang)(xiang)是(shi)(shi)(shi)一(yi)個(ge)感(gan)知層面(mian)的(de)(de)工(gong)作(zuo)，相當(dang)于我(wo)們的(de)(de)大(da)(da)腦和(he)眼(yan)睛(jing)的(de)(de)分(fen)(fen)工(gong)一(yi)樣，我(wo)們做(zuo)的(de)(de)前端成(cheng)像(xiang)(xiang)是(shi)(shi)(shi)眼(yan)睛(jing)這部分(fen)(fen)的(de)(de)工(gong)作(zuo)，而(er)大(da)(da)部分(fen)(fen)做(zuo)圖(tu)像(xiang)(xiang)識(shi)別以及(ji)圖(tu)像(xiang)(xiang)AI算(suan)法(fa)和(he)深(shen)度學習(xi)都是(shi)(shi)(shi)做(zuo)大(da)(da)腦的(de)(de)事(shi)(shi)(shi)情(qing)，這兩個(ge)環(huan)節是(shi)(shi)(shi)分(fen)(fen)開(kai)的(de)(de)，總的(de)(de)來(lai)說，認知和(he)感(gan)知是(shi)(shi)(shi)大(da)(da)腦做(zuo)的(de)(de)事(shi)(shi)(shi)情(qing)，眼(yan)睛(jing)做(zuo)的(de)(de)事(shi)(shi)(shi)情(qing)就是(shi)(shi)(shi)前端成(cheng)像(xiang)(xiang)。
從技術上來看(kan)，成(cheng)像(xiang)(xiang)叫(jiao)Imaging，圖(tu)像(xiang)(xiang)的(de)(de)(de)分析叫(jiao)Imaging Procession。視覺成(cheng)像(xiang)(xiang)和圖(tu)像(xiang)(xiang)處(chu)理(li)是(shi)(shi)兩(liang)個不同的(de)(de)(de)領(ling)域，其中(zhong)最(zui)基本(ben)的(de)(de)(de)區(qu)別是(shi)(shi)處(chu)理(li)信(xin)(xin)號，一個是(shi)(shi)有(you)了(le)圖(tu)以后怎么進(jin)行分析，處(chu)理(li)信(xin)(xin)號會(hui)涉及到很多(duo)硬(ying)件，還有(you)很多(duo)對(dui)硬(ying)件的(de)(de)(de)控制以及信(xin)(xin)號中(zhong)的(de)(de)(de)變(bian)換，不是(shi)(shi)一個純軟件的(de)(de)(de)事情(qing)；圖(tu)像(xiang)(xiang)分析更多(duo)的(de)(de)(de)是(shi)(shi)純算(suan)法層面的(de)(de)(de)東西，大腦做的(de)(de)(de)是(shi)(shi)圖(tu)像(xiang)(xiang)分析，而眼睛做的(de)(de)(de)更多(duo)是(shi)(shi)信(xin)(xin)號處(chu)理(li)，所以信(xin)(xin)號處(chu)理(li)很多(duo)時候是(shi)(shi)和硬(ying)件相關的(de)(de)(de)。
我們(men)做AI圖像(xiang)識別(bie)的(de)(de)(de)(de)(de)(de)(de)(de)時(shi)(shi)候(hou)(hou)，基本上(shang)(shang)(shang)都是(shi)(shi)(shi)(shi)(shi)從軟件層面(mian)進行(xing)(xing)的(de)(de)(de)(de)(de)(de)(de)(de)。軟件和硬件有(you)一(yi)個最基本的(de)(de)(de)(de)(de)(de)(de)(de)區別(bie)是(shi)(shi)(shi)(shi)(shi)：一(yi)個是(shi)(shi)(shi)(shi)(shi)實(shi)(shi)時(shi)(shi)的(de)(de)(de)(de)(de)(de)(de)(de)，一(yi)個是(shi)(shi)(shi)(shi)(shi)非(fei)實(shi)(shi)時(shi)(shi)的(de)(de)(de)(de)(de)(de)(de)(de)。比(bi)如我們(men)做圖像(xiang)處理的(de)(de)(de)(de)(de)(de)(de)(de)時(shi)(shi)候(hou)(hou)可(ke)以(yi)在(zai)CPU上(shang)(shang)(shang)運行(xing)(xing)，在(zai)ARM、英特爾(er)等各(ge)種(zhong)各(ge)樣的(de)(de)(de)(de)(de)(de)(de)(de)CPU上(shang)(shang)(shang)運行(xing)(xing)，也(ye)可(ke)以(yi)在(zai)GPU上(shang)(shang)(shang)運行(xing)(xing)，但是(shi)(shi)(shi)(shi)(shi)在(zai)做成像(xiang)的(de)(de)(de)(de)(de)(de)(de)(de)過程中(zhong)是(shi)(shi)(shi)(shi)(shi)不能在(zai)上(shang)(shang)(shang)面(mian)運行(xing)(xing)的(de)(de)(de)(de)(de)(de)(de)(de)，必須是(shi)(shi)(shi)(shi)(shi)在(zai)FPGA或者是(shi)(shi)(shi)(shi)(shi)ASIC上(shang)(shang)(shang)運行(xing)(xing)，因(yin)為它必須是(shi)(shi)(shi)(shi)(shi)一(yi)個非(fei)常(chang)嚴格(ge)的(de)(de)(de)(de)(de)(de)(de)(de)有(you)時(shi)(shi)序(xu)的(de)(de)(de)(de)(de)(de)(de)(de)硬件來保證它的(de)(de)(de)(de)(de)(de)(de)(de)時(shi)(shi)延(yan)是(shi)(shi)(shi)(shi)(shi)可(ke)控的(de)(de)(de)(de)(de)(de)(de)(de)，因(yin)為在(zai)CPU或GPU上(shang)(shang)(shang)都會有(you)一(yi)定(ding)的(de)(de)(de)(de)(de)(de)(de)(de)不確(que)定(ding)性，很多(duo)時(shi)(shi)候(hou)(hou)眼睛(jing)能做的(de)(de)(de)(de)(de)(de)(de)(de)事情只有(you)一(yi)件，而圖像(xiang)分析等在(zai)很多(duo)時(shi)(shi)候(hou)(hou)都是(shi)(shi)(shi)(shi)(shi)軟件進行(xing)(xing)的(de)(de)(de)(de)(de)(de)(de)(de)，這是(shi)(shi)(shi)(shi)(shi)幾個基本的(de)(de)(de)(de)(de)(de)(de)(de)概念。
在講到整(zheng)個視(shi)覺的時候，我們可以(yi)(yi)把(ba)它看成(cheng)整(zheng)個鏈條，其中視(shi)覺的處理(li)可以(yi)(yi)分成(cheng)四個環節:
1、鏡頭，它是光信號進來，光信號出去，是一個光學器件；
2、CMOS傳感器Sensor，它是光信號進來，電子信號出去；
3、ISP，我們叫成像引擎，它是電子信號進來，圖像出去；
4、AI或(huo)者GPU，它是圖像(xiang)進來(lai)，結(jie)果出去。
這四個環節就像跑(pao)接力賽一樣(yang)，每(mei)一棒都有它最大的價值和(he)最獨特的價值，通常情況(kuang)下我(wo)們會關注誰(shui)負責最后沖刺，因此(ci)現(xian)在做AI圖像處(chu)理是(shi)最熱門的。
從鏡頭和(he)CMOS來(lai)講，第(di)一(yi)棒是(shi)鏡頭，鏡頭主要是(shi)決定(ding)光(guang)學的(de)(de)特性，比(bi)(bi)如(ru)我們平時說是(shi)不(bu)是(shi)能看得很遠(yuan)，一(yi)百(bai)米還是(shi)一(yi)百(bai)米多少度(du)的(de)(de)視角等(deng)，這(zhe)些(xie)都是(shi)由(you)鏡頭的(de)(de)焦距決定(ding)的(de)(de)，除此之外(wai)還有(you)一(yi)些(xie)特性，比(bi)(bi)如(ru)炫光(guang)、鏡頭的(de)(de)品質和(he)光(guang)圈的(de)(de)大小也是(shi)由(you)鏡頭來(lai)決定(ding)的(de)(de)；第(di)二(er)棒就是(shi)CMOS傳感器，它決定(ding)了很多電(dian)子的(de)(de)特性，比(bi)(bi)如(ru)分(fen)辨率、幀率還有(you)一(yi)些(xie)曝光(guang)的(de)(de)策略(lve)等(deng)屬性，這(zhe)些(xie)都是(shi)由(you)CMOS來(lai)決定(ding)的(de)(de)，CMOS是(shi)一(yi)種(zhong)非常重要的(de)(de)器件。這(zhe)兩部(bu)分(fen)基本上(shang)都不(bu)涉及(ji)到算法，主要類似于以模擬器件為主，因此是(shi)很難把(ba)算法加進去的(de)(de)。
而這兩(liang)個(ge)(ge)(ge)產(chan)業已經是(shi)(shi)(shi)非常(chang)成(cheng)熟的(de)(de)，鏡頭(tou)產(chan)業是(shi)(shi)(shi)很旁大的(de)(de)，同時CMOS產(chan)業也是(shi)(shi)(shi)很龐大的(de)(de)，這兩(liang)個(ge)(ge)(ge)產(chan)業的(de)(de)特(te)(te)點都是(shi)(shi)(shi)很難在原理上(shang)有(you)突破，除(chu)非是(shi)(shi)(shi)材料上(shang)發生(sheng)了非常(chang)大的(de)(de)變(bian)化，因此目(mu)前的(de)(de)發展空間是(shi)(shi)(shi)有(you)限的(de)(de)。后面(mian)兩(liang)個(ge)(ge)(ge)環節(jie)都是(shi)(shi)(shi)和算(suan)法相(xiang)關的(de)(de)，包括成(cheng)像引擎和圖像的(de)(de)分(fen)(fen)析。對于前面(mian)兩(liang)個(ge)(ge)(ge)模(mo)擬(ni)器件的(de)(de)特(te)(te)點，可(ke)(ke)以說是(shi)(shi)(shi)一(yi)分(fen)(fen)錢一(yi)分(fen)(fen)貨，僅從一(yi)個(ge)(ge)(ge)參數上(shang)觀(guan)察，你很難看出(chu)這兩(liang)個(ge)(ge)(ge)器件的(de)(de)差別以及(ji)好和壞，比如鏡頭(tou)，同樣(yang)的(de)(de)鏡頭(tou)可(ke)(ke)能(neng)價(jia)格差別很大，對于賣的(de)(de)比較貴的(de)(de)，它在某一(yi)方面(mian)的(de)(de)特(te)(te)性(xing)可(ke)(ke)能(neng)會非常(chang)強，但不是(shi)(shi)(shi)所(suo)有(you)的(de)(de)特(te)(te)性(xing)都能(neng)用參數直接標出(chu)來的(de)(de)，同樣(yang)CMOS也是(shi)(shi)(shi)一(yi)樣(yang)。
對(dui)于CMOS Sensor，同樣(yang)的(de)(de)(de)(de)(de)(de)分(fen)(fen)辨率和(he)參(can)數，有些可能賣幾(ji)塊錢人(ren)民幣，有一些可能賣到(dao)幾(ji)百美金，其中會有很多(duo)的(de)(de)(de)(de)(de)(de)差別，比(bi)如在(zai)選(xuan)擇鏡頭和(he)傳感器時(shi)，不(bu)能只(zhi)看參(can)數，還要看它的(de)(de)(de)(de)(de)(de)性(xing)能，所有的(de)(de)(de)(de)(de)(de)模擬性(xing)質(zhi)器件(jian)的(de)(de)(de)(de)(de)(de)特點都(dou)是這樣(yang)的(de)(de)(de)(de)(de)(de)屬性(xing)。它包含很多(duo)品(pin)質(zhi)、質(zhi)量的(de)(de)(de)(de)(de)(de)因素，對(dui)于大部分(fen)(fen)數字的(de)(de)(de)(de)(de)(de)東(dong)西(xi)，通過參(can)數來(lai)進行(xing)衡量可能是比(bi)較容(rong)(rong)易的(de)(de)(de)(de)(de)(de)。因此很多(duo)做軟件(jian)出身(shen)的(de)(de)(de)(de)(de)(de)人(ren)也不(bu)太容(rong)(rong)易理(li)解，他們覺(jue)得(de)參(can)數是一樣(yang)的(de)(de)(de)(de)(de)(de)，那它的(de)(de)(de)(de)(de)(de)產(chan)(chan)品(pin)就是一樣(yang)的(de)(de)(de)(de)(de)(de)，其實(shi)不(bu)然，差別可能會是特別大，每個差別在(zai)實(shi)際應用場(chang)景當中都(dou)會產(chan)(chan)生很大的(de)(de)(de)(de)(de)(de)影(ying)響，比(bi)如鏡頭在(zai)逆光的(de)(de)(de)(de)(de)(de)時(shi)候(hou)，炫光大小就很有關系，會直接(jie)影(ying)響到(dao)后面(mian)的(de)(de)(de)(de)(de)(de)環節。
接下來(lai)跟大家講一下ISP，群(qun)里(li)可(ke)(ke)能(neng)有(you)做(zuo)ISP的朋友，也有(you)可(ke)(ke)能(neng)調過ISP的，也可(ke)(ke)能(neng)用過ISP的，也有(you)可(ke)(ke)能(neng)了解(jie)過ISP的，如果你在網上(shang)查(cha)資料去(qu)了解(jie)的話(hua)很容易被誤解(jie)，網上(shang)會說(shuo)ISP是3A、自動(dong)曝光、自動(dong)白(bai)平衡和自動(dong)聚焦。其實(shi)3A只是ISP的一些功能(neng)，那該(gai)如何來(lai)理解(jie)ISP呢？ISP的英文是Image Signal Processing，意思是圖像信號處理，包含四個(ge)部分：
1，CMOS的控制器，因為CMOS是一個大數據量的東西，沒有單獨的控制器，我們做硬件的都知道，一個觸摸屏或者一個語音的東西都會有一個控制器。但是所有CMOS的控制器都是放在ISP里，因此CMOS的很多控制指令是通過ISP來實現的；
2，信號處理的算法，怎樣從電子信號得到圖像呢？過程中可能有很多CMOS的一致性不好等問題，通過CMOS不同的RGB表達方式及其原理是能夠還原出圖像的，其中也會包含很多的算法；
3，圖像算法，得到圖像以后，ISP也要做很多處理，都是基于圖像算法來實現的；
4，接口，它輸出的是智能硬件接口的格式。
這四部分(fen)加在(zai)一起就是(shi)一個實體的(de)ISP所做(zuo)的(de)事情(qing)。
通常我(wo)們講ISP的(de)(de)(de)時(shi)候，更多(duo)(duo)強調的(de)(de)(de)是(shi)功(gong)能實現，因此在(zai)算法(fa)尤其(qi)是(shi)在(zai)圖像(xiang)算法(fa)上要(yao)(yao)求并不是(shi)很高。我(wo)們重點是(shi)做圖像(xiang)的(de)(de)(de)算法(fa)以(yi)(yi)及信(xin)號處(chu)(chu)(chu)理(li)中很多(duo)(duo)新型算法(fa)的(de)(de)(de)實現，這也可以(yi)(yi)看(kan)出做一(yi)個(ge)ISP是(shi)需要(yao)(yao)綜(zong)合(he)有很多(duo)(duo)方面的(de)(de)(de)技(ji)術(shu)，首(shou)先如果你對(dui)CMOS不是(shi)特別熟悉，各種各樣(yang)的(de)(de)(de)CMOS都不一(yi)定是(shi)標準(zhun)的(de)(de)(de)，同時(shi)也需要(yao)(yao)懂(dong)電子信(xin)號的(de)(de)(de)處(chu)(chu)(chu)理(li)、圖像(xiang)的(de)(de)(de)算法(fa)以(yi)(yi)及很多(duo)(duo)硬(ying)件相關的(de)(de)(de)知(zhi)識，這樣(yang)才(cai)能夠做一(yi)個(ge)單獨(du)的(de)(de)(de)ISP產品。之所(suo)以(yi)(yi)做ISP的(de)(de)(de)人(ren)比(bi)較(jiao)少，是(shi)因為它(ta)需要(yao)(yao)的(de)(de)(de)東西比(bi)較(jiao)多(duo)(duo)，既有硬(ying)件又(you)有信(xin)號處(chu)(chu)(chu)理(li)以(yi)(yi)及軟件算法(fa)等。
很(hen)多(duo)(duo)(duo)時候(hou)大家(jia)比(bi)(bi)較關注(zhu)圖像(xiang)用的(de)(de)(de)(de)(de)是什么(me)CMOS來(lai)決(jue)定(ding)了所(suo)有的(de)(de)(de)(de)(de)性(xing)能，其實不(bu)完全是這樣子的(de)(de)(de)(de)(de)。CMOS就像(xiang)接力賽一樣，每(mei)一棒的(de)(de)(de)(de)(de)效果對后面(mian)都有影(ying)響。我(wo)們(men)經常看到各(ge)種各(ge)樣的(de)(de)(de)(de)(de)COMS，它(ta)們(men)的(de)(de)(de)(de)(de)性(xing)能并不(bu)是一個(ge)確定(ding)的(de)(de)(de)(de)(de)值，甚至(zhi)會(hui)有很(hen)多(duo)(duo)(duo)參數，最關鍵(jian)的(de)(de)(de)(de)(de)比(bi)(bi)如(ru)噪點的(de)(de)(de)(de)(de)控制、信噪比(bi)(bi)，很(hen)多(duo)(duo)(duo)時候(hou)它(ta)取決(jue)于現(xian)有的(de)(de)(de)(de)(de)控制。舉個(ge)例子，比(bi)(bi)如(ru)CMOS的(de)(de)(de)(de)(de)噪聲(sheng)噪點反映圖像(xiang)在很(hen)多(duo)(duo)(duo)時候(hou)取決(jue)于整個(ge)Camera里面(mian)的(de)(de)(de)(de)(de)硬(ying)件設計(ji)，如(ru)果電源設計(ji)不(bu)好，那么(me)CMOS本身會(hui)有很(hen)多(duo)(duo)(duo)電源的(de)(de)(de)(de)(de)噪聲(sheng)干擾，對CMOS性(xing)能產(chan)生非常大的(de)(de)(de)(de)(de)損傷。
因(yin)此在看(kan)CMOS的(de)(de)(de)(de)時(shi)候(hou)，需(xu)要看(kan)它(ta)的(de)(de)(de)(de)整(zheng)體(ti)，而不(bu)(bu)(bu)(bu)(bu)(bu)(bu)能(neng)(neng)(neng)單看(kan)CMOS，另外(wai)不(bu)(bu)(bu)(bu)(bu)(bu)(bu)同(tong)公(gong)司的(de)(de)(de)(de)CMOS，其性能(neng)(neng)(neng)不(bu)(bu)(bu)(bu)(bu)(bu)(bu)一(yi)定有(you)標記的(de)(de)(de)(de)那么(me)高(gao)，或者在某(mou)些(xie)方(fang)面的(de)(de)(de)(de)參數(shu)也未必能(neng)(neng)(neng)達到預(yu)想(xiang)(xiang)的(de)(de)(de)(de)值(zhi)，比如我(wo)們經常(chang)會看(kan)到有(you)多(duo)(duo)少個(ge)dB的(de)(de)(de)(de)CMOS，但同(tong)樣的(de)(de)(de)(de)標準和參數(shu)值(zhi)可能(neng)(neng)(neng)有(you)賣5塊錢(qian)、50塊錢(qian)或者500塊錢(qian)的(de)(de)(de)(de)，因(yin)此CMOS不(bu)(bu)(bu)(bu)(bu)(bu)(bu)能(neng)(neng)(neng)夠(gou)僅僅從參數(shu)來看(kan)，還要看(kan)實際經驗的(de)(de)(de)(de)結果，這也是很(hen)多(duo)(duo)人不(bu)(bu)(bu)(bu)(bu)(bu)(bu)太了解(jie)的(de)(de)(de)(de)地方(fang)。另外(wai)一(yi)個(ge)是CMOS的(de)(de)(de)(de)性能(neng)(neng)(neng)在很(hen)大(da)程(cheng)度上取決于ISP，有(you)點類似于發(fa)(fa)動(dong)機(ji)中的(de)(de)(de)(de)控(kong)(kong)(kong)制(zhi)(zhi)(zhi)板ECU，發(fa)(fa)動(dong)機(ji)的(de)(de)(de)(de)控(kong)(kong)(kong)制(zhi)(zhi)(zhi)板對(dui)發(fa)(fa)動(dong)機(ji)本身的(de)(de)(de)(de)影響是很(hen)大(da)，這是雙(shuang)方(fang)之(zhi)間(jian)的(de)(de)(de)(de)一(yi)個(ge)過程(cheng)，所以(yi)這是在成像過程(cheng)中一(yi)個(ge)很(hen)重要的(de)(de)(de)(de)環節(jie)。在理解(jie)CMOS的(de)(de)(de)(de)時(shi)候(hou)，如果大(da)家(jia)使用過單反相(xiang)機(ji)拍(pai)照，有(you)幾個(ge)基本的(de)(de)(de)(de)概(gai)念，其中曝(pu)(pu)(pu)光(guang)(guang)控(kong)(kong)(kong)制(zhi)(zhi)(zhi)的(de)(de)(de)(de)概(gai)念是最基本的(de)(de)(de)(de)，我(wo)們叫正(zheng)確的(de)(de)(de)(de)曝(pu)(pu)(pu)光(guang)(guang)。很(hen)多(duo)(duo)時(shi)候(hou)我(wo)們拍(pai)照拍(pai)不(bu)(bu)(bu)(bu)(bu)(bu)(bu)好是因(yin)為(wei)曝(pu)(pu)(pu)光(guang)(guang)不(bu)(bu)(bu)(bu)(bu)(bu)(bu)正(zheng)確，同(tong)樣我(wo)們在自動(dong)駕駛時(shi)的(de)(de)(de)(de)成像不(bu)(bu)(bu)(bu)(bu)(bu)(bu)正(zheng)確，也是因(yin)為(wei)曝(pu)(pu)(pu)光(guang)(guang)控(kong)(kong)(kong)制(zhi)(zhi)(zhi)不(bu)(bu)(bu)(bu)(bu)(bu)(bu)好。比如在對(dui)方(fang)開大(da)燈的(de)(de)(de)(de)時(shi)候(hou)，如果曝(pu)(pu)(pu)光(guang)(guang)控(kong)(kong)(kong)制(zhi)(zhi)(zhi)的(de)(de)(de)(de)好，能(neng)(neng)(neng)夠(gou)把一(yi)些(xie)暗部的(de)(de)(de)(de)地方(fang)曝(pu)(pu)(pu)得清(qing)楚(chu)，但問題在于曝(pu)(pu)(pu)光(guang)(guang)控(kong)(kong)(kong)制(zhi)(zhi)(zhi)自動(dong)曝(pu)(pu)(pu)光(guang)(guang)的(de)(de)(de)(de)時(shi)候(hou)，并(bing)不(bu)(bu)(bu)(bu)(bu)(bu)(bu)知(zhi)道你(ni)想(xiang)(xiang)準確地讓哪一(yi)部分清(qing)楚(chu)，這是曝(pu)(pu)(pu)光(guang)(guang)控(kong)(kong)(kong)制(zhi)(zhi)(zhi)的(de)(de)(de)(de)一(yi)個(ge)難點，因(yin)為(wei)前端成像過程(cheng)中并(bing)不(bu)(bu)(bu)(bu)(bu)(bu)(bu)知(zhi)道后端你(ni)想(xiang)(xiang)看(kan)什么(me)。
在(zai)曝(pu)光(guang)(guang)過程中會(hui)有(you)幾(ji)個(ge)核心(xin)的概(gai)念(nian)，大家如果玩過相機，就(jiu)知道光(guang)(guang)圈(quan)、快(kuai)門(men)(men)以(yi)(yi)及(ji)感光(guang)(guang)度這三(san)(san)個(ge)概(gai)念(nian)，在(zai)技術上叫(jiao)作增益(yi)，即多少倍。這三(san)(san)個(ge)因(yin)素制約(yue)了(le)整(zheng)個(ge)曝(pu)光(guang)(guang)環節，光(guang)(guang)圈(quan)是(shi)(shi)指(zhi)(zhi)鏡頭的概(gai)念(nian)；快(kuai)門(men)(men)是(shi)(shi)指(zhi)(zhi)曝(pu)光(guang)(guang)時(shi)間(jian)，是(shi)(shi)控制CMOS的時(shi)間(jian)來感光(guang)(guang)；通俗來講(jiang)，光(guang)(guang)圈(quan)是(shi)(shi)指(zhi)(zhi)開的門(men)(men)有(you)多大，快(kuai)門(men)(men)是(shi)(shi)指(zhi)(zhi)這個(ge)門(men)(men)要開多長時(shi)間(jian)，增益(yi)是(shi)(shi)指(zhi)(zhi)要把圖像(xiang)調(diao)高多少倍，所有(you)的曝(pu)光(guang)(guang)最后都(dou)反映在(zai)這三(san)(san)個(ge)參(can)數之間(jian)的平衡，如果想要曝(pu)亮(liang)一點，你可以(yi)(yi)把光(guang)(guang)圈(quan)開大一點，也可以(yi)(yi)把快(kuai)門(men)(men)拉長一點，也可以(yi)(yi)把增益(yi)調(diao)高一點，但是(shi)(shi)每一個(ge)都(dou)會(hui)有(you)相關的副作用。
比如，如果快(kuai)門開的(de)(de)時間太短(duan)，它的(de)(de)好處是(shi)在我們運動的(de)(de)時候它不會(hui)拖(tuo)影，而壞處是(shi)快(kuai)門時間短(duan)，進的(de)(de)光就會(hui)少(shao)，噪點(dian)就會(hui)多(duo)，增(zeng)(zeng)益也(ye)是(shi)一樣的(de)(de)。理論上(shang)來(lai)講增(zeng)(zeng)益可以放的(de)(de)很大(da)，感光度很高，但是(shi)感光度高了之(zhi)后，噪點(dian)也(ye)有(you)會(hui)變多(duo)。
關于理解光(guang)(guang)(guang)線和燈(deng)光(guang)(guang)(guang)，如果大家做過攝影就(jiu)知道，攝影棚里面(mian)都(dou)(dou)會有(you)很多(duo)燈(deng)，打這(zhe)么多(duo)燈(deng)的(de)(de)(de)(de)目的(de)(de)(de)(de)是(shi)(shi)為了去平(ping)衡光(guang)(guang)(guang)線，讓各個(ge)(ge)環境的(de)(de)(de)(de)光(guang)(guang)(guang)線反差不(bu)要(yao)太大，讓每(mei)個(ge)(ge)地方拍出來(lai)都(dou)(dou)是(shi)(shi)清楚的(de)(de)(de)(de)，這(zhe)是(shi)(shi)傳統的(de)(de)(de)(de)ISP通過打燈(deng)的(de)(de)(de)(de)方式(shi)來(lai)解決拍的(de)(de)(de)(de)不(bu)好的(de)(de)(de)(de)問題(ti)。而在(zai)(zai)實際應(ying)用中會有(you)各種各樣(yang)的(de)(de)(de)(de)光(guang)(guang)(guang)線環境，在(zai)(zai)白天的(de)(de)(de)(de)時候(hou)可能還好一(yi)點，基本上(shang)光(guang)(guang)(guang)源就(jiu)是(shi)(shi)外面(mian)的(de)(de)(de)(de)太陽(yang)，如果沒有(you)太陽(yang)，天空、云彩以及地面(mian)的(de)(de)(de)(de)反光(guang)(guang)(guang)基本上(shang)也會處于一(yi)個(ge)(ge)很大的(de)(de)(de)(de)光(guang)(guang)(guang)源，相對來(lai)說都(dou)(dou)是(shi)(shi)比較均(jun)衡的(de)(de)(de)(de)，但(dan)是(shi)(shi)光(guang)(guang)(guang)線在(zai)(zai)晚上(shang)的(de)(de)(de)(de)時候(hou)就(jiu)會變得特別復(fu)雜。
我(wo)們都有(you)(you)晚上開(kai)車的(de)(de)經驗，對于(yu)路燈，首先我(wo)們不知道(dao)燈的(de)(de)類型(xing)、高度以(yi)及燈與燈之間的(de)(de)距離(li)，然后我(wo)們在(zai)城市(shi)道(dao)路上開(kai)的(de)(de)時候，路邊到處都是(shi)景觀(guan)工程，有(you)(you)著各種各樣的(de)(de)燈，因此(ci)每一(yi)個現場的(de)(de)環(huan)境(jing)我(wo)們可(ke)以(yi)理解為有(you)(you)N多種不受(shou)控的(de)(de)光源，有(you)(you)些地(di)方可(ke)能(neng)很亮，有(you)(you)些地(di)方可(ke)能(neng)很暗，而(er)且它是(shi)沒有(you)(you)規則地(di)出現，從而(er)導致了光線(xian)環(huan)境(jing)的(de)(de)復雜性，因此(ci)是(shi)很難(nan)去預(yu)測光線(xian)的(de)(de)環(huan)境(jing)。另外，在(zai)同樣的(de)(de)光線(xian)環(huan)境(jing)下，物體本身的(de)(de)顏(yan)色亮度也會有(you)(you)很大差異。
比如在(zai)晚上，我們(men)把一(yi)(yi)(yi)件(jian)白色衣服(fu)和(he)(he)一(yi)(yi)(yi)件(jian)黑色衣服(fu)放(fang)在(zai)一(yi)(yi)(yi)起，會發現在(zai)同(tong)樣(yang)的(de)(de)光(guang)線(xian)(xian)情況下，這(zhe)兩(liang)件(jian)衣服(fu)的(de)(de)反差非常大。因此整個物體(ti)的(de)(de)光(guang)線(xian)(xian)環境是(shi)由光(guang)源(yuan)以(yi)及(ji)(ji)物體(ti)本身的(de)(de)特(te)質所決(jue)定的(de)(de)，這(zhe)樣(yang)就能(neng)夠理解在(zai)實際應用的(de)(de)現場當中會有N種可(ke)能(neng)性的(de)(de)光(guang)線(xian)(xian)，包括各種各樣(yang)的(de)(de)反光(guang)以(yi)及(ji)(ji)一(yi)(yi)(yi)個物體(ti)上面可(ke)能(neng)有不同(tong)的(de)(de)顏(yan)色和(he)(he)不同(tong)的(de)(de)亮度，統一(yi)(yi)(yi)稱之(zhi)為很難預測的(de)(de)復雜光(guang)線(xian)(xian)。相反地，在(zai)攝影棚(peng)或者(zhe)辦(ban)公室的(de)(de)時候，其中的(de)(de)燈光(guang)環境是(shi)可(ke)控的(de)(de)，我們(men)可(ke)以(yi)很容易的(de)(de)去調節。
接下來我(wo)想跟大家講(jiang)一(yi)下信(xin)(xin)(xin)噪(zao)(zao)(zao)比(bi)這個概念(nian)，對于做過硬件(jian)(jian)和信(xin)(xin)(xin)號(hao)的人來說，不(bu)管做什(shen)么信(xin)(xin)(xin)號(hao)處(chu)理都會對信(xin)(xin)(xin)噪(zao)(zao)(zao)比(bi)有一(yi)個非常好(hao)的理解，因(yin)為所有信(xin)(xin)(xin)息的傳輸(shu)都跟信(xin)(xin)(xin)噪(zao)(zao)(zao)比(bi)有關系。但我(wo)發(fa)現很(hen)多(duo)做軟件(jian)(jian)出(chu)身的人對信(xin)(xin)(xin)噪(zao)(zao)(zao)比(bi)沒有概念(nian)，信(xin)(xin)(xin)噪(zao)(zao)(zao)比(bi)就是(shi)用(yong)信(xin)(xin)(xin)息量(liang)S除以噪(zao)(zao)(zao)聲N，信(xin)(xin)(xin)噪(zao)(zao)(zao)比(bi)越(yue)高說明品(pin)質越(yue)好(hao)，也就是(shi)信(xin)(xin)(xin)息量(liang)S越(yue)大越(yue)好(hao)，噪(zao)(zao)(zao)聲（Noise）N越(yue)小越(yue)好(hao)。
從視覺上(shang)看，一(yi)個(ge)(ge)(ge)物體是(shi)(shi)由它(ta)(ta)的顏(yan)色所(suo)決定的，顏(yan)色包含了(le)灰(hui)度(du)(du)和亮度(du)(du)等，我們通常(chang)(chang)會(hui)說還(huan)原度(du)(du)非(fei)常(chang)(chang)高(gao)(gao)，顏(yan)色很(hen)準(zhun)確(que)，這是(shi)(shi)一(yi)個(ge)(ge)(ge)主觀(guan)的說法(fa)，從技術上(shang)看，可(ke)以(yi)理解成信(xin)(xin)(xin)噪(zao)比很(hen)高(gao)(gao)，偏(pian)差很(hen)小，在(zai)同(tong)(tong)樣一(yi)個(ge)(ge)(ge)識(shi)別算法(fa)中的任何場景下，我們可(ke)以(yi)簡(jian)單地(di)認為信(xin)(xin)(xin)噪(zao)比決定了(le)可(ke)識(shi)別性(xing)(xing)，圖(tu)像(xiang)源(yuan)(yuan)的品質可(ke)以(yi)用(yong)信(xin)(xin)(xin)噪(zao)比來(lai)衡(heng)量，信(xin)(xin)(xin)噪(zao)比越(yue)高(gao)(gao)，可(ke)識(shi)別性(xing)(xing)就越(yue)高(gao)(gao)，圖(tu)像(xiang)源(yuan)(yuan)越(yue)好，那么(me)在(zai)同(tong)(tong)樣的識(shi)別軟(ruan)件情(qing)況(kuang)下，識(shi)別的準(zhun)確(que)率(lv)就會(hui)越(yue)高(gao)(gao)。所(suo)以(yi)對于信(xin)(xin)(xin)噪(zao)比，我們可(ke)以(yi)看成兩個(ge)(ge)(ge)部分(fen)，第(di)一(yi)部分(fen)是(shi)(shi)如(ru)何不(bu)斷地(di)提高(gao)(gao)信(xin)(xin)(xin)息量，第(di)二部分(fen)是(shi)(shi)如(ru)何把噪(zao)聲降(jiang)到很(hen)小，這可(ke)以(yi)看成是(shi)(shi)一(yi)個(ge)(ge)(ge)降(jiang)噪(zao)的過程，而(er)ISP也有降(jiang)噪(zao)的功能(neng)，但降(jiang)噪(zao)并(bing)不(bu)是(shi)(shi)一(yi)個(ge)(ge)(ge)純(chun)算法(fa)的事情(qing)，另外還(huan)由硬件、Sensor的屬性(xing)(xing)和算法(fa)三個(ge)(ge)(ge)方面來(lai)共同(tong)(tong)決定的，如(ru)果(guo)你要(yao)做高(gao)(gao)精度(du)(du)的降(jiang)噪(zao)，由于硬件設計精度(du)(du)的噪(zao)聲本來(lai)就非(fei)常(chang)(chang)小，還(huan)取決于Sensor的屬性(xing)(xing)，因此你要(yao)了(le)解Sensor的屬性(xing)(xing)，并(bing)采用(yong)不(bu)同(tong)(tong)的方法(fa)來(lai)控制它(ta)(ta)。另外降(jiang)噪(zao)的算法(fa)可(ke)以(yi)分(fen)成單幀(zhen)，多幀(zhen)等多種算法(fa)，而(er)算法(fa)與(yu)計算量是(shi)(shi)有很(hen)大的關(guan)系。
接下來是關(guan)(guan)于實(shi)驗(yan)值(zhi)和(he)理(li)(li)(li)(li)論(lun)(lun)值(zhi)的(de)(de)(de)(de)問題，從(cong)圖像上來看，我們在做(zuo)產品或技術的(de)(de)(de)(de)時候(hou)，更關(guan)(guan)心(xin)(xin)的(de)(de)(de)(de)是實(shi)驗(yan)測(ce)量(liang)出(chu)來的(de)(de)(de)(de)值(zhi)，并不太關(guan)(guan)心(xin)(xin)理(li)(li)(li)(li)論(lun)(lun)值(zhi)是多(duo)少(shao)。在做(zuo)信號處理(li)(li)(li)(li)時，會發現(xian)(xian)有(you)很(hen)多(duo)理(li)(li)(li)(li)論(lun)(lun)認為這個項(xiang)目(mu)的(de)(de)(de)(de)算(suan)法很(hen)好，那個項(xiang)目(mu)的(de)(de)(de)(de)算(suan)法很(hen)好，或者是這樣的(de)(de)(de)(de)方式很(hen)好，但這些(xie)都是理(li)(li)(li)(li)論(lun)(lun)值(zhi)，我們不能僅看理(li)(li)(li)(li)論(lun)(lun)的(de)(de)(de)(de)推導，還(huan)要(yao)看實(shi)際的(de)(de)(de)(de)經驗(yan)值(zhi)。另外關(guan)(guan)于全局(ju)和(he)局(ju)部(bu)的(de)(de)(de)(de)問題，有(you)時候(hou)我們看一張圖片(pian)，會發現(xian)(xian)它(ta)整體看上去是挺好的(de)(de)(de)(de)，但是在某些(xie)局(ju)部(bu)上會比較差，因此(ci)如何處理(li)(li)(li)(li)資源上的(de)(de)(de)(de)平衡(heng)也是需要(yao)考慮的(de)(de)(de)(de)。
視頻（在車東西公眾號回復關鍵詞“眼擎科技”獲取）
上面是一(yi)個(ge)30秒的視頻，其中有四(si)個(ge)場景：
1、過隧(sui)道(dao)(dao)的(de)(de)(de)場景，左(zuo)邊(bian)是(shi)我(wo)們(men)的(de)(de)(de)成像(xiang)方(fang)案，和(he)右邊(bian)對比存在很(hen)大的(de)(de)(de)差異(yi)，首(shou)先，隧(sui)道(dao)(dao)外(wai)面是(shi)沒有過曝(pu)(pu)的(de)(de)(de)，細節都非常清楚，隧(sui)道(dao)(dao)里(li)面的(de)(de)(de)亮(liang)度也是(shi)夠的(de)(de)(de)，而右邊(bian)是(shi)普通的(de)(de)(de)攝(she)像(xiang)機拍出(chu)來的(de)(de)(de)圖(tu)像(xiang)，可以看到外(wai)面已(yi)經(jing)是(shi)過曝(pu)(pu)的(de)(de)(de)了，而且里(li)面很(hen)暗；
2、這(zhe)(zhe)是(shi)一(yi)個(ge)模(mo)擬大燈(deng)(deng)的場景，大家可(ke)(ke)以(yi)看出我(wo)是(shi)用(yong)手機拍的，一(yi)般情(qing)況(kuang)下(xia)(xia)，這(zhe)(zhe)是(shi)一(yi)個(ge)很亮的LED燈(deng)(deng)罩，下(xia)(xia)面(mian)有一(yi)個(ge)車牌，這(zhe)(zhe)時如(ru)果用(yong)一(yi)般的攝像頭(tou)拍，那么只能(neng)看到一(yi)大片白(bai)的，同時我(wo)們(men)的眼睛在這(zhe)(zhe)種環境下(xia)(xia)也(ye)是(shi)看不清(qing)楚(chu)車牌的；另外可(ke)(ke)以(yi)看到后(hou)面(mian)有一(yi)個(ge)屏幕，屏幕上拍的是(shi)實時成(cheng)像效果，上面(mian)的燈(deng)(deng)都是(shi)沒有過(guo)曝的，燈(deng)(deng)珠都能(neng)看得很清(qing)楚(chu)，而且下(xia)(xia)面(mian)的車牌也(ye)能(neng)看得清(qing)楚(chu)；
3、這(zhe)是(shi)一個(ge)暗光下的(de)(de)場景(jing)，用一般的(de)(de)攝像(xiang)頭拍(pai)出來是(shi)黑白的(de)(de)，而且有(you)很多噪點，也看(kan)不清(qing)楚(chu)，右邊是(shi)我(wo)們eyemore拍(pai)的(de)(de)圖像(xiang)，可(ke)以看(kan)到拍(pai)的(de)(de)很清(qing)楚(chu)，顏色還原也很好，這(zhe)個(ge)場景(jing)是(shi)我(wo)們實驗(yan)室(shi)經(jing)常演示給客(ke)戶(hu)看(kan)的(de)(de)，我(wo)們公司把(ba)它叫做eyemore，意思是(shi)比(bi)眼睛看(kan)的(de)(de)更(geng)清(qing)楚(chu)。
這幾個(ge)場景下基本上可以驗(yan)證一點(dian)，在逆(ni)光和暗光的(de)情況下，我們做(zuo)的(de)視(shi)覺比(bi)眼睛的(de)視(shi)覺能力更強(qiang)。
最后(hou)的(de)場景是(shi)(shi)一個人(ren)背光(guang)的(de)畫面，我(wo)們經常(chang)會看到這樣的(de)場景，拍前面的(de)人(ren)會過曝，但在我(wo)們屏(ping)幕上(shang)顯示的(de)實時畫面就是(shi)(shi)精準的(de)還原顏(yan)色。
上(shang)面這(zhe)(zhe)(zhe)幾個觀點(dian)是(shi)(shi)我(wo)(wo)(wo)想(xiang)用(yong)來說(shuo)明前(qian)面提到(dao)的(de)這(zhe)(zhe)(zhe)些(xie)問題(ti)，包括復雜(za)光(guang)(guang)線、暗光(guang)(guang)、逆光(guang)(guang)，比如(ru)隧道等等這(zhe)(zhe)(zhe)些(xie)常(chang)(chang)見的(de)場景。另外我(wo)(wo)(wo)也想(xiang)引出下一(yi)個話題(ti)“動(dong)態(tai)范圍(wei)”，在汽車(che)中(zhong)我(wo)(wo)(wo)們(men)可以將大部分的(de)問題(ti)歸(gui)結為動(dong)態(tai)范圍(wei)不(bu)夠(gou)，可能大家對動(dong)態(tai)范圍(wei)這(zhe)(zhe)(zhe)個概念不(bu)太清(qing)楚(chu)，實際上(shang)用(yong)動(dong)態(tai)范圍(wei)是(shi)(shi)一(yi)個很復雜(za)的(de)事情。由于我(wo)(wo)(wo)們(men)是(shi)(shi)做這(zhe)(zhe)(zhe)一(yi)行的(de)，所以我(wo)(wo)(wo)們(men)非常(chang)(chang)清(qing)楚(chu)，甚(shen)至可以說(shuo)動(dong)態(tai)范圍(wei)是(shi)(shi)導致復雜(za)光(guang)(guang)線問題(ti)最主要的(de)原因。
在自(zi)動駕駛(shi)中大(da)概90%以(yi)上的(de)(de)(de)(de)(de)場景都可(ke)以(yi)用動態范圍(wei)不(bu)夠(gou)來歸納，因為自(zi)動駕駛(shi)不(bu)會(hui)經(jing)常遇到完全黑的(de)(de)(de)(de)(de)環(huan)境(jing)，至少(shao)我(wo)(wo)們的(de)(de)(de)(de)(de)車是(shi)(shi)有(you)(you)燈的(de)(de)(de)(de)(de)，周邊也不(bu)會(hui)很(hen)黑。簡單來講，動態范圍(wei)就是(shi)(shi)最亮地方和(he)最暗(an)地方的(de)(de)(de)(de)(de)光(guang)強比值(zhi)，這個比值(zhi)可(ke)以(yi)說(shuo)是(shi)(shi)非常嚇(xia)人的(de)(de)(de)(de)(de)。由于人眼會(hui)自(zi)動處理動態范圍(wei)，因此我(wo)(wo)們感覺上反差沒有(you)(you)那么大(da)，比如對(dui)著夕陽，就是(shi)(shi)在逆光(guang)的(de)(de)(de)(de)(de)時(shi)候(hou)，夕陽和(he)前(qian)面人的(de)(de)(de)(de)(de)反差可(ke)能會(hui)有(you)(you)1萬倍(bei)或者幾萬倍(bei)，包括對(dui)著月亮的(de)(de)(de)(de)(de)時(shi)候(hou)也是(shi)(shi)一樣的(de)(de)(de)(de)(de)，各種各樣的(de)(de)(de)(de)(de)場景光(guang)源和(he)被調動的(de)(de)(de)(de)(de)反差是(shi)(shi)非常大(da)的(de)(de)(de)(de)(de)。
因為我(wo)們(men)的(de)(de)(de)(de)(de)眼睛會(hui)自動(dong)(dong)(dong)(dong)處理這(zhe)種(zhong)反差，所(suo)以我(wo)們(men)的(de)(de)(de)(de)(de)大(da)腦就(jiu)(jiu)感(gan)覺(jue)(jue)不(bu)到，感(gan)覺(jue)(jue)好像就(jiu)(jiu)差幾(ji)倍(bei)(bei)或幾(ji)十倍(bei)(bei)，實(shi)際(ji)上(shang)是(shi)(shi)遠遠不(bu)止的(de)(de)(de)(de)(de)，這(zhe)就(jiu)(jiu)是(shi)(shi)動(dong)(dong)(dong)(dong)態(tai)范(fan)(fan)(fan)圍(wei)(wei)(wei)中一個(ge)比較麻煩的(de)(de)(de)(de)(de)問(wen)題，明明眼睛看(kan)的(de)(de)(de)(de)(de)清楚，感(gan)覺(jue)(jue)光線的(de)(de)(de)(de)(de)反差也(ye)就(jiu)(jiu)是(shi)(shi)十倍(bei)(bei)或者(zhe)二十倍(bei)(bei)，但(dan)就(jiu)(jiu)是(shi)(shi)識別(bie)不(bu)了，實(shi)際(ji)上(shang)這(zhe)個(ge)動(dong)(dong)(dong)(dong)態(tai)范(fan)(fan)(fan)圍(wei)(wei)(wei)遠遠不(bu)止我(wo)們(men)所(suo)感(gan)覺(jue)(jue)的(de)(de)(de)(de)(de)范(fan)(fan)(fan)圍(wei)(wei)(wei)值(zhi)。對于(yu)動(dong)(dong)(dong)(dong)態(tai)范(fan)(fan)(fan)圍(wei)(wei)(wei)的(de)(de)(de)(de)(de)概念，我(wo)們(men)要理解三個(ge)值(zhi)，第(di)(di)一個(ge)是(shi)(shi)環境(jing)中動(dong)(dong)(dong)(dong)態(tai)范(fan)(fan)(fan)圍(wei)(wei)(wei)的(de)(de)(de)(de)(de)值(zhi)，比如在剛才講(jiang)的(de)(de)(de)(de)(de)大(da)燈的(de)(de)(de)(de)(de)情況下，那個(ge)大(da)燈光源(yuan)是(shi)(shi)特別(bie)亮的(de)(de)(de)(de)(de)；第(di)(di)二個(ge)就(jiu)(jiu)是(shi)(shi)車牌和光源(yuan)的(de)(de)(de)(de)(de)反差叫作實(shi)際(ji)環境(jing)的(de)(de)(de)(de)(de)動(dong)(dong)(dong)(dong)態(tai)范(fan)(fan)(fan)圍(wei)(wei)(wei)值(zhi)；第(di)(di)三個(ge)動(dong)(dong)(dong)(dong)態(tai)范(fan)(fan)(fan)圍(wei)(wei)(wei)值(zhi)是(shi)(shi)Sensor的(de)(de)(de)(de)(de)動(dong)(dong)(dong)(dong)態(tai)范(fan)(fan)(fan)圍(wei)(wei)(wei)值(zhi)，也(ye)就(jiu)(jiu)是(shi)(shi)Sensor最大(da)能夠(gou)記錄的(de)(de)(de)(de)(de)動(dong)(dong)(dong)(dong)態(tai)范(fan)(fan)(fan)圍(wei)(wei)(wei)值(zhi)。
我們(men)通常(chang)講，一(yi)個(ge)Sensor有多少個(ge)dB，指的(de)(de)(de)就是(shi)動態(tai)范圍(wei)(wei)值(zhi)(zhi)的(de)(de)(de)概(gai)念，歐盟(meng)在自(zi)動駕駛領域的(de)(de)(de)車(che)規(gui)寫的(de)(de)(de)比較清(qing)楚，就是(shi)120dB，也就是(shi)2的(de)(de)(de)20次方(fang)，意(yi)味(wei)著(zhu)最亮和最暗的(de)(de)(de)反差可以(yi)有2的(de)(de)(de)20次方(fang)，大(da)家可以(yi)算(suan)一(yi)下，這(zhe)個(ge)是(shi)一(yi)個(ge)非常(chang)大(da)的(de)(de)(de)數值(zhi)(zhi)，但(dan)是(shi)有個(ge)地(di)方(fang)在很(hen)多時候我們(men)很(hen)容易(yi)誤解，CMOS Sensor的(de)(de)(de)值(zhi)(zhi)（我們(men)叫作RAW的(de)(de)(de)動態(tai)范圍(wei)(wei)）以(yi)及(ji)后面識別(bie)軟件(jian)可用的(de)(de)(de)值(zhi)(zhi)，這(zhe)兩個(ge)值(zhi)(zhi)經常(chang)是(shi)不(bu)對(dui)等的(de)(de)(de)，傳(chuan)統ISP存(cun)在一(yi)個(ge)非常(chang)大(da)的(de)(de)(de)問題，就是(shi)盡管CMOS的(de)(de)(de)動態(tai)范圍(wei)(wei)很(hen)高，但(dan)沒辦法輸出給后面的(de)(de)(de)識別(bie)軟件(jian)。
傳統的(de)ISP可(ke)能就是(shi)八(ba)位的(de)，八(ba)位ISP的(de)動(dong)(dong)(dong)態(tai)(tai)(tai)范(fan)(fan)圍是(shi)48dB，盡管(guan)前(qian)面接了一個120dB的(de)CMOS Sensor，這(zhe)個ISP本身也并不具備處理該動(dong)(dong)(dong)態(tai)(tai)(tai)范(fan)(fan)圍的(de)能力，它(ta)輸出的(de)動(dong)(dong)(dong)態(tai)(tai)(tai)范(fan)(fan)圍是(shi)不夠的(de)，所(suo)以這(zhe)三個值大(da)家要去(qu)理解。如果環境值能夠被(bei)最后可(ke)用的(de)值裝(zhuang)得下動(dong)(dong)(dong)態(tai)(tai)(tai)范(fan)(fan)圍，那(nei)么(me)這(zhe)個信息基本上就不會損失，也不會有(you)特(te)別(bie)大(da)的(de)問題，但很多(duo)時候(hou)環境的(de)反差(cha)特(te)別(bie)大(da)，這(zhe)時要么(me)裁(cai)掉亮部，要么(me)裁(cai)掉暗部，就相當于很多(duo)時候(hou)現場的(de)環境是(shi)有(you)20個車道(dao)的(de)，突然之(zhi)間前(qian)面變成只有(you)四車道(dao)或(huo)者八(ba)車道(dao)，這(zhe)樣其他的(de)車就開(kai)不進去(qu)了，這(zhe)就是(shi)動(dong)(dong)(dong)態(tai)(tai)(tai)范(fan)(fan)圍的(de)概念，所(suo)以信息被(bei)大(da)量丟失。
我們經常碰(peng)到一(yi)些(xie)客戶會問(wen)(wen)，我們用的攝像(xiang)頭模組的動(dong)態(tai)(tai)(tai)范(fan)(fan)圍(wei)(wei)是(shi)(shi)120dB或者(zhe)100dB的，為(wei)什么(me)測出來的效果這(zhe)么(me)差？有(you)(you)一(yi)種可能(neng)(neng)是(shi)(shi)因為(wei)ISP的輸出沒(mei)有(you)(you)這(zhe)個能(neng)(neng)力，但他也并沒(mei)有(you)(you)標錯，他標的CMOS是(shi)(shi)可能(neng)(neng)有(you)(you)這(zhe)么(me)高范(fan)(fan)圍(wei)(wei)值的，因此大(da)家一(yi)定要確認。120dB可以說是(shi)(shi)接(jie)近我們人(ren)眼的處理能(neng)(neng)力，在隧(sui)道里面(mian)的動(dong)態(tai)(tai)(tai)范(fan)(fan)圍(wei)(wei)是(shi)(shi)不會超過(guo)120dB的，大(da)概100dB就(jiu)能(neng)(neng)解決大(da)部分的問(wen)(wen)題，除(chu)非在隧(sui)道出口(kou)就(jiu)有(you)(you)一(yi)個太陽正(zheng)對著(zhu)。剛剛也講過(guo)了120dB對應著(zhu)2的20次方，如果是(shi)(shi)在CMOS中，相當于要用20位的數(shu)據來處理動(dong)態(tai)(tai)(tai)范(fan)(fan)圍(wei)(wei)。
通常情況下，我們的(de)(de)ISP都是(shi)八位的(de)(de)，用(yong)八位的(de)(de)ISP是(shi)承載不了20位的(de)(de)ISP的(de)(de)。在(zai)前面(mian)看到(dao)的(de)(de)幾段視頻中(zhong)，大鏡頭逆光(guang)那(nei)部分基本上(shang)是(shi)接近120dB的(de)(de)效果，如果真正實現端(duan)到(dao)端(duan)的(de)(de)120dB，就需要用(yong)到(dao)AI識別(bie)(bie)軟(ruan)件，如果輸出(chu)已經是(shi)120dB的(de)(de)圖像，那(nei)就可以解決絕(jue)大部分現場復雜光(guang)線的(de)(de)問(wen)題(ti)。晚(wan)上(shang)特(te)別(bie)(bie)容易(yi)(yi)出(chu)現動態(tai)范圍寬(kuan)的(de)(de)問(wen)題(ti)，因為(wei)暗的(de)(de)地(di)方會特(te)別(bie)(bie)暗，而(er)亮(liang)的(de)(de)地(di)方又是(shi)個(ge)燈，這兩(liang)個(ge)反(fan)差特(te)別(bie)(bie)容易(yi)(yi)變(bian)大，因此在(zai)晚(wan)上(shang)動態(tai)范圍特(te)別(bie)(bie)容易(yi)(yi)出(chu)問(wen)題(ti)。
其(qi)中(zhong)有(you)(you)(you)一(yi)個難點(dian)，目前所有(you)(you)(you)做AI識(shi)別(bie)和(he)訓練的(de)(de)(de)庫用到的(de)(de)(de)圖(tu)片都是基(ji)于八位(wei)(wei)的(de)(de)(de)JPEG，但我們(men)很(hen)(hen)難去改(gai)變這(zhe)(zhe)個東西，這(zhe)(zhe)是一(yi)個歷史(shi)原(yuan)因。如何用20位(wei)(wei)的(de)(de)(de)東西輸(shu)入到8位(wei)(wei)中(zhong)來呢？大(da)家可能(neng)知道有(you)(you)(you)個傳統的(de)(de)(de)技術叫做Tone Mapping，但在歷史(shi)上并沒有(you)(you)(you)人能(neng)很(hen)(hen)好地把它做好。eyemore花了(le)很(hen)(hen)長的(de)(de)(de)時間做了(le)很(hen)(hen)多新型(xing)的(de)(de)(de)算法來使得在八位(wei)(wei)JPEG標準下的(de)(de)(de)輸(shu)出(chu)能(neng)夠承載20位(wei)(wei)的(de)(de)(de)動態(tai)范圍(wei)(wei)值。在剛剛的(de)(de)(de)視頻里(li)面也有(you)(you)(you)這(zhe)(zhe)個概念(nian)，這(zhe)(zhe)些(xie)都是標準的(de)(de)(de)視頻，所有(you)(you)(you)動態(tai)范圍(wei)(wei)的(de)(de)(de)信息都已經在里(li)面了(le)，并沒有(you)(you)(you)過(guo)曝。
動(dong)態范圍經常會有(you)一(yi)些(xie)處(chu)理的(de)情況，包括單(dan)次曝(pu)(pu)光(guang)(guang)(guang)和多次曝(pu)(pu)光(guang)(guang)(guang)。對(dui)(dui)于(yu)多次曝(pu)(pu)光(guang)(guang)(guang)，我(wo)們(men)目(mu)前(qian)的(de)手機在(zai)逆光(guang)(guang)(guang)時(shi)也(ye)清晰，比如OPPO和華(hua)為手機，他們(men)都(dou)是(shi)通過多次曝(pu)(pu)光(guang)(guang)(guang)，也(ye)就是(shi)拍幾(ji)張照片進(jin)行(xing)合成，這(zhe)(zhe)種方(fang)式(shi)的(de)問(wen)題在(zai)于(yu)場(chang)(chang)景(jing)(jing)受限，對(dui)(dui)于(yu)靜止的(de)物體是(shi)可以的(de)，但在(zai)車里面這(zhe)(zhe)種方(fang)式(shi)是(shi)有(you)很(hen)大問(wen)題的(de)，因(yin)為車在(zai)高速地運(yun)(yun)動(dong)，這(zhe)(zhe)時(shi)如果(guo)進(jin)行(xing)多次曝(pu)(pu)光(guang)(guang)(guang)合成的(de)話是(shi)會有(you)很(hen)多問(wen)題的(de)，所以單(dan)次曝(pu)(pu)光(guang)(guang)(guang)會是(shi)一(yi)個更(geng)好的(de)方(fang)案。另外動(dong)態范圍要適應各種各樣的(de)場(chang)(chang)景(jing)(jing)，我(wo)們(men)也(ye)花了幾(ji)年的(de)時(shi)間(jian)去對(dui)(dui)動(dong)態范圍進(jin)行(xing)調整(zheng)和處(chu)理，使它在(zai)各種各樣的(de)場(chang)(chang)景(jing)(jing)下都(dou)能(neng)夠(gou)正(zheng)常運(yun)(yun)行(xing)。
如果場景適應性(xing)不(bu)夠(gou)，動(dong)(dong)態(tai)范圍(wei)會影響很(hen)多(duo)東西(xi)，比(bi)如顏(yan)色不(bu)對、邊(bian)緣不(bu)清晰、邊(bian)緣上(shang)有很(hen)多(duo)條紋、亮度過曝等(deng)問題(ti)都是動(dong)(dong)態(tai)范圍(wei)導致的。了(le)解過專(zhuan)業(ye)電(dian)影攝像機的人都知(zhi)道攝像機的Log格式，這是介于RAW和JPEG之(zhi)間的一(yi)種壓縮格式，其中(zhong)動(dong)(dong)態(tai)范圍(wei)是保留的，但(dan)我們做(zuo)的是不(bu)一(yi)樣的。
接下來(lai)我(wo)(wo)們要在鏈條中(zhong)(zhong)(zhong)了解(jie)成(cheng)像(xiang)的(de)(de)(de)概念是(shi)什(shen)么(me)？做(zuo)自動駕駛以及(ji)ADAS方案的(de)(de)(de)人可能(neng)更關(guan)(guan)(guan)注的(de)(de)(de)是(shi)攝(she)(she)像(xiang)頭，而(er)攝(she)(she)像(xiang)頭里(li)面用的(de)(de)(de)方案可能(neng)是(shi)一個(ge)模(mo)組，模(mo)組中(zhong)(zhong)(zhong)會(hui)(hui)有(you)(you)芯片(pian)，比(bi)(bi)如安防(fang)里(li)面可能(neng)用海(hai)思(si)的(de)(de)(de)、OV的(de)(de)(de)，這(zhe)些芯片(pian)會(hui)(hui)有(you)(you)很多功(gong)能(neng)，其中(zhong)(zhong)(zhong)成(cheng)像(xiang)這(zhe)塊是(shi)個(ge)IP，有(you)(you)著(zhu)專門的(de)(de)(de)內核，這(zhe)幾個(ge)不同(tong)的(de)(de)(de)措施對應著(zhu)不同(tong)的(de)(de)(de)產業鏈，我(wo)(wo)們可能(neng)會(hui)(hui)比(bi)(bi)較關(guan)(guan)(guan)心輸(shu)出(chu)(chu)的(de)(de)(de)接口(kou)是(shi)什(shen)么(me)？輸(shu)出(chu)(chu)的(de)(de)(de)接口(kou)可能(neng)是(shi)光纖(xian)的(de)(de)(de)、USB的(de)(de)(de)以及(ji)網口(kou)的(de)(de)(de)，其中(zhong)(zhong)(zhong)輸(shu)出(chu)(chu)接口(kou)又分為內部(bu)接口(kou)和外(wai)部(bu)接口(kou)，這(zhe)里(li)我(wo)(wo)們會(hui)(hui)比(bi)(bi)較關(guan)(guan)(guan)注成(cheng)像(xiang)過程中(zhong)(zhong)(zhong)的(de)(de)(de)延(yan)(yan)時(shi)，而(er)延(yan)(yan)時(shi)有(you)(you)很多環節，包(bao)括(kuo)有(you)(you)曝光的(de)(de)(de)延(yan)(yan)時(shi)、成(cheng)像(xiang)算法產生的(de)(de)(de)延(yan)(yan)時(shi)以及(ji)傳輸(shu)中(zhong)(zhong)(zhong)的(de)(de)(de)延(yan)(yan)時(shi)。
在(zai)成像引出(chu)來時(shi)(shi)(shi)可能延時(shi)(shi)(shi)是(shi)(shi)(shi)(shi)非常低的(de)(de)(de)，只有幾十行(xing)的(de)(de)(de)曝光時(shi)(shi)(shi)間，就(jiu)是(shi)(shi)(shi)(shi)一(yi)(yi)幀的(de)(de)(de)幾十分之一(yi)(yi)，但是(shi)(shi)(shi)(shi)如果你(ni)用USB輸出(chu)，那么USB要(yao)在(zai)接收(shou)端(duan)顯示，就(jiu)必須要(yao)緩沖一(yi)(yi)幀，假(jia)如一(yi)(yi)幀包(bao)含(han)的(de)(de)(de)時(shi)(shi)(shi)間是(shi)(shi)(shi)(shi)二十五分之一(yi)(yi)，產生(sheng)40毫(hao)秒延時(shi)(shi)(shi)，因此(ci)可以看到延時(shi)(shi)(shi)是(shi)(shi)(shi)(shi)不(bu)(bu)同(tong)行(xing)業(ye)的(de)(de)(de)不(bu)(bu)同(tong)環(huan)節產生(sheng)的(de)(de)(de)。另外(wai)是(shi)(shi)(shi)(shi)車(che)規，在(zai)自動駕駛中(zhong)，芯片(pian)在(zai)汽(qi)車(che)行(xing)業(ye)中(zhong)都(dou)是(shi)(shi)(shi)(shi)有滯后的(de)(de)(de)，主要(yao)是(shi)(shi)(shi)(shi)由于(yu)汽(qi)車(che)行(xing)業(ye)周(zhou)期太長了，目前很多處理器要(yao)滿足車(che)規也是(shi)(shi)(shi)(shi)有難度的(de)(de)(de)。在(zai)不(bu)(bu)同(tong)的(de)(de)(de)層級解決的(de)(de)(de)問題(ti)是(shi)(shi)(shi)(shi)不(bu)(bu)一(yi)(yi)樣的(de)(de)(de)，有些是(shi)(shi)(shi)(shi)通(tong)(tong)過(guo)攝像頭(tou)或(huo)者鏡頭(tou)解決，有些是(shi)(shi)(shi)(shi)通(tong)(tong)過(guo)模組或(huo)者芯片(pian)解決，還有一(yi)(yi)些是(shi)(shi)(shi)(shi)由于(yu)芯片(pian)本身的(de)(de)(de)屬性(xing)所決定的(de)(de)(de)，因此(ci)我們很難通(tong)(tong)過(guo)所謂的(de)(de)(de)Tuning方式來解決這些技術問題(ti)。
目前所有(you)汽車的(de)安防(fang)攝像(xiang)(xiang)頭都來源于(yu)同一個源頭“數(shu)(shu)碼相(xiang)機(ji)”，比如索尼、尼康和佳(jia)能(neng)的(de)單(dan)反以及電影(ying)的(de)攝像(xiang)(xiang)機(ji)及高端(duan)產品，在(zai)安防(fang)中(zhong)，都是先有(you)數(shu)(shu)碼相(xiang)機(ji)才有(you)數(shu)(shu)碼攝像(xiang)(xiang)頭，相(xiang)比于(yu)這些專業(ye)的(de)設備，汽車中(zhong)的(de)安防(fang)攝像(xiang)(xiang)頭都是非常低端(duan)的(de)。我們每個人可(ke)能(neng)都有(you)開車的(de)經(jing)驗(yan)，都知道車上的(de)攝像(xiang)(xiang)頭實在(zai)是讓人難受，比手機(ji)的(de)都要差很多(duo)，因此核(he)心最(zui)高端(duan)的(de)成像(xiang)(xiang)引擎都是日(ri)本公(gong)司做的(de)，而其他的(de)公(gong)司都是來copy或(huo)者抄他們同樣的(de)架構來實現。
傳統的(de)(de)(de)(de)攝像(xiang)(xiang)頭拍出來的(de)(de)(de)(de)圖(tu)(tu)片是(shi)(shi)(shi)給人(ren)看的(de)(de)(de)(de)，在(zai)過去的(de)(de)(de)(de)很(hen)多年里，大部分做圖(tu)(tu)像(xiang)(xiang)的(de)(de)(de)(de)包括(kuo)做手機(ji)或者相(xiang)(xiang)機(ji)的(de)(de)(de)(de)，都(dou)(dou)把很(hen)多功(gong)夫花在(zai)了(le)P圖(tu)(tu)上面(mian)，就是(shi)(shi)(shi)怎么(me)(me)樣讓顏色變(bian)得更好看一點，但這(zhe)對于(yu)識別(bie)來講是(shi)(shi)(shi)沒(mei)有(you)任何(he)幫助的(de)(de)(de)(de)。在(zai)AI之前(qian)的(de)(de)(de)(de)所有(you)相(xiang)(xiang)機(ji)和成(cheng)像(xiang)(xiang)技(ji)術都(dou)(dou)是(shi)(shi)(shi)做來給人(ren)看的(de)(de)(de)(de)，但在(zai)AI開始之后，包括(kuo)自動駕駛的(de)(de)(de)(de)圖(tu)(tu)像(xiang)(xiang)都(dou)(dou)是(shi)(shi)(shi)要給機(ji)器看的(de)(de)(de)(de)，這(zhe)是(shi)(shi)(shi)一個非常大的(de)(de)(de)(de)變(bian)革，從膠卷時(shi)代轉到數碼時(shi)代再到AI時(shi)代，這(zhe)對每(mei)個行業(ye)都(dou)(dou)有(you)很(hen)大的(de)(de)(de)(de)變(bian)革，而很(hen)多傳統的(de)(de)(de)(de)P圖(tu)(tu)方式對于(yu)識別(bie)是(shi)(shi)(shi)沒(mei)有(you)什(shen)么(me)(me)效果提(ti)升的(de)(de)(de)(de)。
目前手機相機中會有很多像(xiang)(xiang)(xiang)(xiang)(xiang)素(su)，做圖像(xiang)(xiang)(xiang)(xiang)(xiang)識(shi)別(bie)(bie)(bie)的(de)(de)都知道(dao)，識(shi)別(bie)(bie)(bie)對于像(xiang)(xiang)(xiang)(xiang)(xiang)素(su)的(de)(de)要求(qiu)并不高(gao)，關鍵的(de)(de)是像(xiang)(xiang)(xiang)(xiang)(xiang)素(su)的(de)(de)質(zhi)量，像(xiang)(xiang)(xiang)(xiang)(xiang)素(su)的(de)(de)質(zhi)量比(bi)(bi)像(xiang)(xiang)(xiang)(xiang)(xiang)素(su)的(de)(de)數量要更加重要，像(xiang)(xiang)(xiang)(xiang)(xiang)素(su)的(de)(de)質(zhi)量反映出來的(de)(de)是信噪比(bi)(bi)，整個圖上的(de)(de)信噪比(bi)(bi)越高(gao)，那么圖像(xiang)(xiang)(xiang)(xiang)(xiang)的(de)(de)識(shi)別(bie)(bie)(bie)就(jiu)會越準確。
相信做視(shi)覺的人都用(yong)過激(ji)(ji)(ji)(ji)光(guang)雷達，我認為(wei)激(ji)(ji)(ji)(ji)光(guang)雷達產(chan)生的原因(yin)主要是因(yin)為(wei)現在攝像頭的成(cheng)像品質太差，無(wu)法很好地處(chu)理一(yi)些復雜關系(xi)。由于還有(you)一(yi)些特殊(shu)場景，比(bi)(bi)如下雨、霧(wu)天遮(zhe)擋(dang)等(deng)等(deng)，因(yin)此激(ji)(ji)(ji)(ji)光(guang)雷達變(bian)得越(yue)來越(yue)重要。激(ji)(ji)(ji)(ji)光(guang)雷達和視(shi)覺相比(bi)(bi)，我個(ge)人認為(wei)主要有(you)三(san)個(ge)大(da)方面(mian)：
1，成本(ben)，數字芯片的成本(ben)是(shi)可(ke)以無(wu)窮低(di)的，這是(shi)被證明過(guo)的；而激(ji)光雷達(da)它是(shi)一(yi)(yi)個光機電(dian)一(yi)(yi)體化的產品，它是(shi)成本(ben)不一(yi)(yi)定能夠做到很(hen)低(di)；
2，從(cong)生(sheng)態(tai)來看，視覺的(de)(de)(de)生(sheng)態(tai)是一個開(kai)放(fang)的(de)(de)(de)生(sheng)態(tai)，不只是在(zai)自動駕駛，在(zai)人臉識別等各(ge)個領(ling)域都做(zuo)(zuo)的(de)(de)(de)特別多，因(yin)此它是個開(kai)放(fang)的(de)(de)(de)生(sheng)態(tai)；而激光(guang)雷(lei)達(da)更(geng)多的(de)(de)(de)是一個封閉的(de)(de)(de)生(sheng)態(tai)，做(zuo)(zuo)雷(lei)達(da)的(de)(de)(de)人自己在(zai)做(zuo)(zuo)著各(ge)種各(ge)樣的(de)(de)(de)模型和學習訓練，很難把它變成一個完全開(kai)放(fang)的(de)(de)(de)生(sheng)態(tai)；
3，從(cong)效(xiao)率上來看，視覺的效(xiao)率是非常高的，比如(ru)我們能經(jing)常看到(dao)一秒(miao)鐘(zhong)產生多少個T的數據。而激光雷(lei)達在很(hen)多時候數據的信息量非常少，只(zhi)是相當于(yu)一個非常低(di)分辨率的黑白照片(pian)，這跟視覺有很(hen)大的差別(bie)。
我(wo)們跟特(te)斯拉(la)也會(hui)有(you)一(yi)(yi)些(xie)交流，特(te)斯拉(la)認為以(yi)后(hou)的(de)自動駕駛一(yi)(yi)定要解決(jue)全(quan)天候的(de)被(bei)動光(guang)學成像，意思(si)是(shi)在(zai)各種光(guang)線環境下(xia)都(dou)能夠看得很(hen)清楚，其(qi)實(shi)就是(shi)eyemore所做的(de)復雜光(guang)線的(de)事(shi)情。目前很(hen)多人都(dou)認為多傳(chuan)(chuan)感(gan)器(qi)(qi)有(you)用，但(dan)我(wo)認為多傳(chuan)(chuan)感(gan)器(qi)(qi)有(you)一(yi)(yi)個(ge)(ge)(ge)悖論，就是(shi)當每(mei)一(yi)(yi)個(ge)(ge)(ge)傳(chuan)(chuan)感(gan)器(qi)(qi)都(dou)不(bu)(bu)可靠的(de)時(shi)候，加上更多的(de)傳(chuan)(chuan)感(gan)器(qi)(qi)不(bu)(bu)會(hui)提(ti)高(gao)整個(ge)(ge)(ge)系(xi)(xi)(xi)統(tong)的(de)可靠性。假如(ru)我(wo)每(mei)個(ge)(ge)(ge)系(xi)(xi)(xi)統(tong)都(dou)是(shi)99%的(de)可靠性或者可用性，那么多加一(yi)(yi)個(ge)(ge)(ge)系(xi)(xi)(xi)統(tong)這叫(jiao)作備份。但(dan)是(shi)如(ru)果(guo)每(mei)個(ge)(ge)(ge)系(xi)(xi)(xi)統(tong)的(de)功能只有(you)60%，你放(fang)五(wu)個(ge)(ge)(ge)60%就相當于五(wu)個(ge)(ge)(ge)60%相乘，乘出來以(yi)后(hou)會(hui)發(fa)現(xian)整個(ge)(ge)(ge)系(xi)(xi)(xi)統(tong)的(de)不(bu)(bu)穩定性肯定是(shi)更高(gao)。當然現(xian)在(zai)每(mei)個(ge)(ge)(ge)方面都(dou)在(zai)進步(bu)，以(yi)后(hou)肯定還是(shi)多處理器(qi)(qi)以(yi)及多傳(chuan)(chuan)感(gan)器(qi)(qi)融合的(de)方式。
下面介紹(shao)一下我們的成(cheng)像引擎是(shi)(shi)怎(zen)么解決這(zhe)(zhe)個問題的。成(cheng)像引擎是(shi)(shi)個非常復(fu)雜(za)的系(xi)統，并(bing)沒有(you)(you)大家想象得(de)那(nei)么簡單，我們用了四年時間只做這(zhe)(zhe)一個事(shi)兒，而且(qie)我們團隊在這(zhe)(zhe)方面都有(you)(you)很(hen)豐(feng)富的經(jing)驗，做這(zhe)(zhe)個事(shi)情(qing)之前我們會先給自己定目(mu)標：
1，我們的輸入和輸出必須都是傳統行業標準的CMOS模式，都是大家可以識別的圖像輸入和輸出；
2，我們要求是所見即所得，就是在取景的時候，原始看到的東西就是最后所得到的東西，不會允許有很多后端軟件的處理在我們環境里面；
3，我們希望能夠適應絕大部分場景，我們不會允許有很多種模式都讓它去試，而是一個成像引擎應該能夠適應絕大部分的產品；
4，不能有明顯的副作用，之前做視覺成像的，包括圖像的識別處理都有很多明顯的副作用，比如由多幀合成的方式來解決動態范圍的問題，副作用就是只要人一動它就有拖影，我們也是不允許的；
5，要做統一的架構，并不是不同的場景有不同的系統架構；
6，要兼顧全局和局部，不能是整體看上去很好，而局部卻是不好的，或者局部是挺好的，而全局看上去結果很差；
7，以(yi)顏色還原度(du)為唯一(yi)(yi)的準繩，各種(zhong)情況下顏色還原度(du)怎么樣(yang)？我們的要求是(shi)在不(bu)正常光線環(huan)境(jing)下的結果(guo)也跟(gen)正常光線環(huan)境(jing)下的結果(guo)一(yi)(yi)樣(yang)的。
這(zhe)就是(shi)我們創立(li)公(gong)司(si)去合(he)作(zuo)開發(fa)架(jia)構時給自(zi)己(ji)定的原(yuan)則，做所(suo)有(you)的東(dong)西，如果沒有(you)原(yuan)則和方向，就需要去試驗現(xian)存(cun)的幾百(bai)種方法，系統也很難成熟，這(zhe)也是(shi)目前我們為什么會碰到這(zhe)么多視(shi)覺問(wen)題的原(yuan)因。
現在我(wo)們的(de)實現方(fang)式有幾個(ge)，第(di)一(yi)，我(wo)們做(zuo)了一(yi)個(ge)全新的(de)硬(ying)件處(chu)理架(jia)(jia)構，這個(ge)架(jia)(jia)構是能夠處(chu)理所有的(de)RAW數據，不管它是多少位的(de)，在這個(ge)架(jia)(jia)構之上(shang)，我(wo)們要(yao)做(zuo)到很多以效(xiao)果(guo)為(wei)核(he)心的(de)新算法，包括很多降噪的(de)算法以及解決(jue)動態范(fan)圍變化的(de)算法。
成(cheng)像端和(he)所(suo)有的(de)(de)(de)(de)(de)算法都(dou)(dou)是(shi)(shi)(shi)(shi)理論值(zhi)，它能(neng)不(bu)(bu)能(neng)夠解決你的(de)(de)(de)(de)(de)問題，現場各種光線環境是(shi)(shi)(shi)(shi)有無窮多(duo)種組(zu)合(he)，我(wo)(wo)們(men)也(ye)花了大(da)(da)量的(de)(de)(de)(de)(de)時(shi)間去測各種各樣(yang)的(de)(de)(de)(de)(de)場景(jing)，最后才變得開始熟練，它在(zai)絕大(da)(da)部分場景(jing)下都(dou)(dou)是(shi)(shi)(shi)(shi)正(zheng)常的(de)(de)(de)(de)(de)。這三個東西(xi)加在(zai)一(yi)起，我(wo)(wo)們(men)把(ba)它叫(jiao)作一(yi)個新(xin)的(de)(de)(de)(de)(de)成(cheng)像引擎技(ji)術，由(you)于這個與(yu)ISP的(de)(de)(de)(de)(de)出發(fa)(fa)點是(shi)(shi)(shi)(shi)完全不(bu)(bu)一(yi)樣(yang)的(de)(de)(de)(de)(de)，因此我(wo)(wo)們(men)不(bu)(bu)把(ba)它叫(jiao)做ISP。有很(hen)多(duo)客戶和(he)合(he)作伙(huo)伴在(zai)看(kan)到(dao)我(wo)(wo)們(men)公司的(de)(de)(de)(de)(de)展示(shi)后都(dou)(dou)會(hui)覺得很(hen)驚奇，都(dou)(dou)會(hui)問是(shi)(shi)(shi)(shi)怎么做到(dao)的(de)(de)(de)(de)(de)，是(shi)(shi)(shi)(shi)不(bu)(bu)是(shi)(shi)(shi)(shi)發(fa)(fa)明了什么新(xin)的(de)(de)(de)(de)(de)原(yuan)理。其實我(wo)(wo)們(men)并不(bu)(bu)是(shi)(shi)(shi)(shi)發(fa)(fa)明一(yi)個新(xin)的(de)(de)(de)(de)(de)原(yuan)理和(he)paper，而是(shi)(shi)(shi)(shi)理解Know How，就(jiu)是(shi)(shi)(shi)(shi)不(bu)(bu)斷的(de)(de)(de)(de)(de)經驗值(zhi)積(ji)累，這就(jiu)像發(fa)(fa)動機(ji)一(yi)樣(yang)，所(suo)有發(fa)(fa)動機(ji)的(de)(de)(de)(de)(de)原(yuan)理都(dou)(dou)是(shi)(shi)(shi)(shi)一(yi)樣(yang)的(de)(de)(de)(de)(de)，但是(shi)(shi)(shi)(shi)做5.0的(de)(de)(de)(de)(de)發(fa)(fa)動機(ji)跟做1.0的(de)(de)(de)(de)(de)發(fa)(fa)動機(ji)，其中(zhong)有很(hen)多(duo)的(de)(de)(de)(de)(de)Know How是(shi)(shi)(shi)(shi)不(bu)(bu)一(yi)樣(yang)的(de)(de)(de)(de)(de)。
最后(hou)(hou)一個(ge)(ge)，只有看到結果(guo)才能驗證理論(lun)值是(shi)(shi)(shi)否有用，尤(you)其是(shi)(shi)(shi)適應(ying)環境的(de)時候更要(yao)看到這(zhe)個(ge)(ge)結果(guo)，需要(yao)在這(zhe)個(ge)(ge)地(di)方測過它是(shi)(shi)(shi)OK的(de)它才是(shi)(shi)(shi)OK的(de)，這(zhe)就是(shi)(shi)(shi)eyemore所(suo)(suo)做的(de)事情，跟傳統(tong)ISP的(de)思路是(shi)(shi)(shi)完全不一樣(yang)的(de)，ISP是(shi)(shi)(shi)實(shi)現功能，而我(wo)們是(shi)(shi)(shi)要(yao)解(jie)(jie)決問題(ti)，我(wo)們解(jie)(jie)決的(de)問題(ti)出(chu)發點是(shi)(shi)(shi)因為(wei)傳統(tong)所(suo)(suo)有的(de)ISP在幾(ji)十(shi)年(nian)(nian)以來(lai)(lai)都(dou)沒有解(jie)(jie)決好(hao)復雜(za)光線下的(de)問題(ti)，在以前(qian)來(lai)(lai)說，這(zhe)些(xie)(xie)都(dou)是(shi)(shi)(shi)沒有關系，因為(wei)拍照拍得不好(hao)，我(wo)可以到光線好(hao)的(de)地(di)方拍。但到了AI之后(hou)(hou)，比如自(zi)動駕(jia)駛汽車(che)事故，包括Uber撞(zhuang)人等問題(ti)都(dou)是(shi)(shi)(shi)因為(wei)環境太復雜(za)所(suo)(suo)造成的(de)，因此是(shi)(shi)(shi)必須(xu)要(yao)解(jie)(jie)決這(zhe)個(ge)(ge)問題(ti)的(de)，同時這(zhe)也是(shi)(shi)(shi)我(wo)們給(gei)自(zi)己設(she)定的(de)方向，以及在這(zhe)個(ge)(ge)方向我(wo)們花了四年(nian)(nian)時間來(lai)(lai)實(shi)現這(zhe)些(xie)(xie)東(dong)西。
我(wo)(wo)們(men)發(fa)布了一(yi)個(ge)針對(dui)汽車行業(ye)的參考設計方(fang)案，叫作DX120。它(ta)(ta)包含兩個(ge)方(fang)面(mian)，第一(yi)個(ge)方(fang)面(mian)，從某種層(ceng)面(mian)來(lai)看，前(qian)端輸入的是(shi)(shi)車規級(ji)Sensor；第二個(ge)方(fang)面(mian)，輸出的是(shi)(shi)120dB和(he)標準(zhun)的八位JPEG或者YUV格式的圖像，也就是(shi)(shi)說后面(mian)的識別(bie)軟件(jian)可(ke)以把它(ta)(ta)當成一(yi)個(ge)正常(chang)的視頻進行瀏覽(lan)處理，但是(shi)(shi)所有(you)動態范圍的信息已(yi)經包含在里面(mian)，同時也是(shi)(shi)采用了我(wo)(wo)們(men)的全新的eyemore成像引擎架構，它(ta)(ta)是(shi)(shi)一(yi)個(ge)完(wan)整(zheng)的模(mo)組，也可(ke)以說是(shi)(shi)技術方(fang)案，對(dui)于所提供的標準(zhun)接(jie)口(kou)，我(wo)(wo)們(men)也會(hui)不斷地去豐富我(wo)(wo)們(men)的接(jie)口(kou)，包括USB、光纖、HDMI網口(kou)以及可(ke)定制的接(jie)口(kou)。
這個(ge)(ge)產品會在5月底正(zheng)式上(shang)市，對于做自動駕駛汽(qi)車的(de)(de)(de)人來說，首(shou)先它是一(yi)個(ge)(ge)測試產品，我們會提供(gong)一(yi)個(ge)(ge)類(lei)似于工(gong)業相機大小的(de)(de)(de)模組(zu)，它包(bao)含供(gong)電設備以(yi)及輸出(chu)的(de)(de)(de)接口。關于成像方面的(de)(de)(de)東西，一(yi)定是要先要測試效果能(neng)不能(neng)滿足(zu)，然后才(cai)是第二步的(de)(de)(de)接口方案問(wen)題。我們是來幫(bang)大家(jia)來解決(jue)這個(ge)(ge)問(wen)題的(de)(de)(de)，如果這個(ge)(ge)方案不能(neng)解決(jue)問(wen)題，就可以(yi)不用(yong)考(kao)慮我們的(de)(de)(de)方案。而(er)我們的(de)(de)(de)方案是能(neng)夠(gou)適應95%以(yi)上(shang)的(de)(de)(de)復雜環境的(de)(de)(de)，包(bao)括動態范(fan)圍不夠(gou)場景(jing)下的(de)(de)(de)問(wen)題。
在(zai)拿(na)到(dao)這個(ge)(ge)模組去(qu)測試之后，如果(guo)測試的(de)結果(guo)跟大家(jia)的(de)要求是匹配(pei)的(de)，能解決問題的(de)，這時我們再去(qu)溝通具體的(de)對接模式（包括有硬件接口和(he)軟件接口），在(zai)5月底大家(jia)就(jiu)可(ke)以(yi)拿(na)到(dao)這個(ge)(ge)模組的(de)成品(pin)了。
我(wo)的(de)(de)介紹(shao)大(da)概就(jiu)是(shi)這(zhe)(zhe)么多(duo)內(nei)(nei)容，最后(hou)有一個(ge)小廣告，eyemore，意思是(shi)要讓(rang)AI機器比人(ren)眼(yan)要看得更(geng)清(qing)楚，我(wo)們只(zhi)做眼(yan)睛，不(bu)做識別的(de)(de)東(dong)西。在(zai)自動(dong)駕(jia)駛領(ling)域(yu)，我(wo)們要做的(de)(de)事情就(jiu)是(shi)讓(rang)車比人(ren)眼(yan)看得更(geng)加清(qing)楚，能(neng)夠解決目(mu)前很多(duo)在(zai)視覺成(cheng)像上的(de)(de)痛點。這(zhe)(zhe)就(jiu)是(shi)我(wo)今天分享的(de)(de)內(nei)(nei)容，謝謝大(da)家。
Q&A環節
提問一
熊林云-Motovis-ISP工程師
1、自動駕駛的模組鏡頭選型需要重點考慮哪些參數指標？
2、自動駕駛(shi)技術(shu)用到的ISP除了(le)3A，sharpen，denoise等基(ji)礎功能外，還需要(yao)(yao)哪些(xie)必要(yao)(yao)的功能，如WDR？
朱繼志：1，這(zhe)些(xie)參數指標(biao)在上面也講過了，鏡(jing)(jing)頭(tou)(tou)(tou)(tou)是(shi)(shi)一(yi)個模擬器件，很(hen)(hen)多(duo)時候大(da)家一(yi)定要(yao)去實測。在自動駕(jia)駛領(ling)域，影(ying)(ying)響最大(da)的(de)因素(su)(su)是(shi)(shi)炫(xuan)光(guang)(guang)，造成不同的(de)炫(xuan)光(guang)(guang)，可能有(you)(you)鏡(jing)(jing)頭(tou)(tou)(tou)(tou)的(de)原因，也有(you)(you)CMOS和成像(xiang)的(de)原因，這(zhe)是(shi)(shi)綜合(he)因素(su)(su)。但是(shi)(shi)鏡(jing)(jing)頭(tou)(tou)(tou)(tou)是(shi)(shi)第一(yi)關(guan)，鏡(jing)(jing)頭(tou)(tou)(tou)(tou)對(dui)炫(xuan)光(guang)(guang)的(de)影(ying)(ying)響是(shi)(shi)復雜光(guang)(guang)線下影(ying)(ying)響最大(da)的(de)，因此這(zhe)個一(yi)定要(yao)測。很(hen)(hen)難用一(yi)個參數就直接表述(shu)出來。
2，ISP是(shi)(shi)個籠統(tong)的(de)(de)(de)概念，所以我們叫作成(cheng)像(xiang)引擎。前面(mian)也講過，ISP最(zui)基(ji)本(ben)(ben)的(de)(de)(de)功能(neng)，首先是(shi)(shi)CMOS Controller，第二部分是(shi)(shi)信號的(de)(de)(de)處(chu)理(li)，第三部分是(shi)(shi)圖(tu)像(xiang)的(de)(de)(de)處(chu)理(li)，最(zui)后是(shi)(shi)接口上面(mian)的(de)(de)(de)事情。WDR對傳統(tong)ISP來講是(shi)(shi)可(ke)用(yong)可(ke)不用(yong)的(de)(de)(de)，做的(de)(de)(de)好不好沒有(you)人(ren)關注(zhu)，但(dan)是(shi)(shi)在(zai)動(dong)態范圍處(chu)理(li)是(shi)(shi)自(zi)動(dong)駕駛中必須要(yao)有(you)的(de)(de)(de)基(ji)本(ben)(ben)功能(neng)，比如120dB，那么可(ke)能(neng)要(yao)90個dB或者是(shi)(shi)100個dB。
提問二
熊林云-Motovis-ISP工程師
1、后端視覺理解對于前端成像和isp圖像處理有哪些重點要求？
2、自動駕駛主要場景分哪幾類，建議ISP用何策略識別和切換場景參數？
3、對于多路(lu)Sensor接(jie)入，如(ru)(ru)何(he)幀(zhen)同步(bu)和AE同步(bu)？不同角度的成像如(ru)(ru)何(he)盡量保持(chi)拼(pin)接(jie)后整(zheng)體畫面的均衡，拼(pin)接(jie)處過(guo)渡自然？
朱繼志：1，這是(shi)個很好的問題(ti)。通俗來講，在(zai)沒有(you)大(da)腦(nao)(nao)之前，前面的眼(yan)睛(jing)(jing)(jing)是(shi)很差的，但在(zai)AI大(da)腦(nao)(nao)強大(da)之后(hou)(hou)發(fa)現眼(yan)睛(jing)(jing)(jing)不行了，要提高眼(yan)睛(jing)(jing)(jing)的能(neng)(neng)力。比(bi)如按(an)照我(wo)們(men)的方(fang)案發(fa)展(zhan)下去，眼(yan)睛(jing)(jing)(jing)也會變(bian)得很強大(da)，這就(jiu)產生了第(di)三個問題(ti)，大(da)腦(nao)(nao)跟(gen)(gen)眼(yan)睛(jing)(jing)(jing)該(gai)如何交互？我(wo)們(men)人(ren)的大(da)腦(nao)(nao)跟(gen)(gen)眼(yan)睛(jing)(jing)(jing)交互是(shi)一件(jian)非常神奇的事(shi)情，大(da)腦(nao)(nao)跟(gen)(gen)眼(yan)睛(jing)(jing)(jing)是(shi)協同工(gong)作的，目前并(bing)沒有(you)很好的方(fang)法來鑒定。我(wo)也跟(gen)(gen)很多人(ren)探討(tao)過這個問題(ti)，對于后(hou)(hou)端的識別(bie)，哪方(fang)面做的好一點更容易(yi)識別(bie)等(deng)問題(ti)。在(zai)以前沒有(you)識別(bie)的時候，可能(neng)(neng)還能(neng)(neng)做一些(xie)事(shi)情，現在(zai)到AI深度學(xue)習就(jiu)變(bian)得特(te)別(bie)麻(ma)煩(fan)。
為什么會特別麻煩(fan)呢？因為AI識別的(de)深度學習層次太多了(le)，可能(neng)很少有做(zuo)AI、做(zuo)Training的(de)人能(neng)夠把底層的(de)東西講清楚，這個系統太復(fu)雜了(le)。從原則上來講肯定是希望(wang)邊緣越清晰也好(hao)，但是這些東西都有待于(yu)驗證，因此以后(hou)我們也會逐漸地去跟合作伙(huo)伴以及客戶一起完善(shan)和升(sheng)級(ji)。
2，實際上，我(wo)認為這(zhe)(zhe)個問題是(shi)有一定道(dao)理的，但很(hen)多(duo)時候它是(shi)個偽命題。要去(qu)知(zhi)道(dao)某個場(chang)(chang)景是(shi)很(hen)難的，無論是(shi)前端(duan)(duan)還是(shi)后端(duan)(duan)或者是(shi)成像端(duan)(duan)去(qu)明確場(chang)(chang)景都是(shi)不太(tai)現實的。最理想的方案是(shi)不用分(fen)場(chang)(chang)景，一個模式能(neng)夠自動適應絕大部分(fen)場(chang)(chang)景。這(zhe)(zhe)樣，在后面少部分(fen)的情況下，比如在我(wo)們能(neng)檢測(ce)到但識別不出來的時候，可以(yi)將這(zhe)(zhe)個指令發給前端(duan)(duan)和成像端(duan)(duan)來解決，這(zhe)(zhe)是(shi)一種比較好的方式。
場(chang)景(jing)最好是(shi)在成(cheng)像(xiang)(xiang)端(duan)解(jie)決，這(zhe)就(jiu)(jiu)(jiu)(jiu)是(shi)eyemore做(zuo)的(de)(de)方(fang)向和原則，我(wo)(wo)們的(de)(de)目(mu)標(biao)就(jiu)(jiu)(jiu)(jiu)是(shi)要(yao)讓(rang)成(cheng)像(xiang)(xiang)端(duan)無論在什么環境或(huo)者什么場(chang)景(jing)下，所有(you)看到的(de)(de)都是(shi)清楚(chu)的(de)(de)，就(jiu)(jiu)(jiu)(jiu)跟(gen)光線正常(chang)一樣(yang)，這(zhe)樣(yang)以來，后端(duan)的(de)(de)識(shi)(shi)別(bie)軟件就(jiu)(jiu)(jiu)(jiu)可(ke)以什么都不用(yong)管了。傳統的(de)(de)方(fang)式在很多行(xing)業里面(mian)是(shi)可(ke)以人(ren)工去控(kong)制(zhi)的(de)(de)，但是(shi)在自(zi)動(dong)駕駛和AI里面(mian)就(jiu)(jiu)(jiu)(jiu)不是(shi)這(zhe)個邏輯了，因(yin)為沒辦法在那么短時間之內進行(xing)人(ren)工干涉或(huo)者讓(rang)系統自(zi)動(dong)去識(shi)(shi)別(bie)場(chang)景(jing)，因(yin)此我(wo)(wo)們認為最好的(de)(de)方(fang)案就(jiu)(jiu)(jiu)(jiu)是(shi)前面(mian)成(cheng)像(xiang)(xiang)端(duan)能夠解(jie)決絕大部分環境適(shi)應性(xing)問題(ti)，這(zhe)就(jiu)(jiu)(jiu)(jiu)是(shi)我(wo)(wo)們做(zuo)的(de)(de)事(shi)情。
3，前面(mian)的(de)(de)(de)一(yi)個問題是個非常具體(ti)的(de)(de)(de)問題。對于幀同(tong)步，在(zai)前端成(cheng)像部分會有(you)相關的(de)(de)(de)硬(ying)件(jian)(jian)接(jie)口。在(zai)不同(tong)的(de)(de)(de)Sensor之間(jian)，需(xu)(xu)要(yao)多個攝像頭之間(jian)協(xie)同(tong)處理(li)，這(zhe)(zhe)是硬(ying)件(jian)(jian)層面(mian)的(de)(de)(de)問題。對于硬(ying)件(jian)(jian)的(de)(de)(de)接(jie)口方式(shi)，我們都有(you)各(ge)種硬(ying)件(jian)(jian)接(jie)口和(he)軟件(jian)(jian)的(de)(de)(de)控制協(xie)議，因為行(xing)業沒(mei)有(you)標準(zhun)的(de)(de)(de)東西，是需(xu)(xu)要(yao)大家去探討(tao)的(de)(de)(de)。對于不同(tong)角度的(de)(de)(de)成(cheng)像如何盡量保持拼接(jie)后整體(ti)畫(hua)面(mian)的(de)(de)(de)均衡，拼接(jie)處過渡自(zi)然，這(zhe)(zhe)是一(yi)個特別綜合的(de)(de)(de)問題，這(zhe)(zhe)個問題不僅(jin)僅(jin)涉及(ji)到圖像拼接(jie)，還有(you)每個畫(hua)面(mian)本(ben)身的(de)(de)(de)程度。
比如我們看到一(yi)(yi)個(ge)很(hen)(hen)自然(ran)的(de)(de)圖(tu)像，這個(ge)圖(tu)像可能有一(yi)(yi)邊(bian)很(hen)(hen)暗(an)，一(yi)(yi)邊(bian)很(hen)(hen)亮，這樣(yang)對(dui)后(hou)(hou)面(mian)的(de)(de)識別(bie)拼(pin)接一(yi)(yi)定是(shi)很(hen)(hen)有困難的(de)(de)。而我們更關注的(de)(de)是(shi)從源頭上能夠(gou)把每一(yi)(yi)個(ge)圖(tu)像都做(zuo)的(de)(de)更好，那么(me)在(zai)后(hou)(hou)面(mian)拼(pin)接的(de)(de)時候就(jiu)會更容易(yi)。另外(wai)是(shi)拼(pin)接的(de)(de)算法(fa)問(wen)題，也有一(yi)(yi)部分屬于源的(de)(de)問(wen)題，從源的(de)(de)層面(mian)來看，永(yong)遠都只有一(yi)(yi)個(ge)原(yuan)則，就(jiu)是(shi)它(ta)的(de)(de)保(bao)真度(du)越高越好，這樣(yang)它(ta)能夠(gou)看的(de)(de)非常(chang)清楚(chu)，后(hou)(hou)面(mian)的(de)(de)拼(pin)接也會跟識別(bie)一(yi)(yi)樣(yang)變得更加容易(yi)。
提問三
王潤柱-征圖三維-slam
怎樣(yang)將(jiang)視覺slam應用(yong)到夜間?
朱繼志：我自己(ji)個(ge)人也(ye)花了很(hen)多(duo)時間在(zai)(zai)晚(wan)上(shang)各種各樣的(de)(de)(de)(de)環境下進行測試(shi)，發現夜間主要有高(gao)感光度和(he)動(dong)態(tai)范(fan)圍兩個(ge)問(wen)(wen)(wen)題(ti)。其實在(zai)(zai)很(hen)多(duo)道(dao)路上(shang)主要的(de)(de)(de)(de)問(wen)(wen)(wen)題(ti)不(bu)是感光度，因為(wei)都有路燈(deng)和(he)各種各樣的(de)(de)(de)(de)燈(deng)，而更(geng)(geng)多(duo)是動(dong)態(tai)范(fan)圍的(de)(de)(de)(de)問(wen)(wen)(wen)題(ti)。如果(guo)(guo)在(zai)(zai)很(hen)暗的(de)(de)(de)(de)情(qing)況下，它(ta)的(de)(de)(de)(de)動(dong)態(tai)范(fan)圍容(rong)易變大(da)(da)。舉個(ge)很(hen)簡單的(de)(de)(de)(de)例(li)子，比(bi)如分(fen)別有個(ge)穿白(bai)衣(yi)服和(he)黑衣(yi)服在(zai)(zai)一個(ge)正常燈(deng)光的(de)(de)(de)(de)情(qing)況下，這兩個(ge)的(de)(de)(de)(de)反差(cha)不(bu)會(hui)很(hen)大(da)(da)，但是如果(guo)(guo)在(zai)(zai)一個(ge)很(hen)暗的(de)(de)(de)(de)情(qing)況下，白(bai)色和(he)黑色的(de)(de)(de)(de)反差(cha)會(hui)特別大(da)(da)，動(dong)態(tai)范(fan)圍會(hui)變得更(geng)(geng)寬，因此(ci)相比(bi)于白(bai)天(tian)，晚(wan)上(shang)的(de)(de)(de)(de)問(wen)(wen)(wen)題(ti)會(hui)更(geng)(geng)多(duo)。
對(dui)于SLAM該(gai)怎么應(ying)用。首先我們不做SLAM，但(dan)是(shi)(shi)我們認(ren)為SLAM也是(shi)(shi)一樣的(de)(de)原(yuan)則，只(zhi)要(yao)圖(tu)像的(de)(de)信(xin)噪比(bi)越(yue)高(gao)(gao)，噪點(dian)越(yue)少，信(xin)息量越(yue)大，那(nei)么SLAM的(de)(de)準確度(du)就(jiu)會(hui)越(yue)高(gao)(gao)，我相信(xin)未來SLAM的(de)(de)發(fa)展會(hui)隨著成像水平的(de)(de)提(ti)升而(er)越(yue)來越(yue)高(gao)(gao)，如(ru)果信(xin)噪比(bi)還原(yuan)得非常精(jing)準，那(nei)么SLAM的(de)(de)精(jing)度(du)也會(hui)大幅度(du)的(de)(de)提(ti)升，SLAM有SLAM對(dui)應(ying)的(de)(de)算法，源(yuan)(yuan)圖(tu)也非常重要(yao)，如(ru)果源(yuan)(yuan)圖(tu)是(shi)(shi)模糊的(de)(de)，噪點(dian)很多，就(jiu)會(hui)極大地影(ying)響SLAM的(de)(de)精(jing)確度(du)。
提問四
王吉志-貴師大-經管
ISP可(ke)否(fou)增加圖像(xiang)采集層數，削減收取信息的缺失，多層疊加，更趨于實際數據(ju)？
朱繼志：對于ISP的(de)(de)層數，我(wo)(wo)不(bu)(bu)知道你(ni)是(shi)怎么理解的(de)(de)。其實這個(ge)問題回歸到本質(zhi)上(shang)來講還是(shi)動(dong)態范圍(wei)的(de)(de)處理。信息量越大，削(xue)減的(de)(de)信息就越多(duo)(duo)(duo)，你(ni)說的(de)(de)多(duo)(duo)(duo)層疊加應(ying)該(gai)是(shi)指多(duo)(duo)(duo)幀的(de)(de)合(he)成，通常情況(kuang)下(xia)，我(wo)(wo)們(men)是(shi)不(bu)(bu)用多(duo)(duo)(duo)幀合(he)成的(de)(de)方法(fa)的(de)(de)，因為(wei)多(duo)(duo)(duo)幀合(he)成容易(yi)導致在(zai)(zai)運動(dong)時出現(xian)很多(duo)(duo)(duo)不(bu)(bu)可預知的(de)(de)副作用，這個(ge)在(zai)(zai)前面也講過。要(yao)注意到在(zai)(zai)我(wo)(wo)們(men)提(ti)高了一個(ge)東西的(de)(de)同(tong)時會(hui)(hui)不(bu)(bu)會(hui)(hui)損失其他東西。這是(shi)一個(ge)整體(ti)的(de)(de)概念，不(bu)(bu)能單方面地把參數提(ti)高。
