出品 | 智東西公開課
講師 | 陳超 極智嘉研發總監
課件 | 關注智東西公開課公眾號，并回復關鍵詞“英特爾03” ，即可獲取課件。
回放(fang) | //appoSCMf8kb5033.h5.xeknow.com/st/8Nl2ftuYV
導讀：
4月7日，極(ji)智嘉研發總監(jian)陳超在(zai)智東西(xi)公開課進行了一(yi)場的直(zhi)播講(jiang)解，主題(ti)為《物(wu)流(liu)機器人(ren)視覺感知(zhi)和定位(wei)技(ji)術的創新(xin)和實踐》，這也是英特爾AI百佳創新(xin)激勵計劃系列專場的第3講(jiang)。
在本次講解中，陳超(chao)老師圍繞物流機器人對視覺(jue)感知與定位(wei)的要求、智能叉車托盤(pan)(pan)檢測(ce)算法(fa)、利用(yong)OpenVINO加速托盤(pan)(pan)檢測(ce)算法(fa)部署(shu)，以及極智嘉VXSLAM定位(wei)技術與實(shi)踐，進行深入地講解。
本文為此次專場主講(jiang)環節的圖文整理：
正文：
晚(wan)上好，我是來自極智嘉的(de)陳超，今天(tian)很高(gao)興能跟大家一(yi)起分(fen)享(xiang)物(wu)流機器人視覺感知和定位技(ji)術的(de)創新和實踐。本次分(fen)享(xiang)主要包含(han)4個(ge)方面：
1、物流機器人對視覺感知與定位的要求
2、極智嘉的智能叉車托盤檢測算法的解析
3、利用OpenVINO加速托盤檢測算法部署
4、基于VXSLAM的AMR定位技術與(yu)實踐
物流機器人對視覺感知與定位的要求
對于普通的(de)消費(fei)者(zhe)，接(jie)觸比較(jiao)多(duo)的(de)是電(dian)商(shang)快(kuai)遞，實際上一個完整的(de)物(wu)(wu)(wu)流(liu)場景包含(han)工(gong)廠物(wu)(wu)(wu)流(liu)、倉儲物(wu)(wu)(wu)流(liu)、快(kuai)遞物(wu)(wu)(wu)流(liu)以及(ji)商(shang)業(ye)(ye)物(wu)(wu)(wu)流(liu)。除了電(dian)商(shang)之外，幾(ji)乎所(suo)有的(de)實體(ti)產業(ye)(ye)都有一套非常完善的(de)物(wu)(wu)(wu)流(liu)體(ti)系，它們都需要(yao)去解決自己的(de)原材料、半成品的(de)存儲運(yun)輸問題(ti)。
物(wu)(wu)流是一(yi)(yi)個(ge)非(fei)常很(hen)(hen)大的(de)(de)(de)(de)(de)(de)產業(ye)，它有(you)很(hen)(hen)多(duo)環節(jie)，因此(ci)形成(cheng)了很(hen)(hen)多(duo)智(zhi)(zhi)(zhi)慧(hui)物(wu)(wu)流的(de)(de)(de)(de)(de)(de)場(chang)景(jing)(jing)，比如(ru)智(zhi)(zhi)(zhi)能(neng)(neng)(neng)分(fen)揀(jian)(jian)、智(zhi)(zhi)(zhi)能(neng)(neng)(neng)搬(ban)運、智(zhi)(zhi)(zhi)能(neng)(neng)(neng)叉(cha)(cha)車、智(zhi)(zhi)(zhi)能(neng)(neng)(neng)倉(cang)儲和智(zhi)(zhi)(zhi)慧(hui)工廠(chang)(chang)。對(dui)于很(hen)(hen)多(duo)電商后臺(tai)的(de)(de)(de)(de)(de)(de)倉(cang)庫來(lai)說，就(jiu)是一(yi)(yi)個(ge)典型的(de)(de)(de)(de)(de)(de)智(zhi)(zhi)(zhi)能(neng)(neng)(neng)揀(jian)(jian)選的(de)(de)(de)(de)(de)(de)場(chang)景(jing)(jing)。這里我們(men)可以(yi)采(cai)用(yong)一(yi)(yi)些貨(huo)架到人的(de)(de)(de)(de)(de)(de)機器(qi)人，把貨(huo)架搬(ban)到固(gu)定地點，進(jin)行人工揀(jian)(jian)選。智(zhi)(zhi)(zhi)能(neng)(neng)(neng)搬(ban)運更多(duo)的(de)(de)(de)(de)(de)(de)用(yong)在工廠(chang)(chang)產線上進(jin)行一(yi)(yi)些物(wu)(wu)料、原材料的(de)(de)(de)(de)(de)(de)配(pei)送。分(fen)揀(jian)(jian)機器(qi)人主(zhu)要是用(yong)在一(yi)(yi)些郵(you)政以(yi)及快遞的(de)(de)(de)(de)(de)(de)系(xi)統(tong)進(jin)行包裹的(de)(de)(de)(de)(de)(de)投遞分(fen)揀(jian)(jian)。智(zhi)(zhi)(zhi)能(neng)(neng)(neng)叉(cha)(cha)車主(zhu)要是進(jin)行一(yi)(yi)些比較大重量的(de)(de)(de)(de)(de)(de)物(wu)(wu)品的(de)(de)(de)(de)(de)(de)短途轉移運輸(shu)，還有(you)智(zhi)(zhi)(zhi)能(neng)(neng)(neng)倉(cang)儲以(yi)及智(zhi)(zhi)(zhi)慧(hui)工廠(chang)(chang)。在多(duo)種不同的(de)(de)(de)(de)(de)(de)物(wu)(wu)流場(chang)景(jing)(jing)的(de)(de)(de)(de)(de)(de)背后，就(jiu)是多(duo)種形態機器(qi)人起(qi)到的(de)(de)(de)(de)(de)(de)支(zhi)撐(cheng)。
那(nei)對(dui)這(zhe)些機(ji)(ji)器(qi)人的(de)(de)感知定(ding)(ding)(ding)位有怎(zen)樣(yang)的(de)(de)要(yao)求(qiu)(qiu)呢？首先，由于物流場(chang)景非常(chang)多樣(yang)化，這(zhe)對(dui)機(ji)(ji)器(qi)人提(ti)出不同種(zhong)類(lei)的(de)(de)要(yao)求(qiu)(qiu)，比(bi)如有機(ji)(ji)械臂類(lei)的(de)(de)機(ji)(ji)器(qi)人，它需要(yao)對(dui)商品進行識別定(ding)(ding)(ding)位；輥道機(ji)(ji)器(qi)人，它需要(yao)把貨物對(dui)接(jie)到指(zhi)定(ding)(ding)(ding)的(de)(de)一(yi)些流水線(xian)上；還有一(yi)些搬(ban)運機(ji)(ji)器(qi)人、無人叉車等，不同的(de)(de)機(ji)(ji)器(qi)人會去完成一(yi)些特(te)定(ding)(ding)(ding)的(de)(de)任務(wu)。
下(xia)面一個是(shi)叉(cha)(cha)車(che)，叉(cha)(cha)車(che)的負載能力非常強，但是(shi)它的危險性也(ye)(ye)會(hui)比較(jiao)高(gao)。在叉(cha)(cha)車(che)的工作環境中，無論是(shi)前面的叉(cha)(cha)耙碰到(dao)人也(ye)(ye)好，貨物也(ye)(ye)好，都(dou)會(hui)是(shi)比較(jiao)嚴重的事故，那么(me)就需要高(gao)可靠(kao)性的算法(fa)來(lai)保(bao)證機器人的安全性。
對于穩(wen)定性，相對于其他機(ji)器(qi)人(ren)，物流機(ji)器(qi)人(ren)對穩(wen)定要求可能是7×24小(xiao)時的(de)，在(zai)武漢的(de)郵(you)政系統的(de)分(fen)揀場景里(li)一共有(you)數百臺機(ji)器(qi)，不同類型的(de)機(ji)器(qi)人(ren)緊密(mi)的(de)協(xie)作(zuo)進行(xing)包(bao)裹快遞(di)的(de)投送。我們可以想象一下(xia)，如(ru)果在(zai)這么一個密(mi)集的(de)場景內(nei)，機(ji)器(qi)人(ren)發生故(gu)障，將某些區(qu)域(yu)鎖死，那會(hui)造成重大面(mian)積的(de)作(zuo)業(ye)區(qu)域(yu)的(de)癱瘓，會(hui)造成訂單的(de)堆積。
右上角是日本豐田的產線，機器人(ren)可以進行(xing)一些零部件的對(dui)接，在這方面對(dui)精(jing)度的要(yao)求非常(chang)高。
極智嘉的智能叉車托盤檢測算法的解析
除了上面提到的(de)(de)高(gao)可靠性(xing)、安全(quan)性(xing)的(de)(de)需(xu)求(qiu)外，智(zhi)能叉(cha)車還(huan)有(you)(you)(you)(you)一些獨特(te)的(de)(de)特(te)點，叉(cha)車的(de)(de)托盤有(you)(you)(you)(you)很(hen)多類型，有(you)(you)(you)(you)歐標(biao)的(de)(de)、國標(biao)的(de)(de)，還(huan)有(you)(you)(you)(you)非標(biao)的(de)(de)，還(huan)有(you)(you)(you)(you)一些是客戶(hu)定制(zhi)的(de)(de)，它(ta)(ta)們有(you)(you)(you)(you)不(bu)同的(de)(de)材(cai)質(zhi)，比如塑料的(de)(de)、鐵(tie)的(de)(de)、木頭的(de)(de)，它(ta)(ta)們有(you)(you)(you)(you)不(bu)同的(de)(de)形狀，有(you)(you)(you)(you)單孔的(de)(de)，雙孔的(de)(de)、多孔的(de)(de)，那就(jiu)需(xu)要(yao)我們對多種類型的(de)(de)目標(biao)進行適配。在(zai)精度方面可以看到，其實(shi)叉(cha)車的(de)(de)叉(cha)耙(pa)還(huan)是比較厚(hou)的(de)(de)，相對于插孔，留(liu)給它(ta)(ta)定位的(de)(de)余量(liang)其實(shi)就(jiu)非常小，這就(jiu)要(yao)求(qiu)我們檢測算法(fa)具有(you)(you)(you)(you)非常高(gao)的(de)(de)精度。
叉車上(shang)用(yong)的(de)(de)(de)(de)是(shi)(shi)(shi)深度相機，對于(yu)點(dian)(dian)云的(de)(de)(de)(de)處理，現(xian)在(zai)(zai)(zai)已(yi)經(jing)有一(yi)些比(bi)(bi)較典型的(de)(de)(de)(de)方(fang)法(fa)，比(bi)(bi)如說早期的(de)(de)(de)(de)PointNet、VoxelNet，后期的(de)(de)(de)(de) Point-GNN等(deng)，在(zai)(zai)(zai)這里我們(men)重點(dian)(dian)介紹(shao)下PV-RCNN，通(tong)常來講基于(yu)Voxel方(fang)法(fa)的(de)(de)(de)(de)計算效率(lv)比(bi)(bi)較高(gao)(gao)，但(dan)是(shi)(shi)(shi)它的(de)(de)(de)(de)定(ding)位(wei)精度偏(pian)低(di)，基于(yu)Point方(fang)法(fa)感受野(ye)可(ke)(ke)變，一(yi)般(ban)具有較高(gao)(gao)的(de)(de)(de)(de)精度，PV-RCNN就(jiu)是(shi)(shi)(shi)結合兩者的(de)(de)(de)(de)優點(dian)(dian)，它利用(yong)3D Voxel先做一(yi)個(ge)初定(ding)位(wei)，然后再關聯到其中(zhong)的(de)(de)(de)(de)keypoint，做一(yi)個(ge)精細(xi)的(de)(de)(de)(de)定(ding)位(wei)。具體來說它其實包含兩個(ge)大的(de)(de)(de)(de)分支，第一(yi)是(shi)(shi)(shi)對原始的(de)(de)(de)(de)點(dian)(dian)云進(jin)行(xing)3D Voxel的(de)(de)(de)(de)處理，得到一(yi)些候選的(de)(de)(de)(de)3D框，在(zai)(zai)(zai)另外一(yi)個(ge)方(fang)面進(jin)行(xing)一(yi)些原始點(dian)(dian)采樣，把關鍵(jian)點(dian)(dian)稀疏(shu)化，之(zhi)后通(tong)過(guo)索(suo)引的(de)(de)(de)(de)方(fang)式關聯剛才Voxel所(suo)提取(qu)的(de)(de)(de)(de)多層級的(de)(de)(de)(de)特征，進(jin)行(xing)融合，再進(jin)行(xing)目標(biao)的(de)(de)(de)(de)精細(xi)化。其實基于(yu)點(dian)(dian)云的(de)(de)(de)(de)方(fang)法(fa)對我們(men)來說是(shi)(shi)(shi)最直接的(de)(de)(de)(de)，但(dan)在(zai)(zai)(zai)實際使用(yong)中(zhong)，托盤對于(yu)3D點(dian)(dian)云數據(ju)的(de)(de)(de)(de)標(biao)注成本(ben)非常高(gao)(gao)，可(ke)(ke)能是(shi)(shi)(shi)圖像標(biao)注的(de)(de)(de)(de)10倍(bei)以上(shang)，所(suo)以我們(men)還是(shi)(shi)(shi)采用(yong)了基于(yu)圖像的(de)(de)(de)(de)方(fang)法(fa)。
上圖(tu)左上角是(shi)(shi)獲取(qu)的(de)(de)(de)(de)(de)深度(du)(du)圖(tu)，轉(zhuan)化成圖(tu)像之后，可(ke)以(yi)用(yong)(yong)一(yi)些大家熟知的(de)(de)(de)(de)(de)兩階(jie)段(duan)(duan)的(de)(de)(de)(de)(de)處理方(fang)法(fa)如Faster-RCNN和(he)R-FCN，一(yi)階(jie)段(duan)(duan)的(de)(de)(de)(de)(de)Yolo與RetinaNet等，在(zai)這里(li)介紹一(yi)個(ge)(ge)(ge)比較典型FSAF，我(wo)(wo)們知道在(zai)目(mu)標檢測里(li)尺(chi)(chi)度(du)(du)是(shi)(shi)一(yi)個(ge)(ge)(ge)比較大的(de)(de)(de)(de)(de)問(wen)題，為(wei)了(le)解決(jue)尺(chi)(chi)度(du)(du)問(wen)題，現在(zai)主(zhu)流(liu)的(de)(de)(de)(de)(de)檢測器都(dou)采用(yong)(yong)了(le)FPN的(de)(de)(de)(de)(de)結構，然后再基(ji)于anchor在(zai)不(bu)同的(de)(de)(de)(de)(de)層(ceng)上去(qu)布置(zhi)anchor，那么(me)(me)就需要提前的(de)(de)(de)(de)(de)去(qu)設置(zhi)anchor的(de)(de)(de)(de)(de)位置(zhi)，以(yi)及(ji)它(ta)的(de)(de)(de)(de)(de)各種尺(chi)(chi)寸與寬高比，那具(ju)體設置(zhi)方(fang)法(fa)很(hen)多時候是(shi)(shi)基(ji)于一(yi)些啟(qi)發式(shi)方(fang)法(fa)，簡單(dan)來(lai)說，把一(yi)些目(mu)標的(de)(de)(de)(de)(de)size框和(he)各個(ge)(ge)(ge)特征層(ceng)上的(de)(de)(de)(de)(de)anchor框進行一(yi)個(ge)(ge)(ge)IoU的(de)(de)(de)(de)(de)計算(suan)、排(pai)序。IoU最(zui)大的(de)(de)(de)(de)(de)，我(wo)(wo)們就認為(wei)是(shi)(shi)檢測層(ceng)，這其(qi)實(shi)并不(bu)是(shi)(shi)一(yi)個(ge)(ge)(ge)最(zui)優的(de)(de)(de)(de)(de)結果。FSAF主(zhu)要針對(dui)(dui)特征的(de)(de)(de)(de)(de)選擇問(wen)題，它(ta)在(zai)RetinaNet的(de)(de)(de)(de)(de)基(ji)礎上構建了(le)SAF的(de)(de)(de)(de)(de)分(fen)支，我(wo)(wo)們可(ke)以(yi)采用(yong)(yong)一(yi)個(ge)(ge)(ge)anchor-free的(de)(de)(de)(de)(de)分(fen)支，輸出目(mu)標檢測的(de)(de)(de)(de)(de)熱(re)圖(tu)，然后用(yong)(yong)這個(ge)(ge)(ge)熱(re)圖(tu)去(qu)指導(dao)anchor-base的(de)(de)(de)(de)(de)方(fang)法(fa)的(de)(de)(de)(de)(de)進行目(mu)標檢測，這樣(yang)可(ke)以(yi)通(tong)過學習訓練的(de)(de)(de)(de)(de)方(fang)式(shi)得到最(zui)優，最(zui)終我(wo)(wo)們能夠選取(qu)什么(me)(me)樣(yang)的(de)(de)(de)(de)(de)尺(chi)(chi)寸，什么(me)(me)樣(yang)尺(chi)(chi)度(du)(du)的(de)(de)(de)(de)(de)目(mu)標，應該在(zai)什么(me)(me)樣(yang)層(ceng)上去(qu)檢測。FSAF它(ta)有(you)一(yi)個(ge)(ge)(ge)很(hen)大的(de)(de)(de)(de)(de)優點是(shi)(shi)它(ta)是(shi)(shi)一(yi)個(ge)(ge)(ge)模塊化的(de)(de)(de)(de)(de)方(fang)法(fa)，它(ta)可(ke)以(yi)直接的(de)(de)(de)(de)(de)集中在(zai)很(hen)多的(de)(de)(de)(de)(de)主(zhu)流(liu)的(de)(de)(de)(de)(de)檢測算(suan)法(fa)之后，對(dui)(dui)算(suan)法(fa)的(de)(de)(de)(de)(de)性能都(dou)有(you)一(yi)定的(de)(de)(de)(de)(de)提升。
最后(hou)(hou)看下(xia)我們(men)的(de)(de)(de)(de)(de)(de)(de)(de)(de)檢(jian)測(ce)方(fang)法(fa)(fa)(fa)，首(shou)先(xian)，大(da)家知道主流的(de)(de)(de)(de)(de)(de)(de)(de)(de)目(mu)標(biao)檢(jian)測(ce)都是(shi)基(ji)于(yu)bounding box的(de)(de)(de)(de)(de)(de)(de)(de)(de)形(xing)式，簡單來(lai)說就是(shi)拿一(yi)(yi)個(ge)(ge)bounding box無論是(shi)anchor也(ye)好，或者(zhe)是(shi)其他方(fang)式，在整個(ge)(ge)圖(tu)(tu)(tu)像里(li)(li)去(qu)密集的(de)(de)(de)(de)(de)(de)(de)(de)(de)采樣(yang)，然(ran)后(hou)(hou)最終回歸出目(mu)標(biao)的(de)(de)(de)(de)(de)(de)(de)(de)(de)類(lei)(lei)別(bie)和(he)(he)它的(de)(de)(de)(de)(de)(de)(de)(de)(de)位置。后(hou)(hou)來(lai)誕生了一(yi)(yi)些基(ji)于(yu)關鍵點(dian)的(de)(de)(de)(de)(de)(de)(de)(de)(de)方(fang)法(fa)(fa)(fa)，因為(wei)anchor的(de)(de)(de)(de)(de)(de)(de)(de)(de)方(fang)法(fa)(fa)(fa)，我們(men)要對(dui)anchor進行(xing)(xing)更(geng)加精細的(de)(de)(de)(de)(de)(de)(de)(de)(de)設計，要預(yu)先(xian)有(you)很多(duo)(duo)的(de)(de)(de)(de)(de)(de)(de)(de)(de)先(xian)驗在里(li)(li)面，有(you)很多(duo)(duo)的(de)(de)(de)(de)(de)(de)(de)(de)(de)超參(can)數。后(hou)(hou)來(lai)基(ji)于(yu)關鍵點(dian)的(de)(de)(de)(de)(de)(de)(de)(de)(de)方(fang)法(fa)(fa)(fa)主要有(you)兩類(lei)(lei)，一(yi)(yi)類(lei)(lei)是(shi)像基(ji)于(yu)這種左(zuo)右 left top和(he)(he)right bottom的(de)(de)(de)(de)(de)(de)(de)(de)(de) CornerNet的(de)(de)(de)(de)(de)(de)(de)(de)(de)方(fang)法(fa)(fa)(fa)。還有(you)一(yi)(yi)類(lei)(lei)是(shi)基(ji)于(yu)CenterNet的(de)(de)(de)(de)(de)(de)(de)(de)(de)方(fang)法(fa)(fa)(fa)，是(shi)基(ji)于(yu)目(mu)標(biao)的(de)(de)(de)(de)(de)(de)(de)(de)(de)中心(xin)點(dian)，先(xian)把目(mu)標(biao)的(de)(de)(de)(de)(de)(de)(de)(de)(de)中心(xin)檢(jian)測(ce)出來(lai)，然(ran)后(hou)(hou)再去(qu)回歸它的(de)(de)(de)(de)(de)(de)(de)(de)(de)屬性，包括它的(de)(de)(de)(de)(de)(de)(de)(de)(de)邊界。這里(li)(li)我們(men)結合兩種方(fang)法(fa)(fa)(fa)的(de)(de)(de)(de)(de)(de)(de)(de)(de)特點(dian)，采用(yong)的(de)(de)(de)(de)(de)(de)(de)(de)(de)是(shi)5點(dian)去(qu)描述，因為(wei)前面也(ye)提到(dao)我們(men)對(dui)目(mu)標(biao)的(de)(de)(de)(de)(de)(de)(de)(de)(de)精度要求非常(chang)高(gao)，那么(me)大(da)家可以想(xiang)象在圖(tu)(tu)(tu)像的(de)(de)(de)(de)(de)(de)(de)(de)(de)視野(ye)里(li)(li)，其實托盤并不是(shi)一(yi)(yi)個(ge)(ge)真正的(de)(de)(de)(de)(de)(de)(de)(de)(de)矩形(xing)框，它其實是(shi)一(yi)(yi)個(ge)(ge)四邊形(xing)，我們(men)用(yong)額外的(de)(de)(de)(de)(de)(de)(de)(de)(de)4個(ge)(ge)點(dian)去(qu)檢(jian)測(ce)會取得(de)更(geng)高(gao)的(de)(de)(de)(de)(de)(de)(de)(de)(de)精度。其實也(ye)是(shi)先(xian)通過一(yi)(yi)個(ge)(ge)Encoder-Decoder網(wang)絡生成一(yi)(yi)個(ge)(ge)目(mu)標(biao)的(de)(de)(de)(de)(de)(de)(de)(de)(de)中心(xin)點(dian)的(de)(de)(de)(de)(de)(de)(de)(de)(de)熱圖(tu)(tu)(tu)，熱圖(tu)(tu)(tu)中的(de)(de)(de)(de)(de)(de)(de)(de)(de)熱度就代表了目(mu)標(biao)的(de)(de)(de)(de)(de)(de)(de)(de)(de)概(gai)率(lv)，得(de)到(dao)概(gai)率(lv)之后(hou)(hou)進行(xing)(xing)篩選(xuan)，我們(men)再進行(xing)(xing)關鍵點(dian)的(de)(de)(de)(de)(de)(de)(de)(de)(de)回歸。
該方法有(you)一(yi)些(xie)特點，首先是(shi)一(yi)階段的方法，它沒(mei)有(you)RPN的過程，沒(mei)有(you)了信(xin)息阻塞，前端的特征可以(yi)(yi)(yi)直接傳遞到最終的檢(jian)測(ce)(ce)層(ceng)，我們相信(xin)這一(yi)類的方法將來可能會有(you)比較高的天花板。另(ling)外，由于(yu)是(shi)非bounding box的方式(shi)，沒(mei)有(you)NMS的操作，所(suo)以(yi)(yi)(yi)速度會更快(kuai)。此外，由于(yu)采用的是(shi)編(bian)解碼的形式(shi)，我們可以(yi)(yi)(yi)直接在高分辨率(lv)圖上(shang)(shang)檢(jian)測(ce)(ce)，所(suo)以(yi)(yi)(yi)不(bu)像一(yi)般的目標檢(jian)測(ce)(ce)可能會在低分辨率(lv)或者(zhe)是(shi)FPN的結果(guo)上(shang)(shang)去(qu)檢(jian)測(ce)(ce)，所(suo)以(yi)(yi)(yi)也會有(you)更高的精度。
最后對于另外一(yi)(yi)個(ge)(ge)分支(zhi)，我覺得也是(shi)(shi)非(fei)常重(zhong)要的(de)(de)一(yi)(yi)個(ge)(ge)分支(zhi)，它(ta)支(zhi)持整個(ge)(ge)托(tuo)(tuo)盤檢測(ce)算法設計的(de)(de)一(yi)(yi)個(ge)(ge)重(zhong)要目標：高(gao)可靠性(xing)。那具體怎樣做？我們會建立另外一(yi)(yi)個(ge)(ge)Verification的(de)(de)分支(zhi)，它(ta)同(tong)時接(jie)受網(wang)絡檢測(ce)的(de)(de)輸出與托(tuo)(tuo)盤先(xian)(xian)驗(yan)模型。因為事(shi)先(xian)(xian)有一(yi)(yi)些(xie)托(tuo)(tuo)盤模型的(de)(de)數據(ju)庫(ku)，那么我們可以(yi)拿數據(ju)庫(ku)里的(de)(de)托(tuo)(tuo)盤模型和(he)我們檢測(ce)的(de)(de)結果(guo)做一(yi)(yi)個(ge)(ge)相(xiang)似性(xing)的(de)(de)判斷，判斷出我們檢測(ce)的(de)(de)置信度，還是(shi)(shi)像剛才提(ti)到(dao)的(de)(de)在實際應(ying)用中，我們寧愿檢出率低一(yi)(yi)點、漏掉一(yi)(yi)些(xie)目標，但(dan)是(shi)(shi)一(yi)(yi)定不能讓叉車進(jin)行錯(cuo)誤的(de)(de)叉取，以(yi)免造成傷害。這其(qi)實是(shi)(shi)我們結合(he)類似于領域知識(shi)來對網(wang)絡性(xing)能的(de)(de)一(yi)(yi)個(ge)(ge)提(ti)升。
利用OpenVINO加速托盤檢測算法部署
首先，在服(fu)務器端訓(xun)練網絡模型，然后基于OpenVINO對模型進行(xing)優化以及(ji)轉化，最終(zhong)利用VINO的部(bu)署引(yin)擎，在Core i3的計算平臺上，在機(ji)器人端進行(xing)部(bu)署。
可(ke)能(neng)(neng)有(you)(you)的(de)(de)(de)(de)(de)朋友(you)對OpenVINO并不太熟悉(xi)，在(zai)這里(li)我(wo)們(men)簡單介紹下，OpenVINO是英(ying)特爾推(tui)出的(de)(de)(de)(de)(de)一(yi)款針對深度(du)學習和傳(chuan)統(tong)視覺的(de)(de)(de)(de)(de)加速優(you)(you)(you)化(hua)(hua)(hua)框(kuang)架。它(ta)可(ke)以(yi)支持英(ying)特爾目(mu)前絕大多數的(de)(de)(de)(de)(de)計算(suan)平(ping)臺，包括(kuo)(kuo)CPU、集成顯卡等等。它(ta)提供(gong)(gong)了(le)統(tong)一(yi)的(de)(de)(de)(de)(de)API讓我(wo)們(men)的(de)(de)(de)(de)(de)算(suan)法一(yi)次編譯(yi)、一(yi)次優(you)(you)(you)化(hua)(hua)(hua)，快(kuai)速的(de)(de)(de)(de)(de)在(zai)不同的(de)(de)(de)(de)(de)平(ping)臺上(shang)進行(xing)移(yi)植。我(wo)們(men)重點看一(yi)下Deep Learning部分(fen)(fen)的(de)(de)(de)(de)(de)模(mo)型(xing)優(you)(you)(you)化(hua)(hua)(hua)和推(tui)理(li)引擎(qing)(qing)兩部分(fen)(fen)，模(mo)型(xing)優(you)(you)(you)化(hua)(hua)(hua)部分(fen)(fen)可(ke)以(yi)接收好(hao)訓(xun)練好(hao)的(de)(de)(de)(de)(de)模(mo)型(xing)，然后轉(zhuan)化(hua)(hua)(hua)成內部特有(you)(you)的(de)(de)(de)(de)(de)IR格式，然后部署推(tui)理(li)引擎(qing)(qing)部分(fen)(fen)有(you)(you)一(yi)些(xie)(xie)硬(ying)件指令級層(ceng)面(mian)的(de)(de)(de)(de)(de)優(you)(you)(you)化(hua)(hua)(hua)，它(ta)是一(yi)個(ge)非常(chang)輕(qing)量(liang)、高(gao)效的(de)(de)(de)(de)(de)部署框(kuang)架，可(ke)以(yi)快(kuai)速的(de)(de)(de)(de)(de)輕(qing)量(liang)級的(de)(de)(de)(de)(de)部署在(zai)我(wo)們(men)的(de)(de)(de)(de)(de)嵌(qian)入式平(ping)臺上(shang)進行(xing)模(mo)型(xing)的(de)(de)(de)(de)(de)推(tui)理(li)。在(zai)Deep Learning部分(fen)(fen)其實里(li)面(mian)還(huan)提供(gong)(gong)了(le)很多預訓(xun)練好(hao)的(de)(de)(de)(de)(de)模(mo)型(xing)，更重要的(de)(de)(de)(de)(de)是提供(gong)(gong)了(le)很多非常(chang)實用的(de)(de)(de)(de)(de)工(gong)具，比如calibration tool可(ke)以(yi)進行(xing)一(yi)些(xie)(xie)量(liang)化(hua)(hua)(hua)，后面(mian)我(wo)們(men)也會講(jiang)到，包括(kuo)(kuo)模(mo)型(xing)性能(neng)(neng)分(fen)(fen)析，一(yi)些(xie)(xie)可(ke)視化(hua)(hua)(hua)的(de)(de)(de)(de)(de)工(gong)具等等。在(zai)傳(chuan)統(tong)視覺方(fang)面(mian)，也對大家都熟悉(xi)的(de)(de)(de)(de)(de)Opencv和OpenVX做了(le)一(yi)些(xie)(xie)指令集的(de)(de)(de)(de)(de)優(you)(you)(you)化(hua)(hua)(hua)，同時也提供(gong)(gong)了(le)構建一(yi)個(ge)視覺處理(li)完(wan)整pipeline 所需的(de)(de)(de)(de)(de)一(yi)些(xie)(xie)底層(ceng)的(de)(de)(de)(de)(de)media SDK。
接下(xia)來講下(xia)模(mo)型(xing)優(you)化這(zhe)部(bu)分(fen)，模(mo)型(xing)優(you)化器是(shi)整個OpenVINO的(de)框架(jia)里(li)最核(he)心(xin)的(de)部(bu)分(fen)之一，它(ta)(ta)目前(qian)支(zhi)持幾乎(hu)所(suo)有主(zhu)流(liu)的(de)框架(jia)，我們用的(de)是(shi)TensorFlow，但是(shi)它(ta)(ta)也支(zhi)持Pytoech、Caffe等，它(ta)(ta)可以對(dui)模(mo)型(xing)的(de)拓撲結構(gou)進(jin)行分(fen)析，然(ran)后進(jin)行一些優(you)化操作(zuo)，然(ran)后轉化。
下面(mian)重點看(kan)(kan)下模型(xing)優化技術，其實(shi)可(ke)以(yi)(yi)(yi)(yi)看(kan)(kan)一下右邊這張圖，在很多(duo)的(de)(de)網(wang)(wang)絡(luo)里(li)需要(yao)有BN層，BN層大(da)(da)家知道其實(shi)就是一些bias和scale的(de)(de)先(xian)行操作，在這里(li)單獨(du)做一層，其實(shi)計算(suan)效(xiao)率并(bing)不高。是模型(xing)優化器，可(ke)以(yi)(yi)(yi)(yi)自動的(de)(de)去根據(ju)拓撲結(jie)構對這些網(wang)(wang)絡(luo)進行一些合并(bing)，可(ke)以(yi)(yi)(yi)(yi)把的(de)(de)BN層往前合或往后移。可(ke)以(yi)(yi)(yi)(yi)看(kan)(kan)到網(wang)(wang)絡(luo)的(de)(de)結(jie)構大(da)(da)為(wei)精簡，更重要(yao)的(de)(de)是推理的(de)(de)速度(du)會大(da)(da)幅的(de)(de)提(ti)高。
另外還有一些stride的(de)(de)(de)優化操作，像在(zai)Resnet等一些結構(gou)里有很多1×1的(de)(de)(de)卷積，同時(shi)它的(de)(de)(de)stride可(ke)能是大于1的(de)(de)(de)，對于這些操作，我(wo)們可(ke)以把stride進行前(qian)(qian)(qian)(qian)移，比如可(ke)以看下上圖右下角的(de)(de)(de)例子，前(qian)(qian)(qian)(qian)面(mian)(mian)是56×56的(de)(de)(de)輸入，然后兩個分支(zhi)(zhi)都是在(zai)這里進行了kernel_size為(wei)(wei)1，但stride為(wei)(wei)2的(de)(de)(de)操作，其(qi)實(shi)很多先前(qian)(qian)(qian)(qian)的(de)(de)(de)一些計算(suan)被丟掉了，我(wo)們可(ke)以把它往(wang)前(qian)(qian)(qian)(qian)移，在(zai)前(qian)(qian)(qian)(qian)面(mian)(mian)的(de)(de)(de)分支(zhi)(zhi)上構(gou)stride為(wei)(wei)2，kernel_size為(wei)(wei)1的(de)(de)(de)操作，讓輸入特征圖從(cong)前(qian)(qian)(qian)(qian)面(mian)(mian)就大幅(fu)的(de)(de)(de)縮減，那么(me)整個效(xiao)率(lv)的(de)(de)(de)提升(sheng)是可(ke)想而知(zhi)的(de)(de)(de)。
最后看下推(tui)(tui)理(li)引擎，推(tui)(tui)理(li)引擎其(qi)實可以針對不同的(de)(de)平臺進行優化。我們重點講(jiang)一下INT8的(de)(de)推(tui)(tui)理(li)，我們知(zhi)道INT8相對于普(pu)通的(de)(de)FP16的(de)(de)方式有很多優點，它(ta)的(de)(de)能效更高，單指令執行產出(chu)更多，帶(dai)寬更高，內(nei)存消耗更低等。
這里面我們可(ke)(ke)以利用calibration tool進行一些模型的(de)量化(hua)(hua)。具體過程是(shi)可(ke)(ke)以先在(zai)校準數據(ju)集(ji)上運行訓練好的(de)模型，然后(hou)記(ji)錄(lu)下(xia)(xia)(xia)在(zai)float32下(xia)(xia)(xia)每層的(de)激(ji)活數據(ju)，接下(xia)(xia)(xia)來可(ke)(ke)以對(dui)所有可(ke)(ke)能(neng)(neng)轉化(hua)(hua)的(de)轉化(hua)(hua)成INT8的(de)層級進行轉化(hua)(hua)推(tui)理，然后(hou)收集(ji)一些精度下(xia)(xia)(xia)降(jiang)的(de)數據(ju)，比(bi)如(ru)某些層轉換完之后(hou)，它的(de)精度可(ke)(ke)能(neng)(neng)下(xia)(xia)(xia)滑了一個點是(shi)不能(neng)(neng)接受的(de)，而有些層可(ke)(ke)能(neng)(neng)是(shi)幾乎沒有什么變(bian)化(hua)(hua)，我們就(jiu)去轉化(hua)(hua)它。
在進(jin)行(xing)這(zhe)些模(mo)(mo)型的(de)(de)(de)(de)直接量(liang)化(hua)標準之(zhi)后(hou)，我們(men)(men)(men)可以(yi)(yi)讓32位的(de)(de)(de)(de)模(mo)(mo)型可以(yi)(yi)以(yi)(yi)INT8的(de)(de)(de)(de)方(fang)式進(jin)行(xing)推(tui)理。不(bu)同(tong)的(de)(de)(de)(de)平臺(tai)不(bu)一(yi)樣(yang)，此項(xiang)操(cao)作大概會有30%的(de)(de)(de)(de)性(xing)能(neng)的(de)(de)(de)(de)提升(sheng)。基(ji)于前面的(de)(de)(de)(de)模(mo)(mo)型優化(hua)與(yu)推(tui)進(jin)引(yin)擎，我們(men)(men)(men)還需要構(gou)建整(zheng)個檢測(ce)流(liu)程(cheng)的(de)(de)(de)(de)一(yi)個pipeline。那就(jiu)用到了我們(men)(men)(men)之(zhi)前提到的(de)(de)(de)(de)英特爾的(de)(de)(de)(de)底(di)層的(de)(de)(de)(de)一(yi)些媒體(ti)(ti)處理庫(ku)，比如media SDK做一(yi)些編(bian)解碼的(de)(de)(de)(de)操(cao)作，包括Opencv的(de)(de)(de)(de)前端(duan)(duan)的(de)(de)(de)(de)預處理，包括后(hou)端(duan)(duan)的(de)(de)(de)(de)后(hou)處理等(deng)等(deng)，中間是我們(men)(men)(men)的(de)(de)(de)(de)IE部分的(de)(de)(de)(de)推(tui)理框架。采用了OpenVINO與(yu)我們(men)(men)(men)基(ji)于傳(chuan)統Opencl等(deng)等(deng)手工優化(hua)的(de)(de)(de)(de)方(fang)式來比，整(zheng)體(ti)(ti)性(xing)能(neng)有了4倍的(de)(de)(de)(de)提升(sheng)。
最后看(kan)下我(wo)們的(de)(de)一(yi)些(xie)(xie)落地案例，左圖(tu)(tu)是(shi)(shi)疫情期(qi)間在歐洲某國際(ji)巨頭(tou)醫(yi)藥廠商的(de)(de)倉(cang)庫里(li)落地的(de)(de)叉(cha)車。貨物里(li)頭(tou)裝的(de)(de)都(dou)是(shi)(shi)藥品(pin)，我(wo)們可以(yi)想象對叉(cha)車的(de)(de)安全(quan)性要(yao)求(qiu)非(fei)(fei)常(chang)高，藥品(pin)是(shi)(shi)非(fei)(fei)常(chang)昂貴(gui)的(de)(de)。右圖(tu)(tu)是(shi)(shi)一(yi)個石(shi)膏板廠的(de)(de)項目(mu)，大家看(kan)到(dao)這(zhe)里(li)的(de)(de)托(tuo)盤類(lei)型就(jiu)比較多了，這(zhe)里(li)頭(tou)是(shi)(shi)雙孔的(de)(de)，其(qi)實嚴格意(yi)義(yi)來講，它(ta)并不是(shi)(shi)托(tuo)板，這(zhe)是(shi)(shi)客(ke)戶就(jiu)地取材(cai)，用他們石(shi)膏板的(de)(de)板材(cai)進行(xing)切割(ge)，做成(cheng)了托(tuo)盤的(de)(de)樣子。我(wo)們看(kan)到(dao)上面有(you)一(yi)些(xie)(xie)纏繞膜(mo)，他們會有(you)一(yi)些(xie)(xie)垂落，所以(yi)這(zhe)個項目(mu)對我(wo)們的(de)(de)定位(wei)精度提出了非(fei)(fei)常(chang)大的(de)(de)挑(tiao)戰。最終我(wo)們也是(shi)(shi)通過以(yi)5毫米(mi)的(de)(de)定位(wei)精度，滿足(zu)了客(ke)戶的(de)(de)要(yao)求(qiu)，成(cheng)功(gong)的(de)(de)部署(shu)。
基于VXSLAM的AMR定位技術與實踐
首先(xian)，簡(jian)(jian)單的(de)介紹下AMR，AMR是(shi)自主(zhu)(zhu)移動機器人的(de)簡(jian)(jian)稱，與我(wo)們(men)所熟悉的(de)AGV相比，它有一(yi)(yi)些(xie)不同，最重(zhong)要的(de)一(yi)(yi)點是(shi)定位和導(dao)航(hang)的(de)方(fang)式的(de)不同，傳(chuan)統的(de)AGV主(zhu)(zhu)要是(shi)基于在(zai)(zai)地面上(shang)的(de)一(yi)(yi)些(xie)引導(dao)線(xian)，比如(ru)一(yi)(yi)些(xie)色帶(dai)或(huo)者一(yi)(yi)些(xie)磁條或(huo)者是(shi)一(yi)(yi)些(xie)電(dian)線(xian)等進行導(dao)航(hang)，后期有一(yi)(yi)些(xie)在(zai)(zai)地面上(shang)布(bu)置二維碼的(de)方(fang)案，還有一(yi)(yi)些(xie)在(zai)(zai)墻壁貼反(fan)光板的(de)方(fang)案。
但無(wu)(wu)論(lun)怎樣，傳統AGV的(de)(de)(de)(de)導(dao)航(hang)的(de)(de)(de)(de)路徑(jing)一般都是(shi)比較(jiao)固定的(de)(de)(de)(de)。與之對(dui)應AMR主(zhu)要是(shi)基(ji)于SLAM的(de)(de)(de)(de)定位(wei)方式，它(ta)無(wu)(wu)需對(dui)環境的(de)(de)(de)(de)基(ji)礎設(she)施進行改(gai)造，事先建立(li)一個環境地圖之后就可(ke)以(yi)進行定位(wei)。基(ji)于不同的(de)(de)(de)(de)定位(wei)和導(dao)航(hang)方式，他們有以(yi)下的(de)(de)(de)(de)不同，比如說AGV更適合(he)(he)執行相同的(de)(de)(de)(de)任務，它(ta)更適合(he)(he)傳統的(de)(de)(de)(de)業(ye)(ye)務，而AMR我(wo)們可(ke)以(yi)對(dui)它(ta)進行靈活的(de)(de)(de)(de)配置，無(wu)(wu)論(lun)是(shi)線路也好還(huan)是(shi)任務也好，它(ta)更適合(he)(he)敏捷性(xing)的(de)(de)(de)(de)業(ye)(ye)務。比如制造業(ye)(ye)一個典型的(de)(de)(de)(de)場(chang)景，它(ta)具有作業(ye)(ye)點(dian)位(wei)比較(jiao)多，業(ye)(ye)務變化頻繁，人機混行的(de)(de)(de)(de)情況，那AMR可(ke)能是(shi)一個更適合(he)(he)的(de)(de)(de)(de)方案。
SLAM技(ji)術，傳統SLAM包含激光SLAM、視覺SLAM，甚至有(you)超聲波的(de)(de)(de)(de)SLAM和防撞(zhuang)條的(de)(de)(de)(de)SLAM，但無論是(shi)哪種SLAM，本質上都(dou)是(shi)一(yi)個(ge)(ge)狀態估(gu)計(ji)的(de)(de)(de)(de)問題(ti)。載有(you)傳感器的(de)(de)(de)(de)機(ji)器人在環境中運動，通(tong)過對地(di)(di)(di)標(biao)(biao)點(dian)進(jin)行觀測，來(lai)估(gu)計(ji)自(zi)身的(de)(de)(de)(de)一(yi)個(ge)(ge)位置變化。同時(shi)我(wo)們把(ba)所有(you)的(de)(de)(de)(de)地(di)(di)(di)標(biao)(biao)拼接(jie)起來(lai)，構(gou)建一(yi)幅地(di)(di)(di)圖(tu)，這就是(shi)SLAM。
傳統(tong)的(de)(de)視(shi)覺SLAM，可能有(you)一(yi)些比較(jiao)好的(de)(de)方案，比如RTAB-Map, LSD-SLAM, VINS-Fusion等。近些年(nian)來(lai)隨著深(shen)度學習技術的(de)(de)引入，對(dui)(dui)于傳統(tong)SLAM性能有(you)了一(yi)定的(de)(de)提升(sheng)。這(zhe)里(li)(li)我可能舉一(yi)個(ge)比較(jiao)有(you)代(dai)表性的(de)(de)HF-NET的(de)(de)例子，這(zhe)里(li)(li)也是分為離線的(de)(de)建圖(tu)(tu)和在線的(de)(de)定位兩個(ge)部分，在離線建圖(tu)(tu)部分，我們對(dui)(dui)于輸入的(de)(de)圖(tu)(tu)像序列，通(tong)過HF-NET來(lai)提取它的(de)(de)local feature，這(zhe)里(li)(li)用的(de)(de)是super point，然(ran)后(hou)通(tong)過SFM的(de)(de)方式來(lai)構建整個(ge)場景的(de)(de)地圖(tu)(tu)，這(zhe)里(li)(li)主要(yao)是把特征點進行三角化。
另一(yi)方面，通過HF-NET來提取一(yi)些全(quan)(quan)局的(de)(de)(de)(de)特(te)(te)征，之(zhi)后(hou)對(dui)特(te)(te)征進(jin)(jin)行(xing)聚合，這里主要是用于后(hou)續(xu)的(de)(de)(de)(de)地點識別(bie)。在線定位(wei)階段，根(gen)據機器人端輸入的(de)(de)(de)(de)圖像，HF-NET可以先提取它的(de)(de)(de)(de)全(quan)(quan)局特(te)(te)征，然后(hou)基于地點識別(bie)的(de)(de)(de)(de)模塊，在整個(ge)場(chang)(chang)景(jing)中(zhong)選(xuan)取一(yi)些候選(xuan)的(de)(de)(de)(de)位(wei)置(zhi)。另外一(yi)個(ge)分支(zhi)提取一(yi)些local feature，將(jiang)local feature的(de)(de)(de)(de)位(wei)置(zhi)與候選(xuan)的(de)(de)(de)(de)一(yi)些3D點進(jin)(jin)行(xing)2D到3D的(de)(de)(de)(de)匹配來恢復位(wei)置(zhi)。目前HF-NET的(de)(de)(de)(de)方法對(dui)于一(yi)些大場(chang)(chang)景(jing)以及包括(kuo)一(yi)些變(bian)化(hua)，比(bi)如說光照變(bian)化(hua)比(bi)較(jiao)大的(de)(de)(de)(de)場(chang)(chang)景(jing)的(de)(de)(de)(de)效果(guo)還是不錯的(de)(de)(de)(de)。
目前VSLAM有一些成功(gong)的(de)(de)(de)(de)(de)案例，比較有代表性的(de)(de)(de)(de)(de)就是谷歌的(de)(de)(de)(de)(de)VPS，它基于手(shou)機(ji)上的(de)(de)(de)(de)(de)一個攝像(xiang)頭(tou)拍攝的(de)(de)(de)(de)(de)單張的(de)(de)(de)(de)(de)圖像(xiang)，就可以進行室內和室外的(de)(de)(de)(de)(de)定(ding)(ding)位(wei)，進而導航。另(ling)一家是Facebook，最近幾年 Facebook匯(hui)集了(le)全世(shi)界做(zuo)VSLAM領域比較有名的(de)(de)(de)(de)(de)人(ren)才，包(bao)括收購了(le)Zurich Eye / Oculus等(deng)等(deng)，做(zuo)成了(le)一套視覺定(ding)(ding)位(wei)的(de)(de)(de)(de)(de)方(fang)案，效果還(huan)是比較穩(wen)定(ding)(ding)的(de)(de)(de)(de)(de)。
VSLAM還存在很多挑戰(zhan)，最重(zhong)要的(de)(de)(de)(de)可(ke)能是(shi)(shi)(shi)動態(tai)環境方面帶(dai)來的(de)(de)(de)(de)挑戰(zhan)，上圖是(shi)(shi)(shi)一(yi)個(ge)(ge)(ge)典型(xing)的(de)(de)(de)(de)倉庫(ku)里(li)(li)的(de)(de)(de)(de)環境，可(ke)以看到(dao)右上角(jiao)都(dou)是(shi)(shi)(shi)紙箱，隨著作(zuo)業時(shi)間的(de)(de)(de)(de)不同(tong)或(huo)者(zhe)是(shi)(shi)(shi)任務的(de)(de)(de)(de)不同(tong)，這些(xie)擺放的(de)(de)(de)(de)料箱都(dou)會發生巨(ju)大的(de)(de)(de)(de)變(bian)(bian)化(hua)，比如(ru)機器(qi)人搬(ban)(ban)東西過去的(de)(de)(de)(de)時(shi)候可(ke)能會有(you)三(san)個(ge)(ge)(ge)貨箱，等(deng)再回來搬(ban)(ban)時(shi)可(ke)能一(yi)個(ge)(ge)(ge)都(dou)沒有(you)。另外是(shi)(shi)(shi)光(guang)照的(de)(de)(de)(de)變(bian)(bian)化(hua)，通常(chang)產線上都(dou)是(shi)(shi)(shi)開燈(deng)的(de)(de)(de)(de)，但是(shi)(shi)(shi)有(you)的(de)(de)(de)(de)時(shi)候有(you)些(xie)作(zuo)業點位(wei)會隨著時(shi)間進(jin)行(xing)排班(ban)等(deng)一(yi)些(xie)變(bian)(bian)化(hua)，導致AMR需要穿(chuan)過一(yi)些(xie)關燈(deng)的(de)(de)(de)(de)區域(yu)。另外在倉庫(ku)或(huo)者(zhe)是(shi)(shi)(shi)廠房里(li)(li)，有(you)些(xie)區域(yu)有(you)巨(ju)型(xing)的(de)(de)(de)(de)天窗或(huo)者(zhe)側窗，陽光(guang)的(de)(de)(de)(de)變(bian)(bian)化(hua)也會影(ying)響定(ding)位(wei)。另一(yi)方面是(shi)(shi)(shi)空(kong)曠場(chang)景下(xia)定(ding)位(wei)精(jing)度(du)的(de)(de)(de)(de)問題。其實在很多的(de)(de)(de)(de)倉庫(ku)里(li)(li)，固定(ding)目標很少，只(zhi)有(you)幾個(ge)(ge)(ge)大的(de)(de)(de)(de)柱子，這些(xie)貨品都(dou)是(shi)(shi)(shi)隨著時(shi)間變(bian)(bian)化(hua)的(de)(de)(de)(de)，在如(ru)此(ci)空(kong)曠的(de)(de)(de)(de)場(chang)景下(xia)進(jin)行(xing)精(jing)確(que)的(de)(de)(de)(de)定(ding)位(wei)，也是(shi)(shi)(shi)一(yi)個(ge)(ge)(ge)比困難(nan)的(de)(de)(de)(de)問題。
最后(hou)講下VXSLAM方(fang)案。首(shou)(shou)先(xian)說明(ming)下X的(de)含(han)義，可以(yi)從兩個維度(du)來(lai)看，第(di)一(yi)個維度(du)是有(you)多種(zhong)不同的(de)視(shi)覺(jue)元素，除了(le)(le)最典(dian)型的(de)point、edge之外，更重要的(de)是引入了(le)(le)object這(zhe)種(zhong)含(han)有(you)語義的(de)信息(xi)。從另外一(yi)個維度(du)來(lai)看，進(jin)行了(le)(le)異構傳(chuan)感器融(rong)合，首(shou)(shou)先(xian)最基本的(de)是camera，此(ci)外還有(you)IMU、Odom、激光(guang)。
我(wo)們(men)整(zheng)個系統(tong)設計最重要(yao)的(de)(de)(de)目標(biao)(biao)就(jiu)是(shi)高魯(lu)棒性，這(zhe)點(dian)和(he)前面提(ti)到的(de)(de)(de)叉(cha)車(che)是(shi)一(yi)(yi)致的(de)(de)(de)。上圖(tu)是(shi)整(zheng)個算法的(de)(de)(de)框(kuang)架，最主要(yao)的(de)(de)(de)是(shi)建(jian)(jian)圖(tu)和(he)定(ding)位(wei)以(yi)及地(di)(di)(di)圖(tu)管(guan)理。首先，建(jian)(jian)圖(tu)部分接(jie)受傳感器輸入的(de)(de)(de)圖(tu)像以(yi)及各種(zhong)數據之后(hou)，進(jin)行(xing)(xing)BA優化(hua)來構建(jian)(jian)地(di)(di)(di)圖(tu)，同時比較(jiao)特殊之處在于(yu)我(wo)們(men)有一(yi)(yi)個object estimation模(mo)塊(kuai)進(jin)行(xing)(xing)動態目標(biao)(biao)的(de)(de)(de)去(qu)除和(he)一(yi)(yi)些靜態目標(biao)(biao)的(de)(de)(de)位(wei)置估計，把它加(jia)到地(di)(di)(di)圖(tu)里(li)。另外(wai)地(di)(di)(di)點(dian)識(shi)別模(mo)塊(kuai)可(ke)以(yi)用來進(jin)行(xing)(xing)回環的(de)(de)(de)校正，在地(di)(di)(di)圖(tu)管(guan)理模(mo)塊(kuai)里(li)，我(wo)們(men)維護了(le)各種(zhong)異構的(de)(de)(de)地(di)(di)(di)圖(tu)，比如剛(gang)才提(ti)到的(de)(de)(de)各種(zhong)feature的(de)(de)(de)地(di)(di)(di)圖(tu)。從另外(wai)一(yi)(yi)個角度(du)看，地(di)(di)(di)圖(tu)是(shi)多層(ceng)的(de)(de)(de)，后(hou)面會向大家介紹(shao)。在定(ding)位(wei)階段(duan)，基于(yu)已經建(jian)(jian)立(li)好的(de)(de)(de)地(di)(di)(di)圖(tu)及地(di)(di)(di)點(dian)識(shi)別模(mo)塊(kuai)給到的(de)(de)(de)一(yi)(yi)些結果，綜合來對位(wei)機器人(ren)的(de)(de)(de)位(wei)置進(jin)行(xing)(xing)估計。
首(shou)先講下異構地圖，大家知道激(ji)(ji)光(guang)(guang)SLAM，特別是(shi)單線激(ji)(ji)光(guang)(guang)SLAM，在(zai)(zai)機器人領域(yu)還是(shi)比(bi)較(jiao)成(cheng)熟的(de)，它(ta)有很(hen)(hen)多的(de)優(you)勢。首(shou)先要融合的(de)是(shi)激(ji)(ji)光(guang)(guang)的(de)grid map，在(zai)(zai)這(zhe)里融合其(qi)實(shi)(shi)有很(hen)(hen)多的(de)問題，可以看(kan)到兩(liang)種異構的(de)傳感器，他們(men)的(de)幀率不(bu)同、數據(ju)類型(xing)不(bu)同、特性不(bu)同，比(bi)如對于激(ji)(ji)光(guang)(guang)，它(ta)的(de)全局一(yi)致性非(fei)(fei)常(chang)(chang)好(hao)，但是(shi)他在(zai)(zai)局部的(de)卻(que)存(cun)在(zai)(zai)抖動的(de)情況，而(er)視覺局部其(qi)實(shi)(shi)精度(du)非(fei)(fei)常(chang)(chang)高，非(fei)(fei)常(chang)(chang)平滑，但是(shi)卻(que)存(cun)在(zai)(zai)尺度(du)漂移等問題。我(wo)們(men)采用聯合優(you)化(hua)的(de)方式，能夠把(ba)激(ji)(ji)光(guang)(guang)的(de)grid map和視覺的(de)feature map做一(yi)個(ge)很(hen)(hen)好(hao)的(de)融合，這(zhe)樣在(zai)(zai)集成(cheng)定位(wei)時，提升定位(wei)的(de)魯棒(bang)性與精度(du)。
另外一方面(mian)是object map，基于OpenVINO的平臺，其(qi)實還運行著一個目(mu)標檢測與pose estimation的模塊(kuai)，對于人包括(kuo)臨時(shi)擺放(fang)目(mu)標，會進(jin)(jin)行一些去除，來防止對于建圖和定位的干擾。對于一些靜(jing)態(tai)目(mu)標，還會進(jin)(jin)行位置的估計。比如在產線上有一些固定的重型設備，包括(kuo)一些柱子、墻面(mian)、消(xiao)防栓等，我(wo)們會把它加到(dao)地圖里面(mian)。
基(ji)于(yu)(yu)目標的定(ding)位(wei)精度并不是很高，但是對魯(lu)棒(bang)性(xing)的提升卻(que)非(fei)常大，在很多時候特別是動態場(chang)景下(xia)，我們可以僅(jin)基(ji)于(yu)(yu)一個目標，就(jiu)對位(wei)置進(jin)行估(gu)算，或者是對整(zheng)個位(wei)姿進(jin)行一些不完全的約束。這對于(yu)(yu)提升機器人整(zheng)體定(ding)位(wei)的魯(lu)棒(bang)性(xing)至關重要。
還有(you)多(duo)層地(di)圖(tu)，剛才(cai)已經提到一些(xie)地(di)圖(tu)可能(neng)面(mian)臨(lin)的(de)(de)幾個(ge)(ge)(ge)比(bi)較重要(yao)的(de)(de)挑戰，其中第一個(ge)(ge)(ge)是(shi)動態(tai)環(huan)境，動態(tai)環(huan)境包括布(bu)局(ju)的(de)(de)變(bian)化，光(guang)(guang)照(zhao)(zhao)的(de)(de)變(bian)化，在(zai)倉庫里可能(neng)早晨、中午和(he)晚上(shang)的(de)(de)光(guang)(guang)照(zhao)(zhao)非常不(bu)同。另外包括不(bu)同的(de)(de)作業區域，貨物的(de)(de)擺放(fang)(fang)可能(neng)也是(shi)隨著時間(jian)在(zai)發生變(bian)化，我們需要(yao)去(qu)建(jian)立(li)一種多(duo)層的(de)(de)地(di)圖(tu)，上(shang)圖(tu)是(shi)在(zai)不(bu)同時間(jian)段對同一個(ge)(ge)(ge)區域建(jian)立(li)的(de)(de)地(di)圖(tu)，我們可以(yi)(yi)把它放(fang)(fang)到一起進行聯合的(de)(de)優(you)化。在(zai)整個(ge)(ge)(ge)地(di)圖(tu)里我們構建(jian)了靜態(tai)的(de)(de)參考地(di)圖(tu)，在(zai)集成定(ding)(ding)位(wei)階段，可以(yi)(yi)根據(ju)各自的(de)(de)匹配程度與一些(xie)先驗來判斷(duan)基于哪個(ge)(ge)(ge)地(di)圖(tu)進行定(ding)(ding)位(wei)。
最后看(kan)下客(ke)戶現場的落地(di)，上圖(tu)左邊(bian)是它(ta)的一條產線(xian)，可以看(kan)到(dao)在產線(xian)的兩邊(bian)堆了很多的物(wu)料(liao)箱，每天清晨的時候，這些(xie)(xie)物(wu)料(liao)箱就會(hui)被機器人搬運(yun)(yun)到(dao)此處，隨著作業的進行(xing)，這些(xie)(xie)物(wu)料(liao)箱會(hui)被搬運(yun)(yun)至其他地(di)點進行(xing)補貨，所以這個場景的動態性非(fei)常(chang)高。中間上面的圖(tu)像是建立的激光地(di)圖(tu)，下面是視覺(jue)地(di)圖(tu)，紅線(xian)是視覺(jue)定位的結(jie)果。
基于可靠穩(wen)定的(de)(de)感知和(he)(he)定位技術，AMR機器人可以實(shi)現1-3個(ge)月的(de)(de)快速部(bu)署，對產線的(de)(de)物(wu)流有(you)2-3倍的(de)(de)效率(lv)提升，憑借高(gao)投(tou)資(zi)回(hui)報率(lv)、高(gao)可靠性(xing)和(he)(he)敏(min)捷性(xing)，我們相信在物(wu)流領域及AMR將會(hui)有(you)更廣泛的(de)(de)應用(yong)。
最(zui)后總結下(xia)，以AI技術為(wei)核心，實(shi)(shi)現(xian)高可靠性(xing)的AMR感知與(yu)定(ding)(ding)位。我(wo)們一再(zai)強調可靠性(xing)與(yu)智能是(shi)我(wo)們在技術方(fang)面的兩個最(zui)重(zhong)要的目標。基于此，我(wo)們希望(wang)打(da)造高效、穩定(ding)(ding)的智能物(wu)流(liu)機器人(ren)解(jie)決方(fang)案，賦能全球企(qi)業實(shi)(shi)現(xian)物(wu)流(liu)智能化升(sheng)級。
