「AI新青年講(jiang)座」將邀請世界(jie)頂尖AI研(yan)(yan)究(jiu)機構和大學的科研(yan)(yan)新青年，主講(jiang)他們在計(ji)算(suan)機視覺、機器(qi)學習(xi)等人工智能領(ling)域的最新重要研(yan)(yan)究(jiu)成果。

AI新(xin)青(qing)年(nian)是加(jia)速人(ren)工智能(neng)前沿研究的(de)(de)(de)新(xin)生力量(liang)。AI新(xin)青(qing)年(nian)的(de)(de)(de)視頻(pin)講解和直(zhi)播答(da)疑，將(jiang)可以(yi)幫助大家增進對人(ren)工智能(neng)前沿研究的(de)(de)(de)理(li)解，相應領(ling)域(yu)的(de)(de)(de)專業知識(shi)也能(neng)夠(gou)得以(yi)積累(lei)加(jia)深。同(tong)時，通過(guo)與AI新(xin)青(qing)年(nian)的(de)(de)(de)直(zhi)接交流，大家在AI學習和應用AI的(de)(de)(de)過(guo)程中遇到(dao)的(de)(de)(de)問題，也能(neng)夠(gou)盡快解決(jue)。

「AI新青(qing)年講座」目前已完結(jie)122講，錯(cuo)過往(wang)期講座直播的朋友，可以(yi)點擊文(wen)(wen)章底(di)部“閱(yue)讀(du)原文(wen)(wen)”進行(xing)回(hui)看！

有興趣(qu)分享學(xue)術(shu)成(cheng)果(guo)的朋友，可以與(yu)智東西公(gong)開課教研團隊進行郵件（class@sanyasheying.cn）聯系。

在自動駕(jia)駛等應用愈加炙手可熱的背(bei)景下，三維(wei)深度學習和激光(guang)雷達視覺(jue)受到越(yue)來(lai)越(yue)多的關注。激光(guang)雷達為自動駕(jia)駛系統提供(gong)了精確的空間信(xin)息，然(ran)而如何處理采集到的三維(wei)點(dian)云給車上(shang)較為有限的硬件資源帶來(lai)了巨大的挑戰。

傳統的(de)(de)三(san)維(wei)深度學習方(fang)法大多都(dou)受限(xian)于(yu)(yu)較(jiao)大的(de)(de)內(nei)存開(kai)銷和(he)不規則的(de)(de)內(nei)存訪問(wen)。基(ji)于(yu)(yu)這些(xie)問(wen)題，麻省(sheng)理工(gong)學院HAN Lab在讀(du)博士劉志健等人，在近年來對自動(dong)駕駛高(gao)(gao)效三(san)維(wei)深度學習做了一系列的(de)(de)探索，包括(kuo)如何(he)設計(ji)高(gao)(gao)效的(de)(de)三(san)維(wei)深度學習組件(jian)PVCNN、自動(dong)的(de)(de)搜索三(san)維(wei)神經網絡架(jia)構SPVNAS和(he)加速三(san)維(wei)稀(xi)疏卷積(ji)的(de)(de)計(ji)算(suan)TorchSparse等。

PVCNN（Point-Voxel CNN）將點(dian)云處(chu)理(li)領域的(de)兩類思路：?基于(yu)柵格和(he)(he)直接處(chu)理(li)點(dian)云的(de)方法(fa)進行(xing)了結合，是(shi)(shi)一種在計算效(xiao)(xiao)率與(yu)內存利(li)用率都更高效(xiao)(xiao)的(de)3D點(dian)云處(chu)理(li)框架。在語義分(fen)割和(he)(he)部件分(fen)割數據集上(shang)，PVCNN的(de)性能比基于(yu)體素(su)的(de)基準高，且GPU內存減少到(dao)(dao)10%，同時，相比于(yu)基于(yu)點(dian)的(de)方法(fa)，PVCNN實現(xian)了平均7倍的(de)運算加速。值得一說的(de)是(shi)(shi)，PVCNN可以部署在 Jetson Nano上(shang)并且達到(dao)(dao)實時的(de)效(xiao)(xiao)果，其速度與(yu)精度都明顯高于(yu)PointCNN和(he)(he)PointNet。

雖然PVCNN在(zai)(zai)小(xiao)物(wu)體和(he)較(jiao)小(xiao)的(de)區域(yu)理解(jie)中展(zhan)現(xian)了(le)強勁的(de)性能(neng)，但在(zai)(zai)大(da)規模室外場(chang)(chang)景上仍然無法高效部署。為解(jie)決這一(yi)問題，劉(liu)志健等人(ren)又(you)提出了(le)一(yi)種新的(de)三維點云(yun)(yun)計(ji)算(suan)模塊稀疏點云(yun)(yun)-柵格卷積(ji) (SPVConv)?和(he)3D神經(jing)網(wang)絡(luo)結(jie)構(gou)自(zi)(zi)動搜(sou)索 (3D-NAS)。這也是業(ye)界最早在(zai)(zai)3D計(ji)算(suan)機(ji)視覺(jue)領域(yu)，進行神經(jing)網(wang)絡(luo)結(jie)構(gou)自(zi)(zi)動搜(sou)索的(de)工作(zuo)之一(yi)，SPVNAS在(zai)(zai)極具挑戰(zhan)的(de)室外場(chang)(chang)景雷達(da)點云(yun)(yun)語義(yi)(yi)分(fen)割任務上，完勝該領域(yu)此(ci)前(qian)的(de)設(she)計(ji)，在(zai)(zai)自(zi)(zi)動駕駛的(de)權(quan)威評測榜(bang)SemanticKITTI 上，更是位列單幀3D場(chang)(chang)景語義(yi)(yi)分(fen)割榜(bang)首。

針對點云(yun)數據的處(chu)理計算，劉(liu)志健博(bo)士(shi)等人還開源了(le)一(yi)個(ge)高性(xing)能(neng)神經網絡(luo)加速庫TorchSparse。該庫最新版本在(zai)運(yun)行標準的稀疏卷積網絡(luo)時(shi)能(neng)相對于此(ci)前學(xue)術界最先進的開源庫MinkowskiEngine獲(huo)得1.9倍的加速。同時(shi)，這(zhe)項工(gong)作也(ye)獲(huo)得了(le)麻省理工(gong)學(xue)院-IBM沃(wo)森(sen)人工(gong)智(zhi)能(neng)實驗室、賽靈思、ON Semi、三星以及(ji)AWS的支(zhi)持。

6月9日(ri)，「AI新青(qing)年(nian)講(jiang)(jiang)座(zuo)」第123講(jiang)(jiang)邀請(qing)到麻省理工學(xue)院HAB Lab在讀博士劉志健(jian)參與，主(zhu)講(jiang)(jiang)《高(gao)效的點云神經網絡設計及開源加速庫》。

講者
劉志健，麻省(sheng)理工學院(yuan)HAN Lab在(zai)讀博(bo)士(shi)；導師為韓松(song)教授(shou)，2018年(nian)從上海交(jiao)通大(da)學獲得學士(shi)學位(wei)(wei)，2020年(nian)從麻省(sheng)理工學院(yuan)獲得碩士(shi)學位(wei)(wei)；研(yan)究(jiu)興趣主要是高(gao)效和硬件(jian)友好的深(shen)度學習(xi)及其在(zai)計算機視覺和機器人中的應用(yong)，在(zai)NeurIPS、CVPR、ICRA等國際一(yi)流會(hui)議上發表多篇學術(shu)論文。

第123講

主 題
《高(gao)效(xiao)的點云神(shen)經網絡設計(ji)及開源加速庫》

提 綱
1、點云算法在自動駕駛車輛上部署的難點
2、點云神經網絡算法PVCNN設計
3、輕量級點云神經網絡架構搜索SPVNAS
4、高性能開源神經網絡加速庫TorchSparse
5、在自動駕駛汽(qi)車上(shang)的部署(shu)和測試表現

直 播 信 息
直播時間：6月9日10:00
直播地點：智東西公(gong)開課知識店鋪

成果
PV-CNN：《PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection》
//proceedings.neurips.cc/paper/2019/file/5737034557ef5b8c02c0e46513b98f90-Paper.pdf

SPVNAS：《Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution》
//arxiv.org/pdf/2007.16100.pdf

TorchSparse：《High-Performance Neural Network Library for Point Cloud Processing》
//github.com/mit-han-lab/torchsparse