「自(zi)動駕(jia)駛(shi)新青年(nian)講座」由智猩猩企劃，致力于邀請全球(qiu)知(zhi)(zhi)名高(gao)校、頂尖(jian)研究機構以及優秀企業的新青年(nian)，主講在環(huan)境(jing)感(gan)知(zhi)(zhi)、精準定位(wei)、決策規劃、控制(zhi)執(zhi)行等自(zi)動駕(jia)駛(shi)關鍵技術上的最新研究成果和開發實踐。

「自動(dong)駕(jia)駛新青年講(jiang)座」目前(qian)已完結33講(jiang);有興趣分享的朋友，可(ke)以與智猩猩教研團隊進(jin)行郵(you)件（class@sanyasheying.cn）聯系

3D 場景感知(zhi)對于自(zi)動(dong)駕駛的(de)安全性至關重要。來自(zi)新加坡國立大(da)學的(de)博士生孔(kong)令東(dong)等人在 NeurIPS 2023 上提出了一(yi)個新穎的(de)點云(yun)無監督預(yu)訓(xun)練框(kuang)架(jia) Seal，該框(kuang)架(jia)旨在利(li)用視覺基礎模型 (VFM) 分割不同的(de)激光雷達點云(yun)序列。


Seal 具有(you)以下三(san)點特性：

1) 可擴展性：其(qi)將VFM中(zhong)的知識(shi)直接(jie)蒸餾(liu)到點云上，從(cong)而(er)無需在預訓練期(qi)間使用(yong)任(ren)何2D 或(huo)3D 標注。

2）一致性：其(qi)在(zai)相機(ji)到(dao)激光(guang)雷達和點到(dao)簇兩個正則化(hua)階段分別進行了空間和時間約束，以(yi)促(cu)進跨模式表示學習。

3) 通用性：Seal能夠(gou)將現有模型(xing)中的知識遷移到涉及不(bu)同類(lei)型(xing)點(dian)云的下(xia)游任務(wu)中，包(bao)括了(le)來自(zi)真(zhen)實/合成、低/高(gao)分辨率、大/小規(gui)模以及干凈/損壞(huai)數據集的點(dian)云等(deng)。

在(zai)共11個不(bu)同的點云數據集上(shang)進行(xing)的廣(guang)泛實驗，也驗證了 Seal 的有效性(xing)和優越性(xing)。 該成果(guo)已被(bei) NeurIPS 2023 收錄為 Spotlight。

除了 Seal，在如(ru)何提升 3D 場景感知可靠性(xing)上(shang)，孔令東(dong)還(huan)分別提出了首個關注于使用半監督(du)信號進行(xing)激光雷達點云語義(yi)分割的(de)框架(jia)?LaserMix 和包含惡(e)劣天氣條件(jian)、外部干擾和內部傳感器故障引起的(de)八種損壞類型的(de) 3D 感知模型測試基線 Robo3D 。

1月11日晚7點，「自動駕駛新青年講座」第34講邀請到 Seal 一作、新加坡國立大學在讀博士孔令東參與，主講《運用視覺基礎模型分割「任意」激光雷達點云》，包括 Seal、LaserMix 和(he) Robo3D 等成果內容(rong)。

講者
孔令東,新加坡國(guo)立(li)大(da)學(xue)計算機(ji)系在(zai)讀博(bo)士;研(yan)究方向包括3D場景感知(zhi)、域適應和(he)無監(jian)督表征學(xue)習等；曾于Motional進行自動(dong)駕駛場景感知(zhi)方向的研(yan)究實習；相關研(yan)究工作已發表于TPAMI、CVPR、ICCV、NeurIPS和(he)ICRA等國(guo)際(ji)期刊和(he)會議中，并入選(xuan)Highlight、Spotlight和(he)Best Workshop Paper。

第34講

主 題
 《運用(yong)視覺基礎模型分割「任(ren)意(yi)」激(ji)光雷(lei)達點云(yun)》

提 綱
1、大模型在自動駕駛點云分割中的應用
2、半監督激光雷達點云語義分割 LaserMix
3、使用 VFM 的無監督預訓練點云分割框架 Seal
4、Seal 的有效性和優越性驗證
5、3D 場景感知的可靠(kao)性探索(suo)

直 播 信 息
直播時間：1月11日19:00
直(zhi)播(bo)地點：智東西公(gong)開(kai)課(ke)知識店鋪(pu)

成果

論文標題
《Segment Any Point Cloud Sequences by Distilling Vision Foundation Models》
《LaserMix for Semi-Supervised LiDAR Semantic Segmentation》
《Robo3D: Towards Robust and Reliable 3D Perception against Corruptions》

?論文地址
//arxiv.org/pdf/2306.09347.pdf
//arxiv.org/pdf/2207.00026.pdf
//arxiv.org/pdf/2303.17597.pdf

代碼鏈接
//github.com/youquanl/Segment-Any-Point-Cloud
//github.com/ldkong1205/LaserMix
//github.com/ldkong1205/Robo3D.