近(jin)年來(lai)，基于激光雷達(da)的場景(jing)生(sheng)成技術正在迅速發展，但現有(you)方(fang)法(fa)主要(yao)是(shi)生(sheng)成靜態和單幀場景(jing)，忽略(lve)了真實(shi)駕(jia)駛環境固有(you)的動態特(te)性。
為(wei)此，上海(hai)AI Lab聯合CMU、NUS等提出(chu)一(yi)個4D動(dong)態場景生(sheng)(sheng)成框架(jia)DynamicCity，該(gai)框架(jia)能夠(gou)生(sheng)(sheng)成大規(gui)模、高(gao)質量的動(dong)態4D點云場景。其中(zhong)，CMU碩士在(zai)(zai)讀、上海(hai)AI Lab科研(yan)實習生(sheng)(sheng)卞(bian)恒瑋(wei)為(wei)論文(wen)一(yi)作，新(xin)加坡國(guo)立(li)大學博士在(zai)(zai)讀、上海(hai)AI Lab科研(yan)實習生(sheng)(sheng)孔令(ling)東為(wei)論文(wen)二作。
DynamicCity框架采用了(le)VAE模(mo)型學習HexPlane作為緊(jin)湊的(de)4D表(biao)示，結(jie)合新提出的(de)投影(ying)模(mo)塊和擴(kuo)(kuo)展壓縮策略，顯著(zhu)提升了(le)HexPlane的(de)擬(ni)合質量、重(zhong)建效率和精度。該框架還引入了(le)“HexPlane展開”操(cao)作，結(jie)合基于DiT的(de)擴(kuo)(kuo)散模(mo)型實現(xian)了(le)HexPlane生成。
此(ci)外，DynamicCity框(kuang)架通過條件化生(sheng)(sheng)成(cheng)(cheng)與HexPlane操控，支持多樣化的4D動(dong)態場(chang)景生(sheng)(sheng)成(cheng)(cheng)應用，例如軌跡(ji)驅動(dong)生(sheng)(sheng)成(cheng)(cheng) (trajectory-guided?generation)、命令控制生(sheng)(sheng)成(cheng)(cheng) (command-controlled generation) 、場(chang)景布局條件生(sheng)(sheng)成(cheng)(cheng) (layout-conditioned generation) 以及場(chang)景和物體inpainting等，展現了優異的4D場(chang)景生(sheng)(sheng)成(cheng)(cheng)性能和廣泛的應用前景。
1月23日晚上7點，智猩猩邀請到卡耐基梅隆大學碩士在讀、上海人工智能實驗室科研實習生，以及新加坡國立大學博士在讀、上海人工智能實驗室科研實習生孔令東參與「智猩猩新青年講座自動駕駛專題」第43講，主講《大規模4D自動駕駛場景生成》。
講者
卞恒瑋，卡耐基梅隆大學碩士在讀、上海人工智能實驗室科研實習生
卡耐(nai)基梅隆大學碩士(shi)研(yan)(yan)究(jiu)生在讀，本科(ke)畢業于新加坡(po)南(nan)洋理工大學。同期于上海人(ren)工智能實驗室3D AIGC團隊擔(dan)任科(ke)研(yan)(yan)實習(xi)生，導師是(shi)潘亮博士(shi)。研(yan)(yan)究(jiu)方(fang)向為大規模(mo)3D場景生成(cheng)。相關研(yan)(yan)究(jiu)成(cheng)果發表于CVPR、NeurIPS、MICCAI等國際(ji)會議中。
孔令東，新加坡國立大學博士在讀、上海人工智能實驗室科研實習生
新加坡國立大(da)學計算機系(xi)博士(shi)在讀，本(ben)科畢(bi)業于(yu)華南理工大(da)學。于(yu)上(shang)海人(ren)工智(zhi)能實驗室(shi)、英偉達研(yan)究(jiu)(jiu)院、字節(jie)跳動AI Lab等機構(gou)進行科研(yan)實習。研(yan)究(jiu)(jiu)方向為3D場景感(gan)知、理解與生成。相(xiang)關研(yan)究(jiu)(jiu)成果發表于(yu)TPAMI、CVPR、ICCV、ECCV、NeurIPS、ICLR等國際(ji)期刊和會議中(zhong)。
第 43 講
?主 題?
《大規(gui)模4D自(zi)動(dong)駕駛場景生(sheng)成》
?提 綱?
1、3D和4D生成概述
2、4D場景生成基礎知識
3、4D動態場景生成框架DynamicCity
4、實驗結果評估與分析
5、4D場景(jing)生成前景(jing)與應用
?直 播 信 息?
直播時間：1月23日19:00
成果
論文標題
《DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes》
論文鏈接
//arxiv.org/abs/2410.18084
項目地址
//dynamic-city.github.io
收錄情況
ICLR 2025 在(zai)投
如何報名
有講座直播觀看需求的朋友，可以添加小助手“陳新”進行報名。已添加過“陳新”的老朋友，可以給“陳新”私信，發送“自動駕駛43”進行(xing)(xing)報(bao)名。對于通過報(bao)名的朋友，之后將邀(yao)請入(ru)群(qun)進行(xing)(xing)觀(guan)看和交(jiao)流。
