世界(jie)模型被業內認為是(shi)通(tong)往(wang)自動駕駛的唯(wei)一解(jie)。世界(jie)模型是(shi)真實世界(jie)的模擬，可(ke)以根據(ju)控制指令預(yu)測對應的未來并(bing)反饋給決策過程，從而有效地幫助智能體的訓練(lian)和(he)測試。
上海人工智能實驗室OpenDriveLab聯合香港科技大學等研究人員構建了迄今為止最大的公共駕駛數據集OpenDV-2K，其中包含超過2000小時的駕駛視頻，比廣泛使用的nuScenes數據集大374倍。基于OpenDV-2K還構建了自動駕駛領域中第一個大規模視頻預測模型GenAD。該模型通過新穎的時間推理模塊處理駕駛場景中的挑戰性動態情況，超越了一般或駕駛特定的視頻預測模型，在真實世界駕駛應用中的巨大潛力。與GenAD相關的論文收錄于?CVPR 2024 Highlight。
此外，針對現有的駕駛世界模型在泛化到未見環境、關鍵細節的預測保真度以及靈活應用的動作可控性方面存在的局限性。香港科技大學聯合上海人工智能實驗室OpenDriveLab等研究人員又提出一種高質量可控的通用自動駕駛世界模型Vista。與Vista相關的論文收錄于NeurIPS 2024。
Vista能(neng)夠在(zai)(zai)高(gao)時空分(fen)辨率下預測(ce)(ce)逼真的(de)(de)未來，通(tong)過捕捉(zhuo)動(dong)態和(he)保持結構的(de)(de)兩種新損失函數，以(yi)及詳盡的(de)(de)動(dong)態先驗(yan)以(yi)維持長時間滾(gun)動(dong)預測(ce)(ce)的(de)(de)一致性，其預測(ce)(ce)保真度(du)得到了極(ji)大提升。此外，Vista的(de)(de)動(dong)作可控(kong)性還可以(yi)在(zai)(zai)零(ling)樣(yang)本的(de)(de)情況下泛化到不同領域。
Vista在多個數據(ju)(ju)集上(shang)進行了全面(mian)的(de)實(shi)驗(yan)，驗(yan)證了其有效性(xing)。它優于(yu)最具(ju)競爭力(li)的(de)通用(yong)視頻生成(cheng)工具(ju)，并在nuScenes數據(ju)(ju)集上(shang)設(she)立了新的(de)最先進水(shui)平。實(shi)驗(yan)證據(ju)(ju)表明，Vista可以用(yong)作評估動作的(de)獎勵函數(reward function)。
10月25日晚7點，智猩猩邀請到香港科技大學在讀博士、上海AI Lab OpenDriveLab實習研究員高深遠參與「智猩猩自動駕駛新青年講座」第40講，主講《構建通用可泛化的自動駕駛世界模型》。
講者
高深遠，香港(gang)科技大(da)學在讀(du)博(bo)士(shi)、上海AI Lab OpenDriveLab實習(xi)研究員(yuan)
香港科技大學在(zai)讀博士，研究興趣主(zhu)要(yao)圍繞具身場景中的(de)世界模型(xing)。曾(ceng)在(zai)CVPR、NeurIPS、ECCV以第一作(zuo)者身份發(fa)表多篇(pian)論(lun)文，并擔任TPAMI、ICLR、NeurIPS、CVPR等期刊會(hui)議的(de)審(shen)稿人。
第 40 講
主 題
《構建通用可泛化的自動駕駛世界模型
提綱
1. 世界模型的概念及其重要性
2. 現有自動駕駛世界模型及其局限性
3. 大規模自動駕駛長視頻數據集OpenDV-2K
4. 高質量可控的自動駕駛世界模型Vista
5. 現存挑戰(zhan)與未來(lai)展望
直 播 信 息?
直(zhi)播時間：10月25日(ri)19:00
成果
論文標題
《GenAD: Generalized Predictive Model for Autonomous Driving》
《Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability》
論文鏈接
//arxiv.org/abs/2403.09630
//arxiv.org/abs/2405.17398
如何報名
有講座直播觀看需求的朋友，可以添加小助手“陳新”進(jin)行(xing)報(bao)名。已添加過“陳新”的老朋友，可以給“陳新”私信，發送“自(zi)動駕駛40”進(jin)行(xing)報(bao)名。對于通過報(bao)名的朋友，之后將邀請入群進(jin)行(xing)觀看和交流。
