「自(zi)動駕駛(shi)新青年講(jiang)座」由智猩(xing)猩(xing)企(qi)劃(hua)，致(zhi)力于(yu)邀請全球知(zhi)名高校(xiao)、頂尖研(yan)究機構以及(ji)優(you)秀(xiu)企(qi)業的新青年，主講(jiang)在環境感知(zhi)、精準定位、決策規劃(hua)、控(kong)制執行(xing)等自(zi)動駕駛(shi)關鍵(jian)技(ji)術上的最新研(yan)究成(cheng)果和開發實踐。
「自動(dong)駕駛新青年講座(zuo)」目前已完結34講，有興趣(qu)分享的朋友，可(ke)以與智猩猩教研團隊進行郵(you)件（class@sanyasheying.cn）聯系
自動駕(jia)(jia)駛領域的算法研究和落地應用已經取得了諸多顯著進展，但這些近期的工(gong)作(zuo)在遇到長尾事件和復(fu)雜城市駕(jia)(jia)駛場景(jing)時，仍存在一系(xi)列困難(nan)與挑戰(zhan)，甚至可能引發(fa)嚴重的駕(jia)(jia)駛事故(gu)。
更(geng)具體來說(shuo)，以往的(de)(de)自動(dong)駕駛(shi)方法傾向于依賴有限(xian)格式的(de)(de)輸入（例如(ru)傳感器(qi)數據和(he)導航點(dian)），限(xian)制了車輛理(li)解語言信息和(he)與人交互的(de)(de)能(neng)(neng)力(li)。而大(da)語言模型（LLM）相關(guan)的(de)(de)最新研究(jiu)成果則展現出接近“通用人工智能(neng)(neng)”的(de)(de)能(neng)(neng)力(li)，包含一系列(lie)令人印象(xiang)深刻(ke)的(de)(de)知識理(li)解和(he)推理(li)能(neng)(neng)力(li)。因此(ci)，如(ru)何(he)將(jiang)二者有效結合就(jiu)成為了一個(ge)值得探索的(de)(de)研究(jiu)課題。
LMDrive 是香港中文大學、商湯科(ke)技(ji)，以及(ji)上海(hai)人(ren)工智能實驗室（OpenDILab 團隊）等(deng)機構的(de)研(yan)究者們提出的(de)第一個利用大語(yu)言模型進行(xing)閉環端(duan)到端(duan)自動駕駛的(de)工作(zuo)，結(jie)合了(le)自然(ran)語(yu)言指令(ling)和多模態(tai)傳感(gan)器數據(ju)，實現了(le)復雜駕駛場景(jing)中準確且高效的(de)導航和人(ren)機交互。
LMDrive 主要(yao)從以下四個(ge)方面(mian)進行了深(shen)入的(de)探索和(he)研究：
1、提出(chu)全新的自動駕駛(shi)框架 LMDrive：這是一個端(duan)到(dao)端(duan)、閉環(huan)(huan)、基于語(yu)言控制的自動駕駛(shi)框架，能夠通過多模(mo)態多視角(jiao)傳感器數據(ju)和自然語(yu)言指令與(yu)動態環(huan)(huan)境進行交互。
2、構建了約 64K 數據量的語言引導駕駛數據集：其中每個條目包含一條導航指令、幾條提示指令、一系列多模態多視角傳感器數據和車輛控制信號。每個數據片段的時長從 2 秒到 20 秒不等。
3、推出 LangAuto 基準測試(shi)框架(jia)：用于(yu)評估以語言指令(ling)為導(dao)航輸入的自動駕(jia)駛(shi)Agent 性能，涵蓋誤導(dao)性/冗(rong)長指令(ling)和具有挑戰性的對(dui)抗性駕(jia)駛(shi)場景。
4、進行廣(guang)泛的(de)閉環實驗：通過實驗驗證(zheng)所(suo)提出(chu)框架的(de)有效性(xing)，并分(fen)析 LMDrive 的(de)不同組成(cheng)部分(fen)，為沿此方(fang)向的(de)研究提供分(fen)析。
1月(yue)22日晚7點，「自動(dong)駕駛(shi)新青年講座(zuo)」第(di)35講邀請到 LMDriver 一作、香港(gang)中文(wen)大學 MMLab 在讀博士邵昊參(can)與，主講《LMDrive：大語言模型加持的(de)閉環端到端自動(dong)駕駛(shi)框架》。
講者
邵昊，香港中(zhong)文大學MMLab在讀博士；師從李鴻(hong)升教授和王曉剛教授，研究方向為端到(dao)端自動(dong)駕(jia)(jia)駛，多模(mo)態大語言(yan)模(mo)型，視頻理解；曾在CVPR、CoRL、NeurIPS、RSS等(deng)頂級會議發表多篇論(lun)文；曾獲2022年(nian)度(du)(du)CARLA端到(dao)端自動(dong)駕(jia)(jia)駛挑戰賽冠軍（sensor track），2020年(nian)度(du)(du)ActivityNet挑戰賽冠軍等(deng)。
第35講
主 題
《LMDrive：大語言模型加持的閉環端(duan)(duan)到端(duan)(duan)自動駕駛框架(jia)》
提 綱
1、端到端閉環自動駕駛概述
2、基于語言控制的端到端閉環自動駕駛框架 LMDrive
3、64K 數據量的語言引導駕駛數據構建
4、基于語言引導的自動駕駛 Agent 性能評估
5、廣泛的閉環實驗驗證及未(wei)來研究(jiu)方(fang)向探(tan)討
直 播 信 息
直播時間：1月22日19:00
直播地點：智東西公(gong)開課知識(shi)店鋪
成果
論文標題《LMDrive: Closed-Loop End-to-End Driving with Large Language Models》
論文地址//arxiv.org/abs/2312.07488
代碼鏈接//github.com/opendilab/LMDrive
