「自動駕(jia)駛新青(qing)(qing)年講(jiang)座」由智猩猩企劃(hua)，致力(li)于(yu)邀請全(quan)球知(zhi)名(ming)高校、頂尖(jian)研究機構(gou)以及優(you)秀企業的新青(qing)(qing)年，主(zhu)講(jiang)在(zai)環境感(gan)知(zhi)、精準定位、決策規劃(hua)、控制執行等(deng)自動駕(jia)駛關鍵技術(shu)上的最新研究成(cheng)果(guo)和開(kai)發實踐。
「自動駕駛新青(qing)年(nian)講(jiang)座」目前(qian)已完結31講(jiang)。有興趣分享的(de)朋友(you)，可以與智猩猩教(jiao)研團隊進行郵(you)件（class@sanyasheying.cn）聯(lian)系
在(zai)傳(chuan)統(tong)的(de)(de)自動駕駛系統(tong)中(zhong)，往往需要復雜的(de)(de)規(gui)則和獎勵函數設計(ji)，而(er)且受(shou)限(xian)于數據量和采樣效率，處理罕(han)見事(shi)件是一大挑戰。此外(wai)，由于神經網絡的(de)(de)黑盒特性(xing)，現有基于學習的(de)(de)自動駕駛系統(tong)缺(que)乏良好的(de)(de)可解釋性(xing)。
針(zhen)對此問題，來自清華大(da)學和(he)香港大(da)學的(de)(de)研究(jiu)(jiu)人(ren)(ren)(ren)員共同提出(chu)的(de)(de)一種新型(xing)類人(ren)(ren)(ren)智(zhi)駕(jia)系(xi)統 LanguageMPC，該系(xi)統將大(da)語言模(mo)型(xing)（LLM）和(he)模(mo)型(xing)預(yu)測(ce)控(kong)制(zhi)(zhi)（MPC）相(xiang)結(jie)合(he)(he)(he)，利用 LLM 像人(ren)(ren)(ren)一樣思考的(de)(de)能力，將人(ren)(ren)(ren)類常識和(he)推理能力作為(wei)自動駕(jia)駛系(xi)統決(jue)(jue)(jue)策的(de)(de)指導。同時，基于模(mo)型(xing)預(yu)測(ce)控(kong)制(zhi)(zhi)算法研究(jiu)(jiu)員們還開發了(le)將 LLM 給(gei)出(chu)的(de)(de)高(gao)層決(jue)(jue)(jue)策轉化(hua)為(wei)具體駕(jia)駛行為(wei)的(de)(de)方法，將高(gao)層決(jue)(jue)(jue)策與(yu)底(di)層控(kong)制(zhi)(zhi)器無縫(feng)結(jie)合(he)(he)(he)，可(ke)與(yu)當前各自動駕(jia)駛大(da)廠的(de)(de) MPC 框(kuang)架完美結(jie)合(he)(he)(he)，無縫(feng)銜接。
LanguageMPC 的核心技術(shu)包括專用于駕(jia)(jia)駛場景的思維鏈框架(jia)和高(gao)層(ceng)決策(ce)與模(mo)(mo)型預(yu)測控制(zhi)銜接。其中，思維鏈框架(jia)通過(guo)設計(ji)初始(shi) prompt 和多種(zhong)工具(ju)，指(zhi)導 LLM 依次完成對(dui)周車的意(yi)圖判(pan)斷和注(zhu)意(yi)力分配、判(pan)斷自車所處情(qing)景、給出駕(jia)(jia)駛動(dong)作指(zhi)引(yin)等任(ren)務。而高(gao)層(ceng)決策(ce)與模(mo)(mo)型預(yu)測控制(zhi)銜接則(ze)是通過(guo)將 LLM 的決策(ce)轉化為可操(cao)作的駕(jia)(jia)駛行(xing)為。
12月22日晚6點，「自動駕駛新青年講座」第32講邀請到 LanguageMPC 一作、清華大學的沙昊參與，主講《LanguageMPC：以大語言模型為核心的自動駕駛決策和控制系統》。
講者
沙(sha)昊，清華大學在讀本科生；研究(jiu)方向包括2D-3D視覺、自動駕駛、大語言模型等。
第32講
主 題
《LanguageMPC：以大語(yu)言模型為核心(xin)的自動(dong)駕駛決(jue)策和控制系統》
提 綱
1、自動駕駛場景的 LLM 專用思維鏈框架
2、基于 LLM 高層決策指導底層控制器
3、在定量指標上的性能體現
4、協調多輛(liang)汽(qi)車(che)等復雜任務中的應用
直 播 信 息
直播時間：12月22日18:00
直播地點：智(zhi)猩猩知識店鋪
成果
論文標題：《LanguageMPC:Large Language Models as Decision?Makers for Autonomous Driving》
論文地址：//arxiv.org/pdf/2310.03026.pdf
