「大(da)型(xing)(xing)語言模型(xing)(xing)技(ji)術(shu)公開(kai)課」由智東西(xi)公開(kai)課教研(yan)組全新出品，將(jiang)持續邀請 LLM 領(ling)域的技(ji)術(shu)大(da)牛(niu)和科研(yan)人員，對開(kai)源的大(da)模型(xing)(xing)語言模型(xing)(xing)及其背后的技(ji)術(shu)細節(jie)以(yi)視頻直播形式進行(xing)深(shen)入講(jiang)解(jie)。
在這(zhe)一季，潞(lu)晨科(ke)技(ji)技(ji)術 VP 柳泓(hong)鑫、新加坡國(guo)立大學(xue)在讀博(bo)士張傲、香港科(ke)技(ji)大學(xue)在讀博(bo)士刁詩哲和騰訊 AI LAB 高級研(yan)究員宋林四位主講(jiang)人，將先后針對(dui) ColossalChat、VPGTrans、LMFlow，以及 GPT4Tools 這(zhe)四個開源項目(mu)帶來(lai)講(jiang)解和答(da)疑。
5月29日(ri)晚7點，新加坡國立(li)大學在(zai)讀(du)博(bo)士張傲將帶來(lai)「大型語言(yan)模(mo)型技術(shu)公開(kai)課」第(di)二(er)講(jiang)的(de)直(zhi)播，講(jiang)解的(de)主題(ti)為《10%成本(ben)定制類 GPT-4 多模(mo)態對話模(mo)型》。
GPT-4、BLIP-2、Flamingo 等多模(mo)(mo)態（對(dui)話）大模(mo)(mo)型的(de)出(chu)現(xian)，將大語(yu)言模(mo)(mo)型的(de)強(qiang)大能力擴(kuo)展到多模(mo)(mo)態輸(shu)入，實現(xian)了強(qiang)大的(de)多模(mo)(mo)態語(yu)義理解。然而，訓練(lian)一個(ge)多模(mo)(mo)態對(dui)話模(mo)(mo)型往(wang)(wang)往(wang)(wang)需要成百上(shang)千(qian)塊 GPU、以及(ji)很長時間和上(shang)億的(de)數據。
針對多模(mo)(mo)態（對話(hua)）大模(mo)(mo)型，來自新(xin)加坡(po)國立大學、清華(hua)大學的(de)研究者們開(kai)源(yuan)了一個 VPGTrans 框架，可以(yi)將已(yi)有的(de) BLIP-2 OPT-6.7B 模(mo)(mo)型的(de)訓練開(kai)銷(xiao)由 17901 元縮減(jian)到(dao) 1673 元，且模(mo)(mo)型效果相仿(fang)或更好。
同時，在近期新放出(chu)的語言模(mo)型(xing) LLaMA 和 Vicuna 上，研究(jiu)者們(men)也對(dui) VPGTrans 進行(xing)了驗證 ，構建并(bing)開源(yuan)了 VL-LLaMA 和 VL-Vicuna 模(mo)型(xing)。其中，VL-Vicuna 模(mo)型(xing)可以進行(xing)高質量的多模(mo)態對(dui)話。
在這一(yi)講，張傲首(shou)先會對(dui)新(xin)一(yi)代的多(duo)模態(tai)大(da)模型(xing)(xing)進行梳理(li)(li)，之后深度講解(jie)類 GPT4 多(duo)模態(tai)模型(xing)(xing)構(gou)建框架 VPGTrans 及其(qi)原理(li)(li)。最后，他也會對(dui) VPGTrans 的兩(liang)個應用(yong)實例：開源 VL-LLaMA 和 VL-Vicuna 進行解(jie)讀。
第二講
主 題
《10%成本定制類 GPT-4 多模態對話模型》
提 綱
1、新一代多模態大模型概述
2、類 GPT4 多模態模型構建框架 VPGTrans
3、VPGTrans重點實驗解析
4、VPGTrans應(ying)用實例(li)：開源 VL-LLaMA 和 VL-Vicuna
主 講 人
張傲，新加坡(po)國立大學在讀博士；研究(jiu)方(fang)向為(wei)多(duo)模(mo)態(tai)學習，導師為(wei)Chua Tat-Seng；曾在 ICCV、ECCV、EMNLP 等(deng)頂會發表(biao)(biao)多(duo)篇論文(wen)；代表(biao)(biao)工(gong)作有超大規(gui)模(mo)場景圖生成(cheng)方(fang)法 IETrans (ECCV 2022 Oral)，多(duo)模(mo)態(tai)提(ti)示學習方(fang)法 colorful prompt tuning (CPT)。
直 播 時 間
5月(yue)29日19:00
