今年9月起，智東西(xi)公(gong)開課品牌全新(xin)升(sheng)級為智猩(xing)猩(xing)。智猩(xing)猩(xing)定(ding)位(wei)硬(ying)科技講解與服務平臺，提供公(gong)開課、在線(xian)研討會(hui)、講座、峰(feng)會(hui)等線(xian)上線(xian)下產品。
「AI新青(qing)年講座」由智猩(xing)猩(xing)出品(pin)，致力(li)于邀請(qing)青(qing)年學者，主講他(ta)們在生成(cheng)式(shi)AI、LLM、計算機(ji)視覺(jue)、機(ji)器學習(xi)等人工智能領域的最新重要研究成(cheng)果。
AI新(xin)(xin)青年(nian)是加速人工智(zhi)能前沿研究(jiu)的(de)(de)新(xin)(xin)生力量。AI新(xin)(xin)青年(nian)的(de)(de)視頻講(jiang)解和直播答(da)疑，將可以(yi)幫(bang)助(zhu)大(da)(da)家增進對人工智(zhi)能前沿研究(jiu)的(de)(de)理解，相應領域的(de)(de)專業知識(shi)也(ye)能夠得(de)以(yi)積累加深。同時，通(tong)過(guo)(guo)與AI新(xin)(xin)青年(nian)的(de)(de)直接交流(liu)，大(da)(da)家在AI學習(xi)和應用AI的(de)(de)過(guo)(guo)程中遇(yu)到的(de)(de)問題，也(ye)能夠盡(jin)快解決。
「AI新青年講座」現已完結(jie)230講；有(you)興趣分享學術成果的(de)朋(peng)友，可以(yi)與智(zhi)猩(xing)猩(xing)教研產品(pin)團隊進(jin)行郵件（class@sanyasheying.cn）聯系。
近(jin)來，多模(mo)(mo)態(tai)大語(yu)言模(mo)(mo)型已(yi)經取得了令人振奮的(de)成(cheng)果。然而(er)，現(xian)有多模(mo)(mo)態(tai)大語(yu)言模(mo)(mo)型仍主要集中在對輸入端進行多模(mo)(mo)態(tai)理解，而(er)輸出端仍受限于文本內(nei)容。相(xiang)較之下(xia)，人類(lei)在溝通時(shi)具備理解和感知各(ge)種模(mo)(mo)態(tai)的(de)能(neng)力(li)，并能(neng)夠以(yi)靈(ling)活(huo)的(de)方式輸出各(ge)類(lei)模(mo)(mo)態(tai)的(de)回復。因此，構建能(neng)夠接受和傳遞任何模(mo)(mo)態(tai)內(nei)容的(de)系(xi)統，是實現(xian)類(lei)人水平的(de)人工智能(neng)中至關重要的(de)一(yi)步。
為了實(shi)現這一(yi)(yi)(yi)目標，來自新加(jia)坡國立大(da)學(xue) NExT++ 實(shi)驗室的(de)(de)研究者(zhe)提(ti)出了一(yi)(yi)(yi)種端到端的(de)(de)通用(yong)的(de)(de)任(ren)意到任(ren)意多(duo)模(mo)(mo)態大(da)語言(yan)模(mo)(mo)型系(xi)統，即(ji) NExT-GPT。通過(guo)引入一(yi)(yi)(yi)個輕量級對齊網絡，將一(yi)(yi)(yi)種大(da)語言(yan)模(mo)(mo)型與多(duo)模(mo)(mo)態適配器(qi)和下游擴散解碼器(qi)連接起來，使(shi) NExT-GPT 能(neng)夠感知文本(ben)、圖像、視頻和音頻，并靈活地生成任(ren)意模(mo)(mo)態的(de)(de)輸(shu)出。
此外，研究者還提出了(le)(le)基于(yu)模態切(qie)換的指令(ling)微(wei)調（Modality-switching Instruction-tuning，MosIT），并構建了(le)(le)一個(ge)基于(yu) MosIT 的高(gao)質量(liang)數(shu)據集。最終，實現了(le)(le)復雜的跨模態語(yu)義(yi)理(li)解(jie)和(he)內(nei)容生成的能力。
12月14日晚19點，「AI新青年講座」第231講邀請到 NExT-GPT 一作、新加坡國立大學 NExT++ 實驗室在讀博士吳勝瓊參與，主講《NExT-GPT：端到端通用多模態大語言模型》。
講者
吳勝瓊，新加(jia)坡(po)國立大(da)學(xue)(xue)在讀博(bo)士；導師為(wei) Chua Tat-seng 教授；研(yan)究(jiu)方向為(wei)自(zi)然(ran)語言(yan)處(chu)理(li)、多(duo)模態(tai)學(xue)(xue)習(xi)以(yi)及大(da)模型；目前在自(zi)然(ran)語言(yan)處(chu)理(li)、多(duo)模態(tai)學(xue)(xue)習(xi)以(yi)及機器學(xue)(xue)習(xi)等頂(ding)級會議上發表了(le)多(duo)篇 CCF A 類論文，如NeurIPS、ACL、ACM MM、AAAI、IJCAI；其中(zhong)(zhong) “NExT-GPT”獲得(de)了(le)全球(qiu) AI 社區廣泛的(de)關注和認可(ke)，所開源的(de)代碼和模型獲得(de)了(le)超過(guo)2千星(xing)標；曾獲得(de)新加(jia)坡(po)立大(da)學(xue)(xue)校長獎學(xue)(xue)金(jin)、新加(jia)坡(po)立大(da)學(xue)(xue)研(yan)究(jiu)成就獎、國家獎學(xue)(xue)金(jin)（中(zhong)(zhong)國）、華(hua)為(wei)獎學(xue)(xue)金(jin)、優秀碩士畢業生(sheng)等。
第231講
主 題
《NExT-GPT：端到端通用多模(mo)態大(da)語言(yan)模(mo)型》
提 綱
1、多模態大語言模型的發展
2、模態自由的全能型多模態大語言模型 NExT-GPT
3、基于模態切換的指令微調技術
4、復(fu)雜的跨模態理解和內容生成(cheng)
直 播 信 息
直播時間：12月14日19:00
直(zhi)播(bo)地點：智東西(xi)公開課(ke)知(zhi)識店鋪(pu)
成果
論文標題：《NExT-GPT: Any-to-Any Multimodal LLM》
論文地址：//arxiv.org/abs/2309.05519
開源代碼：//github.com/NExT-GPT/NExT-GPT
