
「AI新青年講座」由智東西公開(kai)課出品,致力(li)于邀請青年學者,主(zhu)講他(ta)們(men)在生成式AI、LLM、計(ji)算機視覺、機器學習等人工智能領域的最新重要研究成果。
AI新青年是加速人(ren)工(gong)智能(neng)(neng)前(qian)(qian)沿研究的(de)新生力量。AI新青年的(de)視(shi)頻講解和直(zhi)播(bo)答疑(yi),將(jiang)可以(yi)幫(bang)助(zhu)大家增進對人(ren)工(gong)智能(neng)(neng)前(qian)(qian)沿研究的(de)理解,相應領(ling)域(yu)的(de)專業知識也(ye)能(neng)(neng)夠(gou)得以(yi)積累加深。同(tong)時,通(tong)過與AI新青年的(de)直(zhi)接交流,大家在AI學習(xi)和應用AI的(de)過程中遇到的(de)問題,也(ye)能(neng)(neng)夠(gou)盡(jin)快解決(jue)。
7月起,AI 新青年講座(zuo)開(kai)辟推(tui)出「大(da)(da)型(xing)語言模型(xing)專(zhuan)場」。阿卜杜拉國王科技(ji)大(da)(da)學在(zai)讀博士(shi)(shi)朱(zhu)德堯、新加(jia)坡國立大(da)(da)學在(zai)讀博士(shi)(shi)薛(xue)復(fu)昭、美國威斯(si)康星(xing)大(da)(da)學麥迪(di)遜分(fen)校(xiao)在(zai)讀博士(shi)(shi)柳昊(hao)天和加(jia)州大(da)(da)學伯(bo)克利分(fen)校(xiao)人工智能實(shi)驗室(shi)(BAIR)在(zai)讀博士(shi)(shi)張天均將參與此次專(zhuan)場。
四(si)位 AI 新青年將(jiang)分別針對 MiniGPT-4、LLaVA、Gorilla,以及大型(xing)(xing)語言(yan)模型(xing)(xing)所面臨的 Token 危機進行直播講解(jie)。
近來,大型語言(yan)模型備受關注,ChatGPT 和 GPT-4 都展現了(le)非常令人吃驚的(de)(de)(de)能(neng)力,在聊天對話、數(shu)學(xue)推理(li)和代碼生成等方面尤(you)為顯著。但 LLM 依然(ran)受限于一個固定的(de)(de)(de)權重集內可存儲(chu)的(de)(de)(de)信息(xi)以及它(ta)們可使用(yong)一個靜態(tai)的(de)(de)(de)計(ji)算圖(computation graph)和有(you)限上下文所能(neng)計(ji)算的(de)(de)(de)東西(xi)。在通過 API 調用(yong)使用(yong)工(gong)具時,它(ta)們無法(fa)生成準確(que)的(de)(de)(de)輸(shu)入參數(shu),并且容易(yi)產生錯(cuo)誤的(de)(de)(de)API調用(yong)用(yong)法(fa)幻覺。
ToolFormer等文(wen)章為大(da)家展現了一(yi)個(ge)(ge)語言(yan)(yan)模(mo)型(xing)和工具互動的(de)范例,但其實(shi)用(yong)的(de)工具非常(chang)局限。來自加州大(da)學伯克利分校人工智(zhi)能實(shi)驗室(shi)(BAIR)和微軟研究院的(de)研究者們提出了一(yi)個(ge)(ge)和 1600+ API互動的(de)語言(yan)(yan)模(mo)型(xing):Gorilla。該模(mo)型(xing)基(ji)于 LLaMA 進行微調,能根(gen)據(ju)用(yong)戶輸入(ru)的(de)自然語言(yan)(yan)為用(yong)戶選擇(ze)合(he)適的(de) API 來執行對應任務。理論上(shang)講,這個(ge)(ge)模(mo)型(xing)可以根(gen)據(ju)用(yong)戶需求調用(yong)其它(ta)各種 AI 模(mo)型(xing),因(yin)此(ci) Gorilla 有望(wang)成為一(yi)個(ge)(ge)統御其它(ta) AI 的(de) AI 模(mo)型(xing)。
為了(le)評(ping)估模型(xing)的(de)能力,研究(jiu)者們還(huan)推出了(le) APIBench。這(zhe)是(shi)一個包含 HuggingFace、TorchHub 和(he)(he) TensorHub API 的(de)全(quan)面數(shu)據集(ji)。而 Gorilla 在 HuggingFace,Tensor Hub 和(he)(he) Torch Hub 上的(de)表現都(dou)超過了(le) GPT-4,在很(hen)大程度上也(ye)減少了(le)語言模型(xing)的(de)幻想,能更準確的(de)使(shi)用 API。
Gorilla://github.com/ShishirPatil/gorilla/
7月(yue)26日上午10點,Gorilla 一作、加(jia)州(zhou)大(da)學伯克利分校人(ren)工智能實驗室(BAIR)在讀博士張天均,將圍繞主題《Gorilla:鏈接(jie)海量API的(de)大(da)型(xing)(xing)語言(yan)模型(xing)(xing)》對 Gorilla 進行深度(du)講解。
第四講
主 題
《Gorilla:鏈(lian)接(jie)海量API的大型(xing)(xing)語言(yan)模型(xing)(xing)》
提 綱
1、LLM 與 API 交互的研究
2、LLM 調用 API 和 Service 的局限性
3、針對 API 調用任務微調的 LLaMA-7B 模型: Gorilla
4、在TorchHub、TensorHub 和 HuggingFace 上的應用表(biao)現
主 講 人
張天均,加州大學伯克利分校人工智(zhi)能(neng)實驗室(BAIR)在讀(du)博士;導師是joseph gonzalez教授;研究(jiu)方向(xiang)主要(yao)涉及(ji)強化(hua)學習以及(ji)強化(hua)學習在語言模(mo)(mo)型/多模(mo)(mo)態(tai)模(mo)(mo)型中的(de)應(ying)用;和sergey levine教授、pieter abbeel教授、denny zhou博士以及(ji)yuandong tian博士都有深(shen)度(du)合(he)作;曾在Meta AI Research和Google Brain實習,近期的(de)研究(jiu)主要(yao)集中于(yu)(yu)基(ji)于(yu)(yu)語言模(mo)(mo)型的(de)自動化(hua)。
直 播 時 間
7月26日10:00