12月起，智東西公開(kai)課聯合達(da)(da)摩(mo)院自然語言(yan)智能實驗室全新(xin)策(ce)劃「阿(a)(a)里達(da)(da)摩(mo)院大(da)模型公開(kai)課」。此次公開(kai)課開(kai)設兩講，阿(a)(a)里巴(ba)巴(ba)達(da)(da)摩(mo)院高級算法工程師李晨亮、NLP高級算法專家嚴明將分別進行(xing)直播講解。
12月14日晚7點，阿里巴巴達(da)摩(mo)院高級算法工程師李(li)晨(chen)亮(liang)將主講(jiang)《達(da)摩(mo)院通(tong)義 AliceMind 預(yu)訓練(lian)(lian)大模(mo)(mo)(mo)型(xing)(xing)在 AIGC 文(wen)本創作(zuo)的(de)探索》。李(li)晨(chen)亮(liang)將對英文(wen)SOTA生成預(yu)訓練(lian)(lian)模(mo)(mo)(mo)型(xing)(xing)PALM、中文(wen)社區首個(ge)超大規模(mo)(mo)(mo)生成模(mo)(mo)(mo)型(xing)(xing)PLUG，和GPT-3的(de)中文(wen)復現版本三(san)個(ge)大模(mo)(mo)(mo)型(xing)(xing)，以及它們在AIGC?文(wen)本創作(zuo)領域的(de)應用進行深度講(jiang)解(jie)。
PALM 提出時是英(ying)文SOTA生(sheng)成預訓練(lian)(lian)模型(xing)(xing)，結合自編碼和自回歸的(de)預訓練(lian)(lian)，在(zai)英(ying)文CNN/Daily Mail、Giagaword等(deng)數據集(ji)上超過(guo)BART、T5等(deng)模型(xing)(xing)。而(er)最新的(de)PALM 2.0，在(zai)中(zhong)文社區的(de)生(sheng)成預訓練(lian)(lian)模型(xing)(xing)中(zhong)也達到了SOTA。
PLUG提出時是當時中文(wen)社(she)區最(zui)大規模的(de)純文(wen)本預訓練語言模型，集語言理解(jie)與生(sheng)成(cheng)能力于(yu)一身，在(zai)語言理解(jie)（NLU）任(ren)務上，以80.179分刷新(xin)了當時Chinese?GLUE分類榜(bang)單的(de)新(xin)記錄排名第一；在(zai)語言生(sheng)成(cheng)（NLG）任(ren)務上，在(zai)多項業務數據上較State-of-the-art平(ping)均(jun)提升8%以上。除此之外(wai)，PLUG在(zai)zero-shot生(sheng)成(cheng)的(de)表現上，也較此前的(de)模型均(jun)有明顯(xian)的(de)優勢(shi)。
中文(wen)(wen)(wen)GPT-3是(shi)對2020年OpenAI提(ti)出GPT-3的中文(wen)(wen)(wen)版(ban)本。其主(zhu)要思想是(shi)通(tong)過(guo)大(da)(da)幅度增大(da)(da)模(mo)型(xing)規(gui)模(mo)至1750億，同(tong)時利用(yong)無監督數據(ju)和(he)language?model預訓練(lian)，使(shi)模(mo)型(xing)具(ju)備(bei)強大(da)(da)的zero-shot生成能(neng)(neng)力(li)。因為GPT-3主(zhu)要支持英文(wen)(wen)(wen)，對于中文(wen)(wen)(wen)效果較差，同(tong)時訪問(wen)使(shi)用(yong)需要申請，因此(ci)達摩院推出了中文(wen)(wen)(wen)GPT-3，并(bing)創(chuang)新性的結合無監督數據(ju)和(he)有監督prompt數據(ju)，訓練(lian)了不同(tong)版(ban)本規(gui)模(mo)的中文(wen)(wen)(wen)GPT-3，為中文(wen)(wen)(wen)社區(qu)帶來更好用(yong)的中文(wen)(wen)(wen)生成大(da)(da)模(mo)型(xing)，目前模(mo)型(xing)具(ju)備(bei)多種(zhong)生成能(neng)(neng)力(li)，包括：代碼生成，小說續寫，作(zuo)文(wen)(wen)(wen)生成、論文(wen)(wen)(wen)生成等。
「阿里達摩院(yuan)大模型公開課」第1講的直播(bo)將以視頻直播(bo)形式進(jin)行(xing)。直播(bo)由主講與問答(da)兩(liang)部(bu)分組成(cheng)，其中主講40分鐘，問答(da)為20分鐘。
第1講
主 題?
《達摩院通(tong)義 AliceMind 預訓練大(da)模(mo)型在 AIGC 文(wen)本創作的探索》
提 綱
1、AIGC 文本創作的研究現狀與應用前景
2、英文 SOTA 生成預訓練模型 PALM 及全新中文 PALM 2.0
3、超大規模中文理解和生成聯合模型 PLUG
4、中文 GPT-3 的(de)零樣(yang)本生成(cheng)能力探究
主 講 人
李晨亮，阿里巴巴達摩院高級(ji)算法工程師；2019 年碩士畢業于北京(jing)郵電(dian)大學；主要研(yan)究方向為自(zi)然(ran)語言處理，包括預訓練語言模(mo)型(xing)、文本生(sheng)成、多模(mo)態(tai)等(deng)；曾經(jing)在相(xiang)關領(ling)域(yu)頂(ding)級(ji)會議如 ACL、EMNLP、AAAI 等(deng)發表(biao)十多篇(pian)相(xiang)關論文；參與多個(ge)國(guo)際評測(ce)和(he)比賽，在生(sheng)成、結構化(hua)、多模(mo)態(tai)的多個(ge)相(xiang)關評測(ce)榜(bang)單上(shang)達到第一，并在多模(mo)態(tai) VQA 榜(bang)單上(shang)首次超越人類水平。
直 播 時 間
12月14日19:00-20:00
