大(da)模(mo)(mo)型(xing)(xing)時代已經來臨(lin)。11月，智東西公開課視覺AI教(jiao)研組策(ce)劃推出(chu)了「大(da)模(mo)(mo)型(xing)(xing)系列(lie)直播課」，聚焦最具(ju)代表性的(de)大(da)規(gui)模(mo)(mo)預訓練模(mo)(mo)型(xing)(xing)，講(jiang)解大(da)模(mo)(mo)型(xing)(xing)的(de)構建技(ji)巧和開發工具(ju)，挖掘大(da)模(mo)(mo)型(xing)(xing)的(de)應用案例。
聯匯科技(ji)首席科學家趙天成(cheng)博士、一流科技(ji) LiBai項目負責(ze)人程(cheng)鵬、潞晨(chen)科技(ji)創始人尤洋(yang)教(jiao)授，以及北京面壁智能聯合創始人&CTO曾國洋(yang)四位主講(jiang)人分別(bie)進行了主講(jiang)。
12月起，智東西公(gong)(gong)開(kai)課聯合達摩院自然語言智能實驗室(shi)全(quan)新策劃(hua)「阿(a)里(li)達摩院大模型(xing)公(gong)(gong)開(kai)課」。此次公(gong)(gong)開(kai)課開(kai)設兩(liang)講(jiang)，阿(a)里(li)巴(ba)(ba)巴(ba)(ba)達摩院高級算法工程師李(li)晨(chen)亮(liang)、NLP高級算法專家嚴明將分(fen)別進行(xing)直播講(jiang)解。
12月14日晚7點，阿里巴巴達(da)(da)摩院高級(ji)算法工(gong)程師李晨亮(liang)將(jiang)主講《達(da)(da)摩院通義 AliceMind 預訓練大模(mo)型(xing)在(zai) AIGC 文(wen)(wen)本(ben)創(chuang)作(zuo)的(de)探索》。李晨亮(liang)將(jiang)對英文(wen)(wen)SOTA生(sheng)成預訓練模(mo)型(xing)PALM、中文(wen)(wen)社區首個超大規模(mo)生(sheng)成模(mo)型(xing)PLUG，和GPT-3的(de)中文(wen)(wen)復(fu)現版本(ben)三個大模(mo)型(xing)，以及它們在(zai)AIGC?文(wen)(wen)本(ben)創(chuang)作(zuo)領域的(de)應用進行深度講解。
PALM 提出時是英文SOTA生成預(yu)訓練模(mo)型(xing)，結合自(zi)編碼和自(zi)回歸的預(yu)訓練，在(zai)英文CNN/Daily Mail、Giagaword等數(shu)據集(ji)上超過BART、T5等模(mo)型(xing)。而最新的PALM 2.0，在(zai)中(zhong)文社區的生成預(yu)訓練模(mo)型(xing)中(zhong)也(ye)達(da)到(dao)了SOTA。
PLUG提出時是(shi)當(dang)時中文(wen)社區最(zui)大規模的(de)純文(wen)本預訓練語言模型，集語言理解與生成(cheng)能力(li)于一身，在(zai)語言理解（NLU）任務(wu)上(shang)(shang)，以80.179分(fen)刷新了當(dang)時Chinese?GLUE分(fen)類(lei)榜單的(de)新記錄排名(ming)第一；在(zai)語言生成(cheng)（NLG）任務(wu)上(shang)(shang)，在(zai)多項業(ye)務(wu)數據上(shang)(shang)較State-of-the-art平均(jun)提升8%以上(shang)(shang)。除此之外，PLUG在(zai)zero-shot生成(cheng)的(de)表現上(shang)(shang)，也(ye)較此前的(de)模型均(jun)有明(ming)顯(xian)的(de)優勢。
中(zhong)(zhong)(zhong)文(wen)(wen)(wen)(wen)(wen)GPT-3是(shi)對2020年OpenAI提出GPT-3的(de)(de)中(zhong)(zhong)(zhong)文(wen)(wen)(wen)(wen)(wen)版本。其(qi)主(zhu)要(yao)思想是(shi)通過大(da)幅度(du)增大(da)模型規模至(zhi)1750億(yi)，同(tong)時利(li)用(yong)無監(jian)(jian)督數據和language?model預訓練(lian)(lian)，使模型具(ju)備(bei)強大(da)的(de)(de)zero-shot生(sheng)成(cheng)(cheng)能(neng)力。因為(wei)GPT-3主(zhu)要(yao)支持英文(wen)(wen)(wen)(wen)(wen)，對于中(zhong)(zhong)(zhong)文(wen)(wen)(wen)(wen)(wen)效果較差，同(tong)時訪問使用(yong)需要(yao)申請，因此達摩(mo)院推出了中(zhong)(zhong)(zhong)文(wen)(wen)(wen)(wen)(wen)GPT-3，并創新性的(de)(de)結合無監(jian)(jian)督數據和有監(jian)(jian)督prompt數據，訓練(lian)(lian)了不同(tong)版本規模的(de)(de)中(zhong)(zhong)(zhong)文(wen)(wen)(wen)(wen)(wen)GPT-3，為(wei)中(zhong)(zhong)(zhong)文(wen)(wen)(wen)(wen)(wen)社區帶來更好用(yong)的(de)(de)中(zhong)(zhong)(zhong)文(wen)(wen)(wen)(wen)(wen)生(sheng)成(cheng)(cheng)大(da)模型，目前模型具(ju)備(bei)多種(zhong)生(sheng)成(cheng)(cheng)能(neng)力，包括(kuo)：代碼(ma)生(sheng)成(cheng)(cheng)，小說續(xu)寫，作文(wen)(wen)(wen)(wen)(wen)生(sheng)成(cheng)(cheng)、論文(wen)(wen)(wen)(wen)(wen)生(sheng)成(cheng)(cheng)等。
12月15日晚7點，阿里(li)巴(ba)巴(ba)達摩院(yuan)NLP高級算法專家嚴明(ming)將(jiang)以《達摩院(yuan)通義 mPLUG 多模(mo)態預(yu)訓練技術演進(jin)及應(ying)用實踐》為主題，對mPLUG相(xiang)關(guan)技術及應(ying)用案例進(jin)行全面講解。
預訓練語言模(mo)(mo)(mo)(mo)型(xing)技術極大的(de)推動了NLP領域(yu)的(de)發展，隨(sui)著(zhu)多(duo)模(mo)(mo)(mo)(mo)態(tai)信(xin)息越來越普及(ji)，多(duo)模(mo)(mo)(mo)(mo)態(tai)預訓練技術與應(ying)用也(ye)逐漸(jian)備受關注，近些年也(ye)取得(de)了顯著(zhu)的(de)成績。達摩院借鑒人腦模(mo)(mo)(mo)(mo)塊化設計(ji)，創新性的(de)構建(jian)了模(mo)(mo)(mo)(mo)塊化多(duo)模(mo)(mo)(mo)(mo)態(tai)大模(mo)(mo)(mo)(mo)型(xing)基座mPLUG，采用模(mo)(mo)(mo)(mo)塊化結構統一多(duo)模(mo)(mo)(mo)(mo)態(tai)理解和生成，解決跨(kua)模(mo)(mo)(mo)(mo)態(tai)信(xin)息融合時由多(duo)模(mo)(mo)(mo)(mo)態(tai)信(xin)息不對稱性導致的(de)兩個重要問題：信(xin)息淹(yan)沒和低效。
在(zai)多(duo)個多(duo)模態下游重(zhong)點(dian)任務中，mPLUG均取得了SOTA，并(bing)完成了VQA首超人類突破，相關技(ji)術(shu)已在(zai)Github和達摩(mo)院(yuan)ModelScope進(jin)行了開(kai)源開(kai)放。同時，mPLUG相關技(ji)術(shu)也已服務于阿里內部多(duo)個核心業(ye)務場(chang)景，包括主(zhu)搜、拍立淘、閑魚、阿里媽媽、數(shu)字人、業(ye)務中臺、店小蜜等。
「阿里達摩(mo)院大模型(xing)公(gong)開課」的直播(bo)將以視頻直播(bo)形(xing)式進行。每一講(jiang)均由主講(jiang)與問答兩(liang)部分(fen)組成，其中主講(jiang)40分(fen)鐘(zhong)(zhong)，問答為20分(fen)鐘(zhong)(zhong)。
