智東西（公眾號：zhidxcom）
編輯 | 心緣
智東西4月19日報道，今日，阿里巴巴達摩院發布中文社區最大規模預訓練語言模型PLUG，其參數規模達270億。接下來，PLUG將擴大參數規模至2000億級，并進一步提升文本生成質量。
與PLUG發布同步，達摩院宣布近期將開源阿里巴巴深度語言模型體系大部分重要模型。
PLUG全名為(wei)Pre-training for Language Understanding and Generation，集語言理解與生成(cheng)能力(li)于一身，在小(xiao)說創(chuang)作、詩歌生成(cheng)、智能問答等長文本生成(cheng)領域表(biao)現突出(chu)。
該語言模(mo)(mo)型(xing)的(de)目標是通過超(chao)大模(mo)(mo)型(xing)的(de)能(neng)力，大幅提升中文(wen)NLP各類(lei)任務的(de)表現(xian)(xian)，取得超(chao)越人類(lei)表現(xian)(xian)的(de)性能(neng)。
發布后，PLUG刷新了中文語言理解評測基準CLUE分類榜單歷史紀錄。
自去年(nian)OpenAI發(fa)布(bu)超大(da)規模(mo)預訓(xun)練語言模(mo)型GPT-3引(yin)發(fa)全(quan)球熱議后，中文領域同類模(mo)型的訓(xun)練進(jin)程(cheng)備受關注。
與GPT-3類似，阿(a)里達摩(mo)院本次發布(bu)的PLUG有望廣泛(fan)應用于(yu)文本生成(cheng)領域，成(cheng)為“萬能寫作神器”。
更(geng)重要(yao)的(de)是，此類(lei)超大模(mo)型擁有極強的(de)通用(yong)性，被認為(wei)或(huo)將成為(wei)AI時(shi)代的(de)新型基礎設施之一(yi)。
相較GPT-3的改進之處(chu)在于，PLUG設計(ji)了(le)一個簡(jian)潔的模(mo)型(xing)(xing)框架，集成了(le)達摩(mo)院自(zi)研的語言理(li)解及語言生成雙模(mo)型(xing)(xing)，并(bing)通過構建輸入文(wen)本雙向理(li)解能力(li)，顯著提升了(le)輸出文(wen)本的相關性。
在語言理解任務上，PLUG以80.614分刷新了CLUE分類榜單紀錄；在語言生成任務上，PLUG多項應用數據較業內最優水平提升了8%以上。
▲4月19日(ri)，PLUG刷(shua)新CLUE分類(lei)榜單紀錄，排名僅(jin)次(ci)于“人類(lei)”
據悉，PLUG采用了1TB以上高質量中文文本訓練數據，涵蓋新聞、小說、詩歌、問答等廣泛類型及領域，其模型訓練依托了阿里云EFLOPS高性能AI計算集群。
在(zai)超大(da)規模(mo)(mo)(mo)預(yu)訓(xun)練模(mo)(mo)(mo)型領域，除發布(bu)(bu)以中文為(wei)核心的(de)(de)PLUG外(wai)，阿里達(da)摩院、阿里云(yun)計(ji)算平臺團隊還聯合智源研究(jiu)院、清華大(da)學(xue)發布(bu)(bu)了(le)面向認知的(de)(de)超大(da)規模(mo)(mo)(mo)新型預(yu)訓(xun)練模(mo)(mo)(mo)型“文匯(hui)”，以及聯合清華大(da)學(xue)發布(bu)(bu)了(le)超大(da)規模(mo)(mo)(mo)多模(mo)(mo)(mo)態預(yu)訓(xun)練模(mo)(mo)(mo)型“M6”。
阿里達摩院(yuan)語(yu)言技術實驗(yan)室負責(ze)人司(si)羅(luo)稱(cheng)：“達摩院(yuan)NLP團隊將進(jin)一步攻克(ke)自然語(yu)言處理領域科(ke)研難(nan)題(ti)，完(wan)善(shan)中(zhong)文及跨語(yu)言人工(gong)智能基(ji)礎設施，讓AI沒(mei)有難(nan)懂的語(yu)言，并探索通用(yong)人工(gong)智能之路。”
