「AI新青(qing)年(nian)講座」將邀請世界頂尖(jian)AI研(yan)(yan)究機構(gou)和(he)大學的科研(yan)(yan)新青(qing)年(nian)，主講他(ta)們在計(ji)算(suan)機視(shi)覺、機器學習等人工智能領域的最新重(zhong)要研(yan)(yan)究成果。

AI新(xin)青年(nian)(nian)是(shi)加速(su)人(ren)工(gong)智能前(qian)沿(yan)研究的(de)新(xin)生力量。AI新(xin)青年(nian)(nian)的(de)視頻講解(jie)和(he)直播答疑，將可(ke)以幫助大家增進對人(ren)工(gong)智能前(qian)沿(yan)研究的(de)理解(jie)，相(xiang)應(ying)領域的(de)專(zhuan)業知識(shi)也(ye)能夠得以積累加深。同(tong)時(shi)，通過與AI新(xin)青年(nian)(nian)的(de)直接交流，大家在AI學習和(he)應(ying)用AI的(de)過程(cheng)中遇到的(de)問題，也(ye)能夠盡快解(jie)決。

有興(xing)趣分享學術成果的朋友，可(ke)以與智東西公(gong)開(kai)課教研(yan)團(tuan)隊(dui)進(jin)行郵件（class@sanyasheying.cn）聯系。

擴展(zhan)深度(du)神經(jing)網絡已被證明在提(ti)高模型質量方面是有效(xiao)(xiao)的(de)(de)，同時它也帶來(lai)了(le)不斷增(zeng)長的(de)(de)訓練(lian)挑戰，包(bao)括(kuo)訓練(lian)效(xiao)(xiao)率(lv)、可編(bian)程(cheng)性和資源適應性。新加(jia)坡國(guo)立大學System Lab在讀博士史子(zi)驥(ji)在阿里云計算平臺事業部實習期間(jian)，提(ti)出了(le)一個(ge)針對巨型模型的(de)(de)通用且高效(xiao)(xiao)的(de)(de)分布式(shi)訓練(lian)框(kuang)架Whale。

Whale通(tong)過對不同并(bing)(bing)行化(hua)策略進行統(tong)一抽象、封裝，在一套分(fen)布(bu)式訓(xun)練(lian)框(kuang)架(jia)中支持多(duo)種并(bing)(bing)行策略，并(bing)(bing)進行顯存、計(ji)算、通(tong)信等(deng)全方(fang)位的(de)優(you)化(hua)，來提供(gong)易用、高效的(de)分(fen)布(bu)式訓(xun)練(lian)框(kuang)架(jia)。Whale也(ye)提供(gong)了簡潔易用的(de)接(jie)口，用戶(hu)只(zhi)需添加幾行代碼即可(ke)組合(he)各(ge)種混合(he)并(bing)(bing)行策略。

同(tong)(tong)時Whale還提供了(le)一種新穎的(de)基于硬件(jian)感知(zhi)的(de)自(zi)動化分布式(shi)并行策略，可(ke)以感知(zhi)不同(tong)(tong)硬件(jian)的(de)算力(li)、顯(xian)存等(deng)資(zi)源(yuan)，均衡不同(tong)(tong)硬件(jian)上的(de)計(ji)(ji)算量，最(zui)大化計(ji)(ji)算效(xiao)率。在(zai)具有 512 個 GPU 的(de)生產集群中，Whale成功訓練了(le)一個行業規模(mo)的(de)多模(mo)態模(mo)型M6，模(mo)型參數超過 10 萬億個 ，展示了(le)出色的(de)可(ke)擴展性(xing)和效(xiao)率。

8月3日晚7點，「AI新青(qing)年(nian)講座」第142講，邀請到新加坡國立(li)大(da)學System Lab在讀博士史子驥(ji)參(can)與，主講《利用(yong)自動化的(de)分(fen)布式(shi)混合并行策略高效訓練大(da)模型》。

講者
史(shi)子(zi)驥，新加坡國立大學(xue)System Lab在讀博士；師從李佳臨(lin)教授；研究方(fang)向為高性能(neng)計算和分(fen)布式機器學(xue)習，曾在AAAI/USENIX ATC發表論文，本科期間曾獲SC17超(chao)算競賽冠軍，目前(qian)在阿(a)里(li)云計算平臺事(shi)業(ye)部實習。

第142講

主 題
《利用(yong)自動化的(de)分布(bu)式混合并行策略高效訓練大模型(xing)》

提 綱
1、大模型訓練的難點
2、易用且支持多種并行策略的分布式訓練框架Whale
3、基于硬件感知的自動化并行策略及顯存、通訊優化
4、實操演示：通過幾行(xing)代碼實現(xian)分(fen)布式并行(xing)策略

直 播 信 息
直播時間：8月3日19:00
直播地點：智東西公開課知(zhi)識店鋪

成果

Whale
《Whale: Efficient Giant Model Training over Heterogeneous GPUs》

項目主頁
//zijishi.xyz/publication/whale/

開源地址
//github.com/alibaba/EasyParallelLibrary