
在5月14日剛(gang)剛(gang)結束的(de)GTC 2020發布會上,NVIDIA發布了(le)新(xin)一代GPU架構“Ampere(安培(pei))” ,并推(tui)出首(shou)款(kuan)基于Ampere架構的(de)GPU——NVIDIA A100 。相比上一代Volta架構V100 GPU,NVIDIA A100 GPU實現了(le)5大技術突(tu)破:
1、Ampere架構,也(ye)是A100的(de)核心,采用(yong)7nm工藝,包(bao)含540億個晶體管,面積達到826mm2,是目前最(zui)大的(de)7nm處理器;
2、第三代張量核心(Tensor Core),計算(suan)更(geng)(geng)加靈活、速度(du)更(geng)(geng)快(kuai)、使用更(geng)(geng)容易。其功能經過擴展后加入了(le)專為AI開發的全新 TF32 精度(du),無需更(geng)(geng)改代(dai)碼(ma),可將AI計算(suan)速度(du)提升(sheng)至上一代(dai)的20倍。此外,張量核現(xian)已支持FP64,為HPC應用提供了(le)比上一代(dai)多2.5倍的算(suan)力。
3、多實例GPU(MIG),可以將一個A100 GPU分(fen)割成(cheng)多達7個獨立(li)的(de)GPU實例,從而為不同任務提(ti)供靈(ling)活(huo)的(de)算力支持,并確(que)保GPU資(zi)源得到充分(fen)的(de)利用;
4、第三代NVLink互聯技術,使得GPU與GPU之間的(de)互(hu)聯帶寬達到(dao)600GB/s,是PCIe 4.0帶寬的(de)10倍,能(neng)夠大幅提(ti)升服務器(qi)的(de)擴(kuo)展性能(neng);
5、結構稀疏性,A100 中(zhong)的(de) Tensor Core 可為稀疏(shu)模(mo)型提(ti)供高達 2 倍的(de)性能提(ti)升。雖然稀疏(shu)化功能對 AI 推理(li)更為有(you)益,但它(ta)也(ye)可用于改善(shan)模(mo)型訓(xun)練的(de)性能。
通過以(yi)上不同技術維(wei)度的升級組合,NVIDIA A100 GPU實現了迄今為止(zhi)最大的性(xing)能飛躍(yue),訓(xun)練(lian)(lian)峰(feng)值算力(li)達到(dao)312 TFLOPS,AI推理峰(feng)值算力(li)達到(dao)1248 TOPS,將AI訓(xun)練(lian)(lian)和推理性(xing)能提高到(dao)上一代的20倍(bei)。Ampere架構的發(fa)布也(ye)引發(fa)了大家的廣泛關(guan)注。
為此,智東西(xi)公(gong)開課聯合NVIDIA推出(chu)的Ampere GPU架(jia)構(gou)公(gong)開課,獨(du)家(jia)解(jie)密NVIDIA新(xin)一代GPU架(jia)構(gou)“Ampere(安培)”。
5月(yue)26日晚(wan)7點,Ampere GPU架構(gou)公開課將正式開講,由NVIDIA中(zhong)國區(qu)工程及解決方案總監賴俊杰博士(shi)主(zhu)講,主(zhu)題為(wei)《面向(xiang)HPC及AI的巨(ju)大飛躍(yue),NVIDIA全新(xin)Ampere GPU架構(gou)深(shen)度解析》。
賴俊杰(jie)博士將圍繞Ampere架構、新一代(dai)Tensor Core、多實例(li)GPU、結構化稀疏性和第三(san)(san)代(dai)NVLink,NVSwitch技術,以(yi)及(ji)基于A100 GPU 打造的第三(san)(san)代(dai)AI系統DGX A100進行全(quan)方位(wei)解讀(du)。
課程時間
時間:5月26日晚7點
地點:智東(dong)西公開課小程序
課程詳情
主題:面向HPC及AI的巨大飛躍,NVIDIA全新Ampere GPU架構深度解析
提綱:
1、NVIDIA Ampere GPU 架構總覽
2、第三代Tensor Core,及TF32應用深入解析
3、多實例GPU (Multi-Instance GPU)技術及應用場景
4、通過結構化稀疏 (Structual Sparsity) 進一步加速神經網絡計算
5、第三代NVLink,NVSwitch 及 DGX A100解讀
講師:
賴俊杰博士(shi),現(xian)任NVIDIA中(zhong)(zhong)國區工(gong)程(cheng)及解決方案總監。賴博士(shi)在清華大學(xue)(xue)電子工(gong)程(cheng)系取(qu)得本科(ke)及碩士(shi)學(xue)(xue)位,于法國INRIA獲得博士(shi)學(xue)(xue)位。博士(shi)期間的(de)(de)(de)(de)(de)主要的(de)(de)(de)(de)(de)研(yan)究方向包括(kuo)GPU架構(gou)研(yan)究,及GPU性能(neng)分析(xi)(xi)模型。在并行程(cheng)序的(de)(de)(de)(de)(de)性能(neng)分析(xi)(xi),及性能(neng)優化領(ling)域有豐富(fu)的(de)(de)(de)(de)(de)經驗。現(xian)在工(gong)作(zuo)的(de)(de)(de)(de)(de)重點(dian)是帶(dai)領(ling)團隊協助NVIDIA的(de)(de)(de)(de)(de)關鍵(jian)用戶完(wan)成機器學(xue)(xue)習(xi)應(ying)用的(de)(de)(de)(de)(de)工(gong)程(cheng)落(luo)地(di),以及嘗試(shi)利用機器學(xue)(xue)習(xi)的(de)(de)(de)(de)(de)最新技術,去(qu)解決計算機視覺,語(yu)音,游(you)戲等行業(ye)應(ying)用中(zhong)(zhong)遇到的(de)(de)(de)(de)(de)實際問(wen)題。
報名方式
添(tian)加智東西公開課(ke)小(xiao)助手芒(mang)芒(mang)(ID:zhidxclass005)報名(ming),添(tian)加時請備注“姓名(ming)-公司/學校-職(zhi)位(wei)/專業”,因報名(ming)人(ren)數過多,優先(xian)通過備注者。