智猩(xing)猩(xing)定位硬科技講解與服(fu)務平臺，提供公(gong)開課、在(zai)線研討會、講座、峰會等線上線下產品(pin)。
「AI新(xin)青(qing)年講座」由(you)智(zhi)猩猩出品，致力于(yu)邀請青(qing)年學者(zhe)，主講他們在(zai)生成(cheng)式(shi)AI、LLM、計(ji)算機(ji)視覺、機(ji)器學習(xi)等人工智(zhi)能(neng)領(ling)域的最新(xin)重要研(yan)究成(cheng)果。
AI新(xin)(xin)青(qing)年(nian)是加速人工(gong)智能前沿研(yan)究(jiu)的(de)(de)新(xin)(xin)生力(li)量。AI新(xin)(xin)青(qing)年(nian)的(de)(de)視頻講解和直播答疑(yi)，將可以幫助大(da)家增(zeng)進對人工(gong)智能前沿研(yan)究(jiu)的(de)(de)理解，相(xiang)應領域的(de)(de)專業(ye)知識(shi)也能夠得以積累加深。同時，通過與AI新(xin)(xin)青(qing)年(nian)的(de)(de)直接交流，大(da)家在(zai)AI學習和應用AI的(de)(de)過程(cheng)中(zhong)遇到的(de)(de)問題(ti)，也能夠盡快解決。
「AI新青年講座」現已完結233講；有興趣分享學術(shu)成果(guo)的朋友，可以與智猩猩教研產品(pin)團隊進行郵件（class@sanyasheying.cn）聯系(xi)。
大語言(yan)模型在自然語言(yan)處理領域的卓越表現已引(yin)起廣泛矚目，然而其(qi)對(dui)計算資源和硬件設施的高要求成(cheng)為了(le)廣泛應用的一大挑戰。
針對這(zhe)一(yi)難題，來自莫(mo)納什大(da)學、北航、商湯的(de)研(yan)究(jiu)者創新性地提(ti)出(chu)了一(yi)種名為 QLLM 的(de)高(gao)效(xiao)、精準的(de)低比特量化(hua)方法。QLLM 通(tong)過引(yin)入自適應通(tong)道(dao)重組(zu)機(ji)制，巧妙地將離群值所攜帶(dai)的(de)能量重新分布至其他通(tong)道(dao)，有(you)效(xiao)緩解了這(zhe)些極(ji)端(duan)值對量化(hua)動態范圍的(de)影響。
此外，為補償(chang)量(liang)化(hua)過程中的(de)性(xing)能損(sun)失，研究者設計了一種僅(jin)涉及學(xue)習少(shao)量(liang)低秩權重(zhong)的(de)低成本微調方法(fa)。大量(liang)實驗表明，QLLM 不(bu)僅(jin)在(zai)性(xing)能上顯著優(you)于(yu)現(xian)(xian)有量(liang)化(hua)方法(fa)，而且在(zai)訓練效率上實現(xian)(xian)了大幅提升(sheng)。QLLM 現(xian)(xian)已(yi)被 ICLR 2024 收錄為 Poster。
2月(yue)26日晚7點，「AI新青年講(jiang)座」第234講(jiang)邀請到(dao) QLLM 一作(zuo)、莫納什大學 ZIP Lab 在讀博士劉璟參與，主講(jiang)《大語言模型的高效低比特量化》。
講者
劉(liu)璟(jing)，莫納(na)什大學(xue)ZIPLab在讀博士；師從(cong)莊博涵和(he)蔡(cai)劍飛教授(shou)，主要研究方向為(wei) Efficient AI，在 NeurIPS、ICLR、CVPR、ICCV、ECCV、AAAI、TPAMI 等(deng)頂級會(hui)議和(he)期刊上發(fa)表(biao)多篇論文，Google Scholar 引用1200+。
第234講
主 題
《大語言模型的高效低比特(te)量(liang)化》
提 綱
1、大語言模型低比特量化難點
2、精確且高效的后訓練量化方法 QLLM
3、低成本微調方法
4、在(zai) LLaMA-1/2 上的量(liang)化性(xing)能評估(gu)
直 播 信 息
直播時間：2月26日19:00
直播地點：智東(dong)西公開課知識(shi)店鋪
成果
論文標題：《QLLM: Accurate and Efficient Low-Bitwidth Quantization for Large Language Models》
論文地址：//arxiv.org/pdf/2310.08041.pdf
開源(yuan)代碼：//github.com/ModelTC/QLLM
