DeepSeek R1具(ju)有(you)強大的推(tui)理能(neng)力(li)，能(neng)夠通過(guo)多(duo)次推(tui)理和思考得出(chu)問題(ti)的最佳答案(an)。但其中每一步(bu)推(tui)理和思考都(dou)會(hui)消(xiao)耗大量的計算資源，進而提高了單次推(tui)理的算力(li)成本。如何縮減DeepSeek R1的推(tui)理算力(li)成本，降低私有(you)化部署門檻，是全行業共同面臨的難題(ti)。
今年(nian)3月，清程極智聯合(he)清華大學翟季(ji)冬教授團隊開源了大模型(xing)推(tui)理(li)(li)引(yin)(yin)擎赤(chi)兔(tu)（Chitu），率(lv)先實(shi)現了在非H卡設備運行原生FP8模型(xing)突破。實(shi)測數據顯示，使(shi)用赤(chi)兔(tu)引(yin)(yin)擎在H800集群上部(bu)署滿(man)血(xue)版DeepSeek R1，相比(bi)于(yu)vLLM部(bu)署方案，能夠(gou)在減(jian)少50%的(de)(de)GPU使(shi)用量的(de)(de)同時，將輸出速度提升3.15倍。這意味著通過(guo)赤(chi)兔(tu)推(tui)理(li)(li)引(yin)(yin)擎，企業可以通過(guo)更(geng)少的(de)(de)硬件資源，實(shi)現更(geng)高的(de)(de)性能，大幅(fu)降低推(tui)理(li)(li)模型(xing)的(de)(de)私(si)有化部(bu)署成本。
3月27日19點，智猩猩「DeepSeek大解讀」系列公開課第6期將開講，由清程極智聯合創始人唐適之博士主講，主題為《低成本DeepSeek R1推理挑戰與赤兔推理引擎實踐》。
本次公(gong)開(kai)(kai)課，唐(tang)適之博(bo)士首先(xian)會對(dui)DeepSeek R1與日益增長的算力需求進行分析，并探討(tao)有(you)限硬件資源下的大(da)模型推(tui)理(li)取舍之道。之后，唐(tang)適之博(bo)士還會深(shen)入講解(jie)開(kai)(kai)源大(da)模型推(tui)理(li)引擎(qing)“赤兔”如何降低DeepSeek R1推(tui)理(li)所需的硬件成本，尤(you)其是(shi)在更(geng)廣泛GPU上的FP8數據類(lei)型的推(tui)理(li)優(you)化實踐。
公開課內容
主題：低成本 DeepSeek R1 推理挑戰與赤兔推理引擎實踐
提綱：
1、DeepSeek R1 與日益增長的算力需求
2、有限硬件資源下的大模型推理取舍
3、“赤(chi)兔”方(fang)案(an)：更廣(guang)泛(fan) GPU 上的 FP8 推理優化
主講人
唐適之(zhi)，清(qing)程極(ji)智聯合創始人，清(qing)華大學(xue)計(ji)算(suan)(suan)機專業學(xue)士、博士，負(fu)責清(qing)程極(ji)智并行訓(xun)練(lian)、推理框架、算(suan)(suan)子優化等(deng)各類技術研(yan)發。唐適之(zhi)曾(ceng)獲全國(guo)信(xin)息學(xue)奧賽(sai) NOI 金(jin)牌，曾(ceng)為(wei)清(qing)華大學(xue)國(guo)際超(chao)算(suan)(suan)競賽(sai) ASC/ISC/SC 三冠(guan)團隊成員，主(zhu)要的學(xue)術研(yan)究領域包括編程語言、異構計(ji)算(suan)(suan)等(deng)，代表(biao)工作(zuo)為(wei) FreeTensor 編程框架。
直播時間
3月(yue)27日19:00
