智東西（公眾號：zhidxcom）
作者 | ZeR0
編輯 | 漠影
智東西5月14日報道，在5月13日的火山引擎AI創新巡展·上海站(zhan)活(huo)動上，火山引擎曬出大(da)模(mo)型全景圖，發布豆包(bao)(bao)·視(shi)頻生成模(mo)型Seedance 1.0 lite、豆包(bao)(bao)1.5·視(shi)覺深(shen)度思考(kao)模(mo)型，升(sheng)級豆包(bao)(bao)·音樂模(mo)型。同時，Data Agent正式(shi)亮相，國內(nei)首款AI原生IDE產品Trae接入豆包(bao)(bao)深(shen)度思考(kao)模(mo)型并升(sheng)級多個重(zhong)點功能。
目前，火山方舟(zhou)已(yi)覆蓋語言、深度思考、視覺理解(jie)、視覺、語音(yin)、GUI Agent等多類模型。
火(huo)山(shan)引擎副總裁張(zhang)鑫在會(hui)上(shang)談道，模型、算力、數據、安(an)全構成了AI時代(dai)的新基建，火(huo)山(shan)引擎同時對外提供這“四要(yao)素”：
模型方面，豆包大模型支撐了50多個內部(bu)真實場景(jing)、30多個行(xing)業外部(bu)企業共創，截至(zhi)4月份(fen)，日均tokens調用量(liang)超過(guo)12.7萬億(yi)。
算(suan)(suan)力(li)方面(mian)，火(huo)山引擎AI云原生提(ti)供了(le)強有力(li)的系(xi)統(tong)承載力(li)，包括充沛算(suan)(suan)力(li)、推(tui)理(li)層優化、系(xi)統(tong)調度能(neng)力(li)的乘積。
數(shu)(shu)據(ju)方(fang)面，數(shu)(shu)據(ju)飛輪2.0和Data Agent，讓用戶可(ke)以(yi)基于動態的多模態數(shu)(shu)據(ju)湖，以(yi)智能重塑數(shu)(shu)據(ju)關(guan)系。
安全(quan)(quan)方面，大(da)模型安全(quan)(quan)方案提供PCC私(si)密云計算平臺，可(ke)解(jie)決端(duan)云協同計算過程中的(de)數(shu)據泄露問題，并通過大(da)模型防火墻消除一系列(lie)攻擊(ji)隱患。
一、視頻生成模型：效果好、生成快、更便宜
新發布的豆包視(shi)頻生(sheng)(sheng)成(cheng)模型Seedance 1.0 lite，支持(chi)文生(sheng)(sheng)視(shi)頻、圖生(sheng)(sheng)視(shi)頻，視(shi)頻生(sheng)(sheng)成(cheng)時長支持(chi)5s、10s，分(fen)辨率提供480P、720P。
企業用(yong)(yong)(yong)戶可(ke)在(zai)火山方舟平臺使用(yong)(yong)(yong)該模型API，個人用(yong)(yong)(yong)戶也可(ke)在(zai)豆(dou)包App、即夢體驗(yan)。
作為豆包視(shi)頻生(sheng)成模(mo)型系列的小參數量版(ban)本，Seedance 1.0 lite模(mo)型實現(xian)了兩大(da)(da)突破(po)：影視(shi)級的視(shi)頻生(sheng)成質量、視(shi)頻生(sheng)成速度大(da)(da)幅提升，兼顧效果、速度、性價比。
（1）更精準的指令遵循：通過強大的語義理(li)解，可精(jing)細控制人物(wu)外貌(mao)氣質、衣著風格、表(biao)情動作等(deng)，并在多主體動作解析、嵌(qian)入(ru)式文本響(xiang)應(ying)、程度副詞和鏡(jing)頭(tou)切換響(xiang)應(ying)方(fang)面具(ju)有(you)優勢。
（2）更豐富的影視級運鏡：支持(chi)360度環繞、航拍、變焦、平移、跟隨(sui)、手持(chi)等多(duo)種鏡頭語言，具備細膩高清的基礎畫質和影視(shi)級美(mei)感。
（3）更合理的運動交互：分析動作時序與(yu)空間(jian)關系，提升(sheng)人物(wu)、物(wu)體間(jian)自然流(liu)暢的交互動作，運動軌跡、受力反饋(kui)更(geng)加契合現實(shi)規律(lv)。
Seedance 1.0 lite模(mo)型可(ke)廣(guang)(guang)泛應用于電商廣(guang)(guang)告、娛樂特(te)效(xiao)、影(ying)視創作(zuo)、動(dong)態壁紙等(deng)(deng)場(chang)景。例如(ru)在電商領(ling)域，該模(mo)型可(ke)幫助商家快速生成高質(zhi)量的營銷(xiao)視頻素材，精(jing)準匹配產品展(zhan)示、活動(dong)推廣(guang)(guang)等(deng)(deng)場(chang)景，降低制(zhi)作(zuo)成本與周期。
二、豆包1.5·視覺深度思考模型：在60項評測中取得38項第一
新發布的豆包(bao)1.5·視(shi)覺深度(du)思考模(mo)型(xing)（Doubao-1.5-thinking-vision-pro），激(ji)活參數僅20B，但具備強大的多(duo)模(mo)態理解和推(tui)理能(neng)力，在60個公(gong)開評測基準中有38個取(qu)得SOTA表現(xian)，在視(shi)頻(pin)理解、視(shi)覺推(tui)理、GUI Agent能(neng)力等方面均處于(yu)第一梯隊。該模(mo)型(xing)已在火山方舟上(shang)線。
在視頻(pin)理(li)解方面，豆包1.5·視覺(jue)深度思考模型(xing)支持(chi)動態幀(zhen)率采樣，視頻(pin)時序(xu)定位能力顯著增強，結(jie)合向量搜索(suo)，可(ke)精準定位視頻(pin)中(zhong)與文本(ben)描(miao)述相(xiang)對應的片段(duan)。
同時，該模型(xing)(xing)新增視頻深(shen)度思考能力，學(xue)習(xi)了數萬億多(duo)模態標記數據，掌握(wo)廣泛視覺知識(shi)，結合強(qiang)化(hua)學(xue)習(xi)，使視覺推理能力大幅(fu)提升(sheng)。例如，在復雜的圖形(xing)推理題(ti)中，模型(xing)(xing)提出假設，進行(xing)(xing)推理檢(jian)驗(yan)，當(dang)發(fa)現和假設不一樣(yang)時，還能進行(xing)(xing)不斷反思，提出新的猜測，直到得(de)出正確答(da)案。
豆包1.5·視覺深(shen)度思考(kao)模型還新增了GUI Agent能(neng)力，基于強大(da)的GUI定位性能(neng)，可在PC端(duan)、手機端(duan)等不同環境中完成復雜交互任(ren)務，例如可對新開(kai)發的App功(gong)能(neng)進行自動化檢測。該功(gong)能(neng)已(yi)應用于字節跳動多款App產品的開(kai)發測試(shi)中。
去年，火山引(yin)擎推出(chu)了豆包·音(yin)樂模(mo)(mo)型(xing)。基于(yu)該(gai)模(mo)(mo)型(xing)，用戶(hu)僅通過(guo)一張圖、一句話，就能創(chuang)作10多種不同風格的高品質(zhi)音(yin)樂。此(ci)次大會上(shang)，豆包·音(yin)樂模(mo)(mo)型(xing)升(sheng)級，不僅支持英(ying)文歌曲(qu)創(chuang)作，還可以通過(guo)理(li)解視頻，自動適(shi)配純音(yin)樂BGM。
豆包(bao)·音樂模(mo)型已全量上線，個人和企業(ye)用戶可(ke)在海綿(mian)音樂、火山引擎官網體驗。
三、火山方舟：免登錄，低價推理，3分鐘搞定DeepSeek滿血版部署
火(huo)山(shan)(shan)引擎旗下的一站式大模型服務平臺火(huo)山(shan)(shan)方舟，提供了語言、視覺(jue)、語音(yin)等模型的精調、推理(li)、評測等功能與服務，通過豐富(fu)的插件生態和安全可(ke)信的方案，讓企業及(ji)開(kai)發者(zhe)的AI應用更易(yi)落地。
開發者(zhe)可在(zai)免登(deng)錄的(de)情況下，極速體驗模(mo)(mo)型(xing)能力(li)。對于要長(chang)期使用的(de)實名制用戶，火山方舟簡(jian)化了模(mo)(mo)型(xing)接(jie)(jie)入(ru)鏈路，無需(xu)多頁面跳(tiao)轉(zhuan)，2分鐘即可完(wan)成模(mo)(mo)型(xing)接(jie)(jie)入(ru)。在(zai)安心推(tui)理(li)體驗模(mo)(mo)式(shi)下，火山方舟不會主動消(xiao)耗付費資(zi)源，并(bing)支持(chi)按(an)模(mo)(mo)型(xing)分配tokens。
火(huo)山(shan)方(fang)(fang)舟推(tui)(tui)出了兩種(zhong)離線批量推(tui)(tui)理(li)方(fang)(fang)案。其(qi)一(yi)，從存儲(chu)中(zhong)批量讀取數(shu)據，以進行(xing)離線推(tui)(tui)理(li)；其(qi)二，直接調用(yong)類似于(yu)在線聊天的模型接口，對批量請求的動態負(fu)載實(shi)施(shi)精準控制，幾(ji)分(fen)鐘(zhong)便可完成開發(fa)適配。
針對(dui)每個用(yong)戶，火(huo)山方舟提(ti)供每日不少于100億個token的批量推(tui)理(li)(li)額度(du)，并提(ti)供更低價格(ge)。相比在線推(tui)理(li)(li)，批量推(tui)理(li)(li)的價格(ge)降(jiang)低了50%；如果使用(yong)前綴緩存，命(ming)中部(bu)分價格(ge)再降(jiang)40%；存儲費用(yong)為0元。
火(huo)山方舟還提供超低延遲的(de)(de)小時級推理(li)(li)保(bao)(bao)障包。用戶可依據業務實際流(liu)量曲(qu)線來精細地規劃所需資源，無需為業務低谷期(qi)付費，從而(er)節(jie)約(yue)成本節(jie)約(yue)。例如，Deepseek-R1的(de)(de)推理(li)(li)保(bao)(bao)障包能穩定提供20ms的(de)(de)每token延遲，豆包1.5 Pro的(de)(de)推理(li)(li)保(bao)(bao)障包可將推理(li)(li)延遲降低到15ms。
極致的(de)(de)(de)性能是充(chong)沛(pei)算力(li)、深度技術優化、系統(tong)(tong)調度能力(li)的(de)(de)(de)乘積。火山方舟用充(chong)沛(pei)的(de)(de)(de)資源和先進的(de)(de)(de)系統(tong)(tong)工程能力(li)，提供(gong)高并發算力(li)保障和極致的(de)(de)(de)服務(wu)體(ti)驗(yan)。在(zai)多方測評中(zhong)，火山方舟Deepseek-R1服務(wu)始終保持(chi)最低(di)的(de)(de)(de)延遲表現。
這得益于火山方舟多(duo)年來在(zai)算(suan)子(zi)層、框架層和調度層開(kai)展的深度優(you)(you)(you)化(hua)(hua)工(gong)作(zuo)：通過Prefill Decode分離(li)式(shi)部(bu)署（即PD分離(li)）、存算(suan)分離(li)、kernel優(you)(you)(you)化(hua)(hua)、秒(miao)速(su)擴容等技(ji)術，在(zai)異構硬件協同優(you)(you)(you)化(hua)(hua)與通信(xin)開(kai)銷中實現(xian)極致性能，確保方舟推理既快(kuai)速(su)又穩定。
有模型定制(zhi)、部署及推(tui)理需求(qiu)的(de)企業客戶，可(ke)以使用(yong)火山(shan)引(yin)(yin)擎機(ji)器學習平臺(tai)。該平臺(tai)與方舟(zhou)共享相同的(de)大(da)模型推(tui)理引(yin)(yin)擎，具(ju)備業內領先的(de)生產(chan)級(ji)可(ke)用(yong)的(de)PD分離、分布式KV Cache能力。
火山方舟(zhou)機(ji)器學(xue)習平(ping)臺突破了傳統部(bu)署的復雜(za)流程，通過預置(zhi)模(mo)型(xing)和鏡像以及(ji)PD分離部(bu)署方式，僅需(xu)1- 3分鐘(zhong)即可(ke)一(yi)鍵啟(qi)動預置(zhi)模(mo)型(xing)服務(wu)，完成(cheng)DeepSeek推理集群的部(bu)署。
憑借高性能(neng)(neng)文(wen)本推理(li)框架xLLM以及分布式系統優(you)化，機(ji)器(qi)學習(xi)平臺(tai)(tai)將TPOT（吐字間隔）優(you)化至20ms。 在(zai)使(shi)用兩(liang)臺(tai)(tai)8卡H20的(de)情況下，xLLM推理(li)性能(neng)(neng)在(zai)DeepSeek-R1 671B模型上，相較于開源SGLang方案實現了4.5倍(bei)的(de)吞(tun)吐量（tokens/s）提升，同(tong)時(shi)每token延遲降低至1/3。
基于(yu)自研DiT推理(li)框架veFuser，該平臺可在15秒(miao)內生成一個5秒(miao)480P的視(shi)頻，相比行業平均(jun)水平，推理(li)效率提升4.5倍。
火山(shan)方(fang)(fang)舟還(huan)提供全周期安(an)全可信方(fang)(fang)案，通過鏈路全加密、數據高保密、環(huan)境(jing)強隔離、操作可審(shen)計四個安(an)全模(mo)塊(kuai)，確(que)保會話無痕。
火山方(fang)舟應(ying)用(yong)實驗室為客戶和(he)開(kai)發(fa)者(zhe)提(ti)供(gong)完(wan)整的(de)(de)場(chang)景(jing)化解決方(fang)案(an)和(he)完(wan)整的(de)(de)源(yuan)代碼：面向應(ying)用(yong)插件、多模(mo)(mo)態、終端等場(chang)景(jing)，提(ti)供(gong)超過(guo)20個(ge)開(kai)源(yuan)應(ying)用(yong)；面向具有專業開(kai)發(fa)能力的(de)(de)企業開(kai)發(fa)者(zhe)，提(ti)供(gong)大模(mo)(mo)型應(ying)用(yong)開(kai)發(fa)所(suo)需的(de)(de)工具集(ji)和(he)流程集(ji)，支持快速開(kai)發(fa)和(he)定制匹(pi)配業務場(chang)景(jing)的(de)(de)大模(mo)(mo)型相關(guan)應(ying)用(yong)；支持超過(guo)60個(ge)大模(mo)(mo)型產品，用(yong)戶可輕松(song)將方(fang)舟大模(mo)(mo)型集(ji)成到主流軟件。
火山方(fang)舟(zhou)應(ying)用實(shi)驗室廣場還有非常多有趣的(de)應(ying)用，比如幫(bang)助網店(dian)運營的(de)智能(neng)導購(gou)、豆包(bao)模型與DeepSeek協作的(de)長(chang)期記憶方(fang)案(an)、整合多模態(tai)和硬(ying)件(jian)能(neng)力的(de)實(shi)時對話AI硬(ying)件(jian)、提供標準化解題鏈路的(de)教師分身等。
四、Data Agent助攻企業挖掘數據資產，新版Trae接入豆包深度思考模型
Data Agent是火山引擎推(tui)出的企(qi)業(ye)數據(ju)(ju)全場景智能(neng)(neng)體。它就(jiu)像一個企(qi)業(ye)級AI數字專(zhuan)家(jia)，具備(bei)主動思考、洞察、分(fen)析、行(xing)動能(neng)(neng)力，可深(shen)入幫助企(qi)業(ye)挖掘數據(ju)(ju)資產價值(zhi)，功能(neng)(neng)覆蓋(gai)數據(ju)(ju)分(fen)析、智能(neng)(neng)營(ying)銷等關(guan)鍵領域。
在數據分析上，Data Agent能融合企業(ye)內結(jie)構(gou)化與非結(jie)構(gou)化數據，結(jie)合聯網知識(shi)，精準(zhun)理解(jie)業(ye)務需求，快速生成專業(ye)深度研究報告。
通過自(zi)動(dong)化制定分(fen)析方(fang)案、追(zhui)溯(su)指標波(bo)動(dong)、運用自(zi)助分(fen)析工具及搭建預警系統，Data Agent實現數據(ju)(ju)處理(li)全流程智能化，可將復雜(za)報表生(sheng)成的時間從2天縮(suo)短至(zhi)30分(fen)鐘(zhong)，顯著提(ti)升數據(ju)(ju)獲取與決策效率(lv)。
在智能營銷領域，Data Agent實現從策略制(zhi)定(ding)到執行(xing)優化(hua)的全(quan)鏈路閉環管理，高效完(wan)成(cheng)人群(qun)圈選與策略拆(chai)解(jie)，基于個(ge)性化(hua)引擎實現精準(zhun)營銷。
此外，其智(zhi)能(neng)會話(hua)輔助(zhu)與(yu)(yu)自(zi)動復盤優(you)化功能(neng)，可不斷提(ti)升(sheng)轉化率與(yu)(yu)客戶滿意度(du)，動態迭代營銷策略。
打(da)造高智(zhi)商的(de)智(zhi)能體，不是一次性搭建的(de)靜態結果，而是數據、模型、工程、業務動態耦合的(de)持(chi)(chi)續迭代過程。因此，智(zhi)能體還需要(yao)持(chi)(chi)續的(de)全(quan)生命(ming)周(zhou)期管理(li)。HiAgent發(fa)布的(de)Agent Devops體系，打(da)通了(le)從(cong)開(kai)發(fa)、運營調優到用(yong)戶使用(yong)的(de)全(quan)鏈(lian)路。
通(tong)過統(tong)一的(de)AI交互入口，企(qi)(qi)業(ye)員(yuan)工(gong)可以(yi)更好地使(shi)用(yong)更多(duo)的(de)智能(neng)體(ti)。比如(ru)企(qi)(qi)業(ye)的(de)管(guan)理員(yuan)可登錄HiAgent，選(xuan)擇(ze)要(yao)發布的(de)智能(neng)體(ti)。發布后，員(yuan)工(gong)可根據意圖和(he)(he)需(xu)要(yao)，喚醒和(he)(he)使(shi)用(yong)不(bu)同的(de)助手，如(ru)任務助手、差旅助手、報(bao)銷助手、會議助手等。隨(sui)著員(yuan)工(gong)更多(duo)使(shi)用(yong)智能(neng)體(ti)，企(qi)(qi)業(ye)也能(neng)夠(gou)積(ji)累(lei)越(yue)來越(yue)多(duo)的(de)數據和(he)(he)用(yong)戶的(de)行為偏好，讓AI越(yue)來越(yue)懂企(qi)(qi)業(ye)，越(yue)用(yong)越(yue)聰明。
最新版本的(de)Agent Devops近(jin)期全(quan)(quan)面適配MCP協議，提供了更(geng)好的(de)開放(fang)性，也集成了火山引(yin)擎安全(quan)(quan)防火墻，提供了更(geng)好的(de)安全(quan)(quan)加固能力。此外，火山引(yin)擎還(huan)基于自身以及(ji)客戶、合(he)作伙(huo)伴共同沉淀的(de)知識(shi)與實踐，打造了一(yi)套HiAgent應用樣板間(jian)，以幫助客戶快速搭建(jian)好貼(tie)合(he)業(ye)務屬性的(de)智能體。
為幫助(zhu)開發(fa)者更便捷地利(li)用AI提升開發(fa)效(xiao)率(lv)，國內(nei)首款(kuan)AI原生IDE產品Trae也帶來多(duo)個(ge)重點功能升級，例如(ru)統(tong)一的AI對話(hua)面板（所有交互僅需一個(ge)對話(hua)框）、支持自定(ding)義@Agent（構建專屬AI團隊(dui)）、新增聯網搜索 #Web和文(wen)檔 #Doc 的上下文(wen)理(li)解類(lei)型（AI執行需求更準確(que)高效(xiao)）、通過MCP讓AI主動調用外部工具等。
目前(qian)，Trae已配置豆包1.5·深(shen)度思考(kao)模型(xing)（Doubao-1.5-thinking-pro），基于模型(xing)主動深(shen)度思考(kao)和20毫秒(miao)極低(di)延遲(chi)，讓代碼生(sheng)成的質量更好、效率更高。
Trae團(tuan)隊(dui)預測未來(lai)會(hui)有(you)兩個主要(yao)趨勢：一是(shi)復雜度(du)上(shang)，隨著模型(xing)能力(li)增(zeng)強(qiang)，AI編(bian)程(cheng)(cheng)會(hui)從復雜度(du)較低(di)的(de)代碼片段生成(cheng)，往(wang)復雜度(du)更高(gao)的(de)軟件生成(cheng)、項目生成(cheng)方向(xiang)演進；二(er)是(shi)交互邏輯上(shang)，AI編(bian)程(cheng)(cheng)會(hui)從原先在IDE等工(gong)(gong)具里嵌入AI方式，逐漸(jian)往(wang)AI使(shi)用各種工(gong)(gong)具來(lai)實現軟件各種各樣(yang)的(de)開發需求。
后續，Trae將逐步開放(fang)智能體的(de)一些(xie)底層(ceng)能力，支持開發者(zhe)做更深層(ceng)次的(de)自定義(yi)專屬(shu)智能體，并將提供(gong)更好的(de)人與(yu)AI協(xie)作機制，來(lai)激(ji)發人的(de)創作，同時發揮AI的(de)生(sheng)產力。
五、豆包大模型產業落地加速，為游戲、醫藥行業拓界增效
豆包大模型已在汽車(che)、智能終端、互聯網、金(jin)融、教(jiao)育科研(yan)(yan)、零售消費(fei)等行業廣泛(fan)落地，覆蓋4億(yi)終端設備、八成主流(liu)車(che)企、70%系統重(zhong)要性銀(yin)行和(he)數十(shi)家證券基金(jin)公司、近七成的(de)C9頂級高校和(he)100多家科研(yan)(yan)院所。
在(zai)游(you)戲行(xing)業，巨人網絡正在(zai)借助大模型能(neng)力重塑游(you)戲體(ti)驗和玩(wan)(wan)法(fa)創新(xin)。通(tong)過火(huo)山方舟接(jie)入豆包大模型及DeepSeek，巨人網絡今年3月在(zai)旗(qi)下《太(tai)空殺》中推出Al原生游(you)戲玩(wan)(wan)法(fa)“內鬼(gui)挑戰(zhan)”，通(tong)過接(jie)入火(huo)山方舟DeepSeek-R1及豆包大模型的(de)深(shen)度(du)思考等能(neng)力，打(da)造AI玩(wan)(wan)家，與真(zhen)實(shi)玩(wan)(wan)家進行(xing)實(shi)時策略(lve)對(dui)抗，重新(xin)定義了社交推理游(you)戲的(de)智能(neng)邊(bian)界。
同時(shi)，《原始征途》也接入(ru)大模(mo)型能(neng)力打造AI智能(neng)NPC“小師妹”，在游戲策略指導、情感陪伴等方面提(ti)供更智能(neng)、更人(ren)性化的(de)交互體驗，顯著提(ti)升了(le)玩家粘性。
此外，借助火(huo)山(shan)引擎機器學習平(ping)臺所提供的大模型(xing)訓練及資源(yuan)保障(zhang)，巨(ju)人網絡亦推進(jin)了自研(yan)視(shi)頻生(sheng)成大模型(xing)、游(you)戲音效生(sheng)成大模型(xing)的迭代優(you)化(hua)。
在(zai)醫(yi)療行業，禮來制(zhi)藥(yao)(yao)搭建了專(zhuan)屬(shu)AI應用開發平臺(tai)，支(zhi)撐從藥(yao)(yao)物(wu)研(yan)發到疾病診療的全(quan)場景創新。
通過(guo)可視(shi)化(hua)的拖拉(la)拽工作流編(bian)排，禮來制藥(yao)搭建(jian)了HCP Chatbot、地(di)區經(jing)理(li)輔導(dao)報告等智能體(ti)，在(zai)學術溝(gou)通、銷(xiao)售培訓、疾病教育等多個場景中形成(cheng)應(ying)用，實現了企業AI資產的沉(chen)淀與持續化(hua)運營(ying)。
六、全鏈路、全場景AI云原生推理套件，幫助企業加速AI轉型與升級
隨著DeepSeek熱度高漲，火山引擎(qing)(qing)MaaS流量也(ye)迎(ying)來了(le)新一輪(lun)增(zeng)長。當前火山引擎(qing)(qing)MaaS服務(wu)所服務(wu)的(de)Deepseek和豆包大(da)模型，支持了(le)每(mei)(mei)天峰值(zhi)千卡級別的(de)GPU彈性能力、500萬初(chu)始(shi)TPM（每(mei)(mei)分鐘(zhong)token數）、超過3萬的(de)RPM（每(mei)(mei)分鐘(zhong)請(qing)求數），日均Tokens使用量達到(dao)12.7萬億。
火山引擎(qing)AI云原生(sheng)推理(li)套件相關(guan)產品為這些能力提供(gong)了支(zhi)持(chi)。
在第三方測評排(pai)行榜(bang)上，火(huo)山引擎(qing)DeepSeek服務在首token、推(tui)理速度、生成速度上均表現最優，在同樣硬件資源上運(yun)行DeepSeek-R1滿血版，相比開源SGLang，可(ke)將TPS吞吐(tu)提升5倍，GPU使用成本(ben)降(jiang)低80%。
對于不(bu)同的模型，火山引擎(qing)提供(gong)了多樣化的接(jie)入(ru)和使用方式，包(bao)括方舟MaaS平臺(tai)、機器學習平臺(tai)、AI云原生(sheng)推理套(tao)件。
面向大模(mo)型推(tui)理的(de)AI云(yun)原(yuan)生推(tui)理套(tao)件ServingKit，能夠幫助企業實現(xian)從模(mo)型部(bu)署、推(tui)理到運維的(de)全鏈(lian)路(lu)提效。
在(zai)部(bu)(bu)署階段(duan)，鏡像下載和(he)加(jia)載的加(jia)速服務，使得(de)首次(ci)部(bu)(bu)署和(he)擴容階段(duan)能快速拉起業(ye)務進(jin)行業(ye)務發展。Onion鏡像權重(zhong)加(jia)速引(yin)擎可實現DeepSeek-R1滿血版模型109秒下載、40秒緩存預熱、13秒權重(zhong)加(jia)載。
在推理階段，通過GPU算子加速器、APIG AI網關(guan)、VKE編排調度、KVCache緩存服務(wu)等能(neng)(neng)力升(sheng)級，來優(you)化(hua)推理性(xing)能(neng)(neng)。其中算子優(you)化(hua)后，R1滿血版(ban)的TPS提升(sheng)了(le)(le)2.4倍；智(zhi)能(neng)(neng)路(lu)由可以(yi)TTFT降(jiang)低60%；KVCache在長(chang)文(wen)本推理場景，KVCache命中率相比GPU Local提升(sheng)了(le)(le)10倍。
在運(yun)維階段，觀(guan)測平臺APM和(he)VMP全面(mian)升級，支(zhi)持推理(li)業務(wu)無侵(qin)入(ru)式透明埋點，從(cong)資源層到推理(li)業務(wu)層實現全鏈路、全場景(jing)的(de)觀(guan)測指(zhi)標覆蓋。
火山引(yin)擎(qing)與英特(te)爾(er)合作，通過“云實(shi)例+鏡像(xiang)”的方式，提供一(yi)個(ge)低(di)門檻、高(gao)效(xiao)率的大模型(xing)開發(fa)入(ru)場(chang)券，并將(jiang)持續提升大模型(xing)部署效(xiao)率、降低(di)算力成本(ben)。
結語：從模型矩陣到智能體工具，推動AI應用落地普及
根據(ju)火山引擎副總裁張鑫的分享，企(qi)業(ye)(ye)應(ying)(ying)在AI落地過程中(zhong)(zhong)走(zou)好業(ye)(ye)務價值、模型基建(jian)、智(zhi)能(neng)體應(ying)(ying)用三段旅程。業(ye)(ye)務價值可(ke)分階段實(shi)現，首先是達成(cheng)戰略共識（-1→0），然后(hou)選(xuan)擇(ze)技術成(cheng)熟度(du)高、數據(ju)就緒度(du)高、業(ye)(ye)務價值明顯(xian)的場景進行場景驗證（0→1），在此過程中(zhong)(zhong)逐漸構建(jian)自己(ji)的AI能(neng)力(li)中(zhong)(zhong)心和(he)沉淀企(qi)業(ye)(ye)知(zhi)識庫(ku)，為后(hou)續實(shi)現擴量復制（1→N）、價值重構（N→∞）打好基礎。
在整段旅程中(zhong)，企業要構建的(de)核(he)心(xin)競爭力，來(lai)源于結合AI做到極致的(de)產(chan)品體(ti)驗設計(ji)，沉淀企業獨(du)有的(de)領(ling)域知(zhi)識(shi)庫甚至專業模(mo)型，打造面(mian)向(xiang)AI的(de)人才組織和文化。
技術落(luo)地的過程遠不止引入(ru)一個大模(mo)型那么(me)簡單，而是包(bao)含多個不同維度，涉(she)及(ji)模(mo)型選(xuan)擇、效(xiao)果評估、數據知(zhi)識工程、算力準備、開發平臺搭建、模(mo)型接(jie)入(ru)、效(xiao)果評估、模(mo)型基建的落(luo)地旅(lv)程、數據知(zhi)識工程、算力準備、開發平臺搭建、模(mo)型接(jie)入(ru)、效(xiao)果調優、性能安全測試等環節。
火(huo)山引擎計劃以更(geng)全面的(de)模型矩陣、更(geng)豐富的(de)智能(neng)體工(gong)具，幫助企(qi)業打(da)通從業務到(dao)智能(neng)體的(de)應用鏈路，進一步推動AI普及，希望與更(geng)多企(qi)業一起將AI科技落地的(de)方式從以前(qian)的(de)手工(gong)編(bian)寫“Hello ?World”代碼變成更(geng)輕松的(de)對Agent Say “Hi”。
