智東西（公眾號：zhidxcom）
作者 | 三北
編輯 | 漠影
智東西8月16日報道(dao)，過去半(ban)年，越(yue)來(lai)越(yue)多的行業已經接入(ru)了大模型。
如(ru)果將大(da)(da)模型(xing)比作一(yi)道“佳肴(yao)大(da)(da)餐”，那么大(da)(da)模型(xing)平臺(tai)就是供大(da)(da)廚(chu)烹飪的“廚(chu)房”。菜好(hao)不好(hao)吃，廚(chu)房的作用(yong)至關(guan)重要。當下，越來越多的“xx行業首(shou)個大(da)(da)模型(xing)”誕生，大(da)(da)模型(xing)行業落地(di)進入效(xiao)果驗證的深水區(qu)，對大(da)(da)模型(xing)平臺(tai)也提(ti)出了更高要求。
在與上百家客戶磨合調研之后，百度智能云千帆大模型平臺近期迎來了最新升級，在模型庫、提示詞庫等方面實現迭代。
千帆大模型平臺是一個覆蓋從數據準備到模型訓練、評估優化、測試服務、落地部署等全流程的企業級一站式開發環境和工具鏈，據稱已有超15萬企業申請試用，上百家企業與之深度接觸。
隨著千帆(fan)大模(mo)型平臺(tai)擴大開放(fang)范圍，智東西第一時(shi)間對其進行了(le)試用體驗，并通過對話百度智能云(yun)千帆(fan)大模(mo)型平臺(tai)的(de)相關專家，對其最(zui)新功能迭代，以(yi)及迭代背后的(de)思路和產業洞察進行了(le)深入探(tan)討。
一、引入Llama 2等33個大模型，模型推理成本最多可降50%
在很多人的印象中，千帆大模型平臺主要是支持百度文心大模型的調用和部署。但登入千帆大模型平臺的操作臺，我們發現，“模型倉庫”中有很多可選項，多個第三方模型可以進行直接調用、部署，無需等待申請。
▲千帆(fan)大(da)模型平臺支持直(zhi)接調用(yong)第(di)三方大(da)模型
千帆的工程師稱，目前，千帆大模型平臺除百度自研的文心大模型外，還支持Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33個大模型，成為國內擁有大模型最多的平臺。接入的模型經過千帆平臺二次性能增強，模型推理成本可降低50%。
企業和開發者調用第三方模型時為什么要使用千帆平臺？這位(wei)工程師告(gao)訴智(zhi)東西，接入(ru)是(shi)簡單的(de)(de)動作，企業通過Llama 2等模型的(de)(de)官網就可以實現，但接入(ru)不(bu)是(shi)目的(de)(de)，關(guan)鍵是(shi)千帆(fan)平(ping)臺(tai)能為用戶帶(dai)來(lai)更多的(de)(de)價值(zhi)。
據稱(cheng)，千帆大模(mo)型(xing)平臺(tai)上納管的模(mo)型(xing)均經過(guo)(guo)平臺(tai)優選，充(chong)分考慮可商用、模(mo)型(xing)效果(guo)和模(mo)型(xing)安(an)全性(xing)。在此基礎上，團(tuan)隊(dui)還對第(di)三(san)方模(mo)型(xing)做了一系(xi)列增(zeng)強(qiang)(qiang)，比如通(tong)過(guo)(guo)全套工具鏈適配實現(xian)性(xing)能(neng)增(zeng)強(qiang)(qiang)，通(tong)過(guo)(guo)SFT（全量參(can)數微(wei)調）及強(qiang)(qiang)化學(xue)習(xi)等調優方式實現(xian)效果(guo)增(zeng)強(qiang)(qiang)、安(an)全性(xing)增(zeng)強(qiang)(qiang)，從而(er)為企業降本(ben)增(zeng)效。
▲千帆大(da)模型平臺支(zhi)持多種方法模型調(diao)優
同樣是為了效果增強，千帆大模型平臺本次還帶來了應用支持方面的更新。
在(zai)“Prompt（提示(shi)詞(ci)）模(mo)板(ban)”選項中(zhong)可以看(kan)到，103款(kuan)Prompt模(mo)板(ban)已(yi)經(jing)上線，包含對話、編程、電商、醫(yi)療、游戲、翻譯、演(yan)講等(deng)十(shi)余個場景。據稱其中(zhong)大部分是基于百度智能云(yun)在(zai)產(chan)業實(shi)踐中(zhong)的積累。
▲103款Prompt模板已經上線千帆大模型平(ping)臺
Prompt是(shi)指通過自然語(yu)言向大(da)模(mo)型(xing)提出(chu)問題，問題的(de)好(hao)壞直接影響大(da)模(mo)型(xing)的(de)內(nei)容(rong)輸出(chu)質量。在實際應用中，大(da)模(mo)型(xing)往往因為Prompt缺乏(fa)針對(dui)性(xing)、描述不清晰等原(yuan)因影響到內(nei)容(rong)準(zhun)確性(xing)。
用不同Prompt給某(mou)對話機器人提(ti)問，會(hui)得(de)到不同的效(xiao)果。比如當Prompt輸入(ru)：“《長安三萬(wan)里(li)》好(hao)看嗎？”，機器人會(hui)輸出一個比較簡單的結果：
“《長安三(san)萬里》是一(yi)部非(fei)常出色的(de)動畫電影，它以唐朝為(wei)背(bei)景(jing)，通過展(zhan)現那個時代的(de)文化(hua)繁(fan)榮和詩歌(ge)藝術的(de)精髓，讓觀眾能(neng)夠深入感受到唐朝的(de)歷(li)史和文化(hua)氛圍。
電(dian)影(ying)在畫面(mian)、故事、演員(yuan)表現(xian)和(he)制作質量等方面(mian)都(dou)表現(xian)出了極高的(de)水平，讓觀眾能夠沉浸其中，感受到角色的(de)內心世界和(he)情感糾葛。同時，電(dian)影(ying)還將傳統的(de)唐樂和(he)現(xian)代音樂相融合，為(wei)電(dian)影(ying)增添了一種獨特的(de)氣息。
雖然電(dian)影(ying)(ying)(ying)也有一(yi)些(xie)缺點(dian)，例如(ru)某些(xie)情節可能過于緊湊，某些(xie)角色的發展可能不夠充分，但是這些(xie)缺點(dian)并不影(ying)(ying)(ying)響電(dian)影(ying)(ying)(ying)的整體質量。總的來說，《長安三萬里》是一(yi)部非常值得觀看(kan)的動畫電(dian)影(ying)(ying)(ying)，如(ru)果你對(dui)歷史和文(wen)化有濃厚興(xing)趣，那么這部電(dian)影(ying)(ying)(ying)一(yi)定不容錯過。”
對(dui)比來看，使(shi)用Prompt模板(ban)+原始Prompt：“我希望你(ni)充當一個電(dian)(dian)影(ying)評論家。你(ni)將編寫(xie)一篇(pian)引人入勝和(he)(he)(he)有創意的影(ying)評。你(ni)可以(yi)涵蓋諸如情節(jie)、主(zhu)題和(he)(he)(he)基調、演技(ji)和(he)(he)(he)角色(se)、方(fang)向、配樂(le)、電(dian)(dian)影(ying)攝(she)影(ying)、制作設計、特效、剪輯、節(jie)奏、對(dui)話等主(zhu)題。但(dan)最(zui)重要的方(fang)面是(shi)強調電(dian)(dian)影(ying)給你(ni)的感覺。什么是(shi)真正引起你(ni)的共(gong)鳴。你(ni)也可以(yi)對(dui)電(dian)(dian)影(ying)進行(xing)批評。請避免(mian)劇透。電(dian)(dian)影(ying)名(ming)稱是(shi)《長安(an)三萬(wan)里》”。因Prompt更詳細具(ju)體(ti)，對(dui)話機(ji)器人回復了更符合預(yu)期的答案：
“《長安三萬里》是一(yi)部極(ji)具創意和想(xiang)象(xiang)力的(de)(de)動畫電影，帶領觀(guan)眾(zhong)(zhong)穿越到繁華輝(hui)煌的(de)(de)唐朝，展(zhan)現(xian)(xian)出(chu)那個時代的(de)(de)文(wen)化(hua)氣息(xi)和詩(shi)歌藝術的(de)(de)精髓(sui)。這(zhe)部電影在情節、主題、演(yan)技、制(zhi)作等方面都表現(xian)(xian)出(chu)了極(ji)高的(de)(de)水平，但最令人難忘的(de)(de)是它(ta)給觀(guan)眾(zhong)(zhong)帶來(lai)的(de)(de)那種沉浸式(shi)的(de)(de)感受。
電影以(yi)李白和高適的友情(qing)為主線，將歷史上的文人墨客融入其中，讓觀眾在欣賞美輪美奐的畫面和感(gan)(gan)受情(qing)感(gan)(gan)糾葛(ge)的同時，也能領略到(dao)唐詩的魅力(li)。情(qing)節(jie)緊湊跌宕，人物形象生動(dong)鮮明，使(shi)得觀眾能夠深入感(gan)(gan)受到(dao)角色(se)的內心世(shi)界。
在(zai)演技方面，主(zhu)要演員的(de)表演非(fei)常出(chu)色，將角色的(de)個性和情(qing)感表現(xian)得淋(lin)漓(li)盡(jin)致。他們的(de)表演為電(dian)影增色不少，讓觀眾(zhong)更加深(shen)入地融入到故(gu)事情(qing)節中。
電影的(de)制作(zuo)質(zhi)量也非常高，從(cong)鏡頭(tou)到(dao)音效(xiao)到(dao)配樂，都(dou)展現(xian)出(chu)了(le)精(jing)細的(de)制作(zuo)和精(jing)美的(de)設計(ji)。特(te)別(bie)是電影的(de)配樂，將傳統的(de)唐樂和現(xian)代音樂相融合，為(wei)電影增添(tian)了(le)一(yi)種獨特(te)的(de)的(de)氣(qi)息(xi)。
當然(ran)，電影(ying)也(ye)有(you)一(yi)些(xie)(xie)缺(que)點(dian)。例如(ru)，有(you)些(xie)(xie)情節可能過于緊湊，讓(rang)人有(you)些(xie)(xie)無法消化;某些(xie)(xie)角色的發展(zhan)可能不(bu)夠充(chong)分(fen)。讓(rang)人難以完(wan)全理解他們(men)的內(nei)心世(shi)界(jie)。但是，這些(xie)(xie)缺(que)點(dian)并不(bu)影(ying)響電影(ying)的整體質量，仍然(ran)是一(yi)部值得觀看的電影(ying)。
總的(de)來說，《長(chang)安三萬里(li)》是一(yi)部非(fei)常(chang)出色的(de)動畫電影，它帶(dai)給觀眾的(de)不(bu)僅(jin)是視覺上(shang)的(de)享受，更是精神上(shang)的(de)震撼。如果你(ni)對歷史和(he)文化(hua)有(you)濃(nong)厚(hou)的(de)興趣，那么這部電影一(yi)定不(bu)容錯過。”
Prompt模板的更新標志著(zhu)千帆大(da)(da)(da)模型(xing)平臺的邊界(jie)進(jin)一(yi)步(bu)拓展，向用(yong)戶的應(ying)用(yong)效(xiao)果(guo)靠近，從而大(da)(da)(da)大(da)(da)(da)降低了(le)大(da)(da)(da)模型(xing)的使用(yong)門檻。
而(er)不(bu)斷降低使用門檻，也是千帆大模型(xing)整條工(gong)具鏈(lian)平均(jun)每兩周一迭(die)代的一個重要指導思路。
千帆(fan)的工(gong)(gong)程師說，千帆(fan)大(da)模型(xing)平臺包含(han)了海量數據處理標(biao)注、再(zai)訓練(lian)、微(wei)調、強(qiang)化學習(xi)、評估、高效(xiao)壓縮、自動(dong)化Prompt工(gong)(gong)程、快速應用(yong)編排等工(gong)(gong)具。通(tong)過這(zhe)一(yi)系(xi)列工(gong)(gong)具鏈，千帆(fan)的核心是服務于(yu)企業核心的需求痛點，從而增強(qiang)終端的大(da)模型(xing)應用(yong)效(xiao)果。
▲千(qian)帆大模(mo)型平臺提供(gong)大模(mo)型全流程工具鏈
二、“煉模”路難關多，幾百家客戶摸著“千帆”過河
千帆(fan)大模型平臺迭(die)代背后(hou)，是百度(du)智(zhi)能云團隊與(yu)數百家企業(ye)的磨(mo)合和深(shen)度(du)調研。
千(qian)(qian)(qian)帆的(de)工(gong)程師談道，自千(qian)(qian)(qian)帆大(da)(da)(da)模(mo)型(xing)平臺于3月(yue)27日正式上線以來，團隊每周都會對接(jie)大(da)(da)(da)量客戶，了解(jie)他們的(de)平臺使用(yong)情況、大(da)(da)(da)模(mo)型(xing)應(ying)用(yong)的(de)效果。目前千(qian)(qian)(qian)帆大(da)(da)(da)模(mo)型(xing)平臺已有超15萬企業申請，內部深(shen)度(du)跟進(jin)的(de)就有上百(bai)家。本次(ci)功能的(de)迭代，正是從和當前深(shen)度(du)接(jie)觸的(de)客戶的(de)場(chang)景(jing)實踐中來。
▲千帆大模型(xing)平(ping)臺(tai)全景(jing)
團隊發現，當下大模型需求可以歸結為兩類：
一(yi)是企(qi)(qi)業(ye)希望通(tong)過大模(mo)型(xing)改善它(ta)終(zhong)端應用(yong)的(de)效(xiao)果(guo)，并且很(hen)多企(qi)(qi)業(ye)在孵化很(hen)多創新(xin)的(de)應用(yong)，這(zhe)些企(qi)(qi)業(ye)核心關注需要(yao)的(de)就是大模(mo)型(xing)的(de)效(xiao)果(guo)保障，包括(kuo)它(ta)的(de)推理SFT的(de)工具鏈，以及Prompt工程。
二(er)是有(you)很多行(xing)(xing)業(ye)企業(ye)，包括像(xiang)金融(rong)、能(neng)源、教(jiao)育，這些(xie)企業(ye)的訴求(qiu)是希(xi)望(wang)能(neng)夠結合自己的行(xing)(xing)業(ye)已有(you)的知識經驗和豐富場景數據積累，去構建行(xing)(xing)業(ye)大模型，或者服務它的行(xing)(xing)業(ye)上(shang)下(xia)游企業(ye)。
從調研結果來看，90%以上的客戶最關心的還是模型效果，這是所有企業最關注的“Top1痛點”。比如(ru)在大(da)模(mo)型輸入輸出(chu)方(fang)面(mian)，企業不僅關(guan)注(zhu)推理速度(du)、輸出(chu)信息準確度(du)等客觀(guan)指(zhi)標，還會有一(yi)些主觀(guan)評判。其次企業和開發者(zhe)關(guan)注(zhu)性(xing)能的(de)提升，在資源消耗等方(fang)面(mian)尋(xun)求更高(gao)的(de)性(xing)價比。
隨著實踐深入，客戶的要求在不斷變高。比如很多客戶(hu)對(dui)內容生成(cheng)速度(du)上有(you)要求，有(you)的用戶(hu)會提出將首個Token上線時間從7~8秒(miao)優化(hua)到1秒(miao)以內。此外，一些(xie)手機、車載廠商希(xi)望模型能放到本(ben)地，消除通信帶來的延遲并增(zeng)強(qiang)用戶(hu)隱私保護，這(zhe)就需(xu)要平臺配備滿(man)足更多樣(yang)化(hua)需(xu)求的模型。
正是這些客戶不斷提出更高的要求，倒逼千帆去從工具鏈和模型角度做更多的性能優化。
實際上，在“煉模(mo)”的全過程中，企(qi)業在數據管理、模(mo)型訓練、評估/優化、預測(ce)服務和Prompt工程和插件服務等(deng)各個環節(jie)都面臨著不確定性(xing)及(ji)痛點，這也(ye)讓專業的一站式的大模(mo)型平臺(tai)需求更加迫切(qie)。
千帆大模型平臺或許是國內經歷客戶真實場景測試最多的企業級一站式大模型平臺。千(qian)帆(fan)的工程(cheng)師談(tan)道，在對(dui)客戶的陪伴式服務過程(cheng)中，團(tuan)隊收到了很多客戶對(dui)千(qian)帆(fan)大(da)模型平臺的好評：
比如某政務(wu)場景客戶，基于千帆(fan)(fan)平臺構建了一個政務(wu)AI助手應(ying)用，在落(luo)地過程中(zhong)發現對政策文件的解讀(du)不夠(gou)精(jing)準詳(xiang)實，于是(shi)基于千帆(fan)(fan)SFT調(diao)優(you)工(gong)具在幾(ji)天時間內實現迭(die)代，滿意度直線提升；
某醫療(liao)客(ke)戶，結合千帆平臺做診前診中醫療(liao)輔(fu)助，通過提示詞模(mo)版和(he)域(yu)內知識檢索結合，助大模(mo)型(xing)給出更(geng)好(hao)的輔(fu)助判斷；
某電商客戶(hu)，基于千帆提示詞模板庫將(jiang)電商導(dao)(dao)購(gou)類的Prompt導(dao)(dao)入，在(zai)不到一周的時間里搭建了(le)導(dao)(dao)購(gou)應用(yong)。
當下，隨著“百模大(da)(da)戰”進(jin)入(ru)深水區，更(geng)(geng)多的(de)企(qi)業(ye)開始(shi)更(geng)(geng)關注(zhu)模型(xing)效果調優、實際應(ying)用部署等(deng)過程中更(geng)(geng)細的(de)問題。這些問題的(de)解決(jue)依(yi)靠經(jing)驗(yan)和工具的(de)支撐，眾多企(qi)業(ye)選(xuan)擇(ze)摸著“千帆”過河，這也客觀上為千帆大(da)(da)模型(xing)平臺的(de)進(jin)一步迭代提供了源泉。
三、行業一線試練5個月，千帆大模型平臺尋求“破繭時刻”
縱(zong)觀全球科技(ji)圈，隨著科技(ji)巨頭掀起(qi)AI大模型競賽(sai)，大模型平臺(tai)成(cheng)為兵(bing)家必爭之地。
3月(yue)27日，千帆平臺發布，百度(du)在模(mo)(mo)型研發和產業應用上都做(zuo)多工作，可以說百度(du)是目前(qian)整(zheng)個(ge)市場上接觸開(kai)發者最(zui)多的大模(mo)(mo)型廠商。
千帆大模型平臺正尋求新的“破繭時刻”，向更易用、更全面、更高效、更開放、更安全方向發展。
更易用：降低門檻，開箱即用。千帆希望通過把整個(ge)工具(ju)鏈做可視化界面封(feng)裝，實現(xian)(xian)開箱即用(yong)。體現(xian)(xian)在(zai)產品的方(fang)案和(he)框架，非專業人(ren)士5分鐘也(ye)能很快理解(jie)和(he)上手。
更全面：覆蓋大模型全生命周期。應用大模型(xing)的(de)(de)行業(ye)和場景分(fen)散，對工(gong)具(ju)鏈的(de)(de)豐(feng)富性提出(chu)更高要求，為此千(qian)帆(fan)提供數(shu)據標注、模型(xing)訓練與評估，推(tui)理服務(wu)與應用集(ji)成的(de)(de)全(quan)面功能服務(wu)。
更高效：訓練與推理性能大幅提升。當下超大規模參數模型十分耗費算(suan)力(li)，對(dui)其(qi)進(jin)行性(xing)能(neng)優(you)化是復雜的工(gong)程(cheng)，需要通過IaaS、PaaS、MaaS等多層(ceng)服務優(you)化服務鏈(lian)路。據稱(cheng)，團(tuan)隊在MLPerf榜單訓(xun)練性(xing)能(neng)世界領先，千億模型分布式并(bing)行訓(xun)練加速能(neng)力(li)和算(suan)力(li)利用(yong)率大幅(fu)提升。
更開放：預置百度文心大模型與第三方大模型，助力大模型多場景落地應用。千帆(fan)從(cong)上線的第(di)(di)一(yi)天起就(jiu)強調(diao)會預(yu)置第(di)(di)三方大模型，希望讓客(ke)戶通過多個模型測(ce)試(shi)后(hou)做出最優選(xuan)擇。
更安全：千帆對所有接入的第三方模型均做了模型安全增強，不僅保障文心大模型的內容安全，還保障了第三方大模型的安全輸出。千(qian)帆提供(gong)完善的鑒權與流控安全機(ji)制，自帶敏感詞過(guo)濾(lv)功能(neng)。
千帆的工程師談道，百度是端到端的四層技術架構的踐行者。從(cong)底層(ceng)的(de)昆侖芯到飛槳深度學習框架(jia)，到大模型(xing)(xing)再到上層(ceng)應用，每(mei)一(yi)層(ceng)都有(you)領先的(de)技術和產(chan)品。千帆大模型(xing)(xing)平臺基于四(si)層(ceng)架(jia)構(gou)，在(zai)大模型(xing)(xing)開發和應用的(de)全(quan)生命周期(qi)過程中做了端到端優(you)化(hua)，從(cong)而讓客(ke)戶(hu)感受到系統(tong)的(de)提升，最后達(da)到應用效(xiao)果的(de)提升。
結語：AIGC應用的孵化地上，企業摸著“千帆”過河
隨著“百模大(da)戰”打響數月，眾(zhong)多(duo)行業大(da)模型(xing)已經推(tui)出(chu)，產業接下來面(mian)對的(de)(de)是在真實應用場景中的(de)(de)模型(xing)價(jia)值(zhi)驗(yan)證。應用價(jia)值(zhi)的(de)(de)實現(xian)不(bu)僅(jin)取決于模型(xing)算法(fa)本身，還與數據、調優(you)方(fang)法(fa)、應用部署等各個環節的(de)(de)操作相關，這(zhe)都需要稱(cheng)手的(de)(de)大(da)模型(xing)平臺來為開發者提(ti)供支持。
百度(du)智能(neng)云千帆大(da)(da)(da)模(mo)型平臺深(shen)度(du)參與了國內(nei)大(da)(da)(da)模(mo)型落地(di)的(de)(de)進程，也(ye)正將(jiang)洞察和(he)經驗沉淀為(wei)功能(neng)組件，從而為(wei)更多企業(ye)應用大(da)(da)(da)模(mo)型提供(gong)重要的(de)(de)橋梁和(he)工具。不過(guo)，當下國內(nei)外(wai)的(de)(de)大(da)(da)(da)模(mo)型平臺也(ye)都處于探索(suo)落地(di)期，要真正讓平臺生(sheng)態形成正向(xiang)循環支(zhi)持(chi)產業(ye)發展(zhan)，依然有很遠(yuan)的(de)(de)路(lu)要走(zou)。
