智東西（公眾號：zhidxcom）
作者 | 程茜
編輯 | 心緣
智東西12月19日報道，今天，百川智能宣布開放基于搜索增強的Baichuan2-Turbo系列API，包含Baichuan2-Turbo-192K及(ji)Baichuan2-Turbo，并增加了搜索增強知識(shi)庫(ku)。
官網接口(kou)說明：//platform.baichuan-ai.com/playground
百川智能創始人、CEO王小川談道，搜(sou)索增強(qiang)是大(da)模型(xing)時代(dai)的(de)必(bi)由之路，能夠有效解決大(da)模型(xing)幻覺、時效性差、專業(ye)領域知識不(bu)足(zu)等(deng)核心問題。
百(bai)川智能以Baichuan2大(da)模(mo)型(xing)為核心(xin)，將搜索增強技(ji)術與大(da)模(mo)型(xing)深(shen)度融合，結合此前推出的192k超長上下文窗口，構建了(le)一套大(da)模(mo)型(xing)+搜索增強的完整技(ji)術棧(zhan)，實現了(le)大(da)模(mo)型(xing)和(he)領域知(zhi)識、全網知(zhi)識的連接。
目(mu)前，行業大模型在應(ying)(ying)用落地方(fang)面仍(reng)面臨諸多問題，如企(qi)業的(de)(de)訓練(lian)成本、人才儲備等。一方(fang)面，百川智能的(de)(de)搜索增(zeng)強技(ji)(ji)術(shu)可以提(ti)升大模型的(de)(de)性(xing)能，同時讓其“外掛硬(ying)盤”，擁有互聯網實時信息(xi)和(he)企(qi)業的(de)(de)自(zi)有知(zhi)識庫；另一方(fang)面，搜索增(zeng)強技(ji)(ji)術(shu)能夠幫助(zhu)大模型理解(jie)用戶的(de)(de)意圖，在企(qi)業的(de)(de)知(zhi)識庫文檔中(zhong)找到相應(ying)(ying)的(de)(de)知(zhi)識，然后對結果進行總結提(ti)煉生成結果。
百川智能聯席總裁洪濤告訴智東西，他們并不否定行業大模型，但從技術的視角看，絕大部分場景下百川智能的搜索增強方案可以替代行業大模型。
一、大模型落地難題：幻覺、時效性差、專有知識不足
現(xian)階(jie)段(duan)，大模型仍存在很多問題，也是其走向(xiang)行業落(luo)地必須面對的挑戰。
首先，大(da)模(mo)型存在幻覺，目前一些玩家通過訓練更大(da)的模(mo)型去減少幻覺，但(dan)這(zhe)伴(ban)隨著成本變(bian)高。
其(qi)次(ci)，大模型(xing)(xing)的數據庫是(shi)靜(jing)態(tai)的，王小川認為，大模型(xing)(xing)是(shi)一(yi)個時效性較差(cha)的系統。
第三，大模型(xing)商(shang)業(ye)落地的(de)過程(cheng)中專業(ye)知識(shi)不足，這是因為每個企業(ye)都有自己的(de)私域數據，且需要實時更新(xin)。
因此，王小川認為，解決這三個問題，光靠模型本身做的大是不夠的。
目前，行業里有一大策(ce)略就(jiu)是，大模(mo)型(xing)(xing)加(jia)搜(sou)索(suo)(suo)才能構成(cheng)完整(zheng)(zheng)的(de)技(ji)(ji)術棧，王(wang)小川談(tan)道，此前百川智能做大模(mo)型(xing)(xing)比較快(kuai)的(de)原(yuan)因(yin)(yin)就(jiu)是，掌握搜(sou)索(suo)(suo)技(ji)(ji)術能更好收集(ji)數據。這(zhe)是因(yin)(yin)為，大模(mo)型(xing)(xing)的(de)數據、算法(fa)、算力都(dou)和搜(sou)索(suo)(suo)相關，搜(sou)索(suo)(suo)技(ji)(ji)術不僅能幫他(ta)們更快(kuai)做出大模(mo)型(xing)(xing)，大模(mo)型(xing)(xing)+搜(sou)索(suo)(suo)還能完整(zheng)(zheng)形(xing)成(cheng)模(mo)型(xing)(xing)加(jia)商業應用的(de)邏輯閉環。
借助搜索增強，大模型和領域知識、全網知識形成全新的完整技術棧，有利于大模型真正實現落地。
王小川展示了一個行業里公認的表達，大模型是新時代的計算機。下面這張圖就將大模型比做計算機，大語(yu)言模型就是中央處理器、上(shang)下文窗口就是內存、搜索增強就是硬盤。
不過(guo)更大(da)內存、更強的處理(li)器，依(yi)然不能(neng)解(jie)決大(da)模型(xing)幻覺、外部知識引入、時(shi)(shi)效性等問(wen)題。王小(xiao)川談(tan)道，在(zai)用(yong)戶指令和輸出中，就(jiu)可以通過(guo)搜(sou)索引擎將互聯(lian)網(wang)實時(shi)(shi)信息和企業完整知識庫(ku)，像硬盤一樣裝(zhuang)進去(qu)，也就(jiu)是大(da)模型(xing)加硬盤能(neng)即(ji)插即(ji)用(yong)，這(zhe)就(jiu)使得大(da)模型(xing)在(zai)很(hen)多(duo)領(ling)域里更實用(yong)。
▲百川智能(neng)大模型(xing)支持(chi)實時(shi)信息更(geng)新
在(zai)學(xue)術(shu)界，也(ye)有(you)一些知(zhi)(zhi)識(shi)注(zhu)入等(deng)類似理念提出，可以(yi)將外(wai)部知(zhi)(zhi)識(shi)掛(gua)硬(ying)盤，也(ye)就是RAG（檢索增強(qiang)生成），谷(gu)歌、OpenAI等(deng)也(ye)在(zai)提出類似的理念。
二、人才、算力、時間、效果……行業大模型落地挑戰眾多
目(mu)前(qian)而(er)言(yan)，企(qi)業滿足自(zi)身(shen)需求的做法是(shi)(shi)搭建向(xiang)(xiang)量(liang)數(shu)據(ju)庫(ku)。王小川談(tan)道，向(xiang)(xiang)量(liang)數(shu)據(ju)庫(ku)實(shi)際上(shang)是(shi)(shi)搜索(suo)里的一部(bu)分功能，搜索(suo)為了保證召(zhao)回進度(du)和效率會采用向(xiang)(xiang)量(liang)數(shu)據(ju)庫(ku)。因此，做搜索(suo)的公司已經完整掌握了向(xiang)(xiang)量(liang)數(shu)據(ju)庫(ku)這項技(ji)術，現(xian)在，百川智(zhi)能對其(qi)經過新(xin)的研發后，讓更大(da)的模型實(shi)現(xian)更好的對接。
如今模型(xing)走向(xiang)落地，一些企(qi)業落地應用大(da)模型(xing)時很多(duo)需(xu)求(qiu)沒解(jie)決，所以需(xu)要打造行業大(da)模型(xing)。王小川(chuan)舉了個例(li)子，如常說的L0就是標(biao)準模型(xing)，L1就是在此之上經過垂直行業數據改造的行業大(da)模型(xing)。
然而，用行業大模型來解決企業應用的過程中，仍然面臨很多問題，包括人力、算力、時間、效果、更新、升級。
在改造的(de)過(guo)程中，需要(yao)企業有(you)非常多的(de)經驗積累，高質(zhi)量的(de)人才才能保證系統的(de)可靠性(xing)和穩定(ding)性(xing)。與此同時，算(suan)力方面(mian)對于(yu)企業來說也(ye)是(shi)巨(ju)大的(de)挑戰，再加上訓練周期長，還需要(yao)考慮基座模型升級的(de)影響。
因此，王(wang)小川認為，行業大模型目前并(bing)沒有良好(hao)的實踐案例，還面臨很多問題。
三、長文本、向量數據庫是基操，百川智能提出差異化解決方案
在行業模型之外，常規的解決方法是向量數據庫和長窗口，王小川談道，這兩個事情是基操，百川的解決方案還包括獨有的：實現稀疏檢索與向量檢索并行、搜索系統和大模型對齊。
其中，稀疏檢索就是原(yuan)來(lai)他們(men)原(yuan)來(lai)做搜索(suo)引(yin)擎(qing)時用到的機遇符號系統的方式(shi)，這種情況下(xia)向量檢索(suo)語義(yi)會更加貼近。
另一大特點就是搜索系統和大模型對齊，他(ta)解釋說，以(yi)前用戶提(ti)問(wen)會(hui)通過一個關鍵(jian)詞(ci)表達一個詞(ci)或者(zhe)短(duan)劇，今(jin)天用戶提(ti)問(wen)是(shi)一個完(wan)整的問(wen)題，如(ru)何通過稀疏檢索(suo)、向量檢索(suo)跟這套系統相對接，就是(shi)新的技術點。
搜索和長窗口(kou)(kou)模型產生(sheng)的(de)技術挑戰包括，用戶(hu)場景變化，用戶(hu)會(hui)提出上下文(wen)相關的(de)prompt，與傳(chuan)統(tong)搜索不(bu)同；第(di)二為(wei)如何實現高召回(hui)、高準確(que)的(de)搜索系統(tong)；第(di)三為(wei)長窗口(kou)(kou)在(zai)容量、性能、成(cheng)本和效率方面的(de)問(wen)題；第(di)四(si)是長窗口(kou)(kou)結合搜索，對搜索召回(hui)精度要求極高。
面對(dui)這些挑戰，百川智能提出了一系列解(jie)法(fa)。
今年10月，百川(chuan)智能(neng)發布(bu)了(le)Baichuan2-192k大模型，可(ke)以支持(chi)一次性輸入35萬字。同時(shi)，百川(chuan)智能(neng)在中(zhong)文語義向量綜合表(biao)征能(neng)力評測C-MTEB中(zhong)排名(ming)第一。
同(tong)時(shi)，該公(gong)司還實現(xian)了稀疏檢索(suo)和向量檢索(suo)并行，通過調優后比向量檢索(suo)的可(ke)用率(lv)從80%提到95%。王小川談道，這(zhe)件(jian)事意味著(zhu)將向量檢索(suo)帶到了新的高度(du)。
在(zai)搜索(suo)系統(tong)和大模型對齊方面，有prompt2query和doc2query兩(liang)種方案，能夠對齊用(yong)戶的需求。
通過這樣一系列的操作，百川智能的解決方案就解決了行業大模型不可行的問題。同時大模型的外存加內存能提升兩個數量級的信息處理量，大模型的處理速度更快、成本更低。王小川談道，這種解決方案提升了幾百倍的檢索量后，比單用長窗口的成本更低、速度更快。
四、解決行業大模型不可行難題，文本規模達到5000tokens
總的來看，王小川認(ren)為，相(xiang)比于行業大模型，百川智能的搜索增強方案在人(ren)力(li)、算(suan)力(li)、時間、效(xiao)果(guo)、更新、升(sheng)級(ji)方面都更有優勢。
此前企業(ye)要(yao)自己學行業(ye)模(mo)(mo)型(xing)，需要(yao)稀有的大(da)模(mo)(mo)型(xing)人才，并使用大(da)量(liang)算力訓練(lian)很長時間，現在只(zhi)需要(yao)掛上“外部(bu)硬盤(pan)”就可以直接調(diao)用大(da)模(mo)(mo)型(xing)能(neng)力，同時還能(neng)保證模(mo)(mo)型(xing)的可靠性及應用穩定性。
如果基座模(mo)(mo)型(xing)升(sheng)級，企業(ye)原有的訓(xun)練(lian)數(shu)據無法在行業(ye)大模(mo)(mo)型(xing)上(shang)使用(yong)，搜索增強的方案(an)采用(yong)模(mo)(mo)型(xing)和硬(ying)盤分離，可以分別增強。
王小川(chuan)還提到(dao)了百川(chuan)智能通過長窗(chuang)口(kou)和搜索增強的方式，在192k長上(shang)下文窗(chuang)口(kou)的基礎上(shang)，將大模型(xing)能夠獲取的原本文本規模提升了兩個數(shu)量級，達到(dao)5000萬tokens，相當于1億字。
企業實際應用中在企業知識問答、客服智能客服、營銷助手、投資研究中，會涉及到大量企業文檔。王小川認為，如果說長窗(chuang)口(kou)能解決(jue)部分的問(wen)題，搜索增強(qiang)的方式就可以(yi)解決(jue)99%企業典型場景的問(wen)題。
結語：搜索增強或成大模型應用落地有效路徑
大模(mo)型(xing)發展到(dao)(dao)現在，產業(ye)(ye)界(jie)亟需找到(dao)(dao)一條集諸多(duo)優勢于一體(ti)的(de)(de)(de)(de)路徑(jing)，將大模(mo)型(xing)的(de)(de)(de)(de)強大能力真(zhen)正落地到(dao)(dao)產業(ye)(ye)中(zhong)。百川智能基于其在搜索方面的(de)(de)(de)(de)技術(shu)經驗與積累，將知識(shi)內化在模(mo)型(xing)內部，然后根據用戶的(de)(de)(de)(de)Prompt生成結果，上下文窗口就(jiu)充當(dang)計(ji)算機的(de)(de)(de)(de)內存(cun)，存(cun)儲(chu)當(dang)下正在處理的(de)(de)(de)(de)文本，再將互聯網實時信息與企(qi)業(ye)(ye)完整知識(shi)庫共同構(gou)成“硬盤(pan)”。
這種解決方案可以(yi)讓企業在應(ying)用大模型(xing)能力(li)時，受成本(ben)、人才(cai)、算力(li)等的(de)限(xian)制變得更(geng)小，同時讓其(qi)投身于依托(tuo)大模型(xing)構建更(geng)多的(de)場(chang)景應(ying)用創新，加速(su)大模型(xing)在千行百業創造(zao)更(geng)多的(de)實(shi)際(ji)價值(zhi)。
