智東西（公眾號：zhidxcom）
作者 | 程茜
編輯 | 心緣
智東西(xi)9月(yue)6日報道，今天(tian)下午，百川智能(neng)發布開源大模(mo)型Baichuan2 70億和130億參數規模(mo)的兩個(ge)版本。
相比于上一代Baichuan模型，Baichuan2在文科理科能力方面得到了全面提升，其中數學能力提升49%，代碼能力提升46%、安全能力提升37%、邏輯推理能力提升25%、語義理解能力提升15%。
百川智能創始人、CEO王小川透露，在中(zhong)英文通用(yong)榜單(dan)、垂直領域、跨語言能力(li)上，Baichuan2相比于ChatGLM2-6B、LlaMA2-7B、LlaMA2-7B等開源模型都(dou)取(qu)得了較好表現。
同時，Baichuan在開源社區總下載量已經接近500萬次，月下載量達到300多萬次。
王小川(chuan)透(tou)露，此(ci)前百川(chuan)智(zhi)能計劃(hua)今年三季度發布(bu)(bu)超500億參數規(gui)模的模型，四季度發布(bu)(bu)對標(biao)GPT-3.5的模型，明(ming)年一(yi)季度發布(bu)(bu)超級應用，百川(chuan)智(zhi)能這一(yi)計劃(hua)的實際執行節奏目(mu)前十分順利(li)。
王小川(chuan)提到，Baichuan2的(de)發(fa)布意味著Llama作為(wei)開源(yuan)(yuan)模型(xing)的(de)時代已經過去了。此前Llama-2開源(yuan)(yuan)大模型(xing)使用(yong)有兩個限制條(tiao)件，其一是用(yong)戶數超過7億不提供(gong)開源(yuan)(yuan)支持(chi)，第二(er)，僅適用(yong)以英文為(wei)主的(de)模型(xing)環境。
因此(ci)，Llama-2在中(zhong)文領域(yu)的(de)使(shi)用場景十分受限。他補充說(shuo)，Baichuan2的(de)發布能(neng)幫助(zhu)開發者(zhe)獲得一個(ge)更加友(you)好、能(neng)力更強的(de)模型。
發布會最后(hou)，百(bai)川智能聯合阿里云、高(gao)通、瀚(han)博(bo)半(ban)導(dao)體、火山(shan)引(yin)擎、寒武(wu)紀等共(gong)同啟動了“創(chuang)新(xin)、協作、共(gong)贏”開源生(sheng)態合作。
一、中英文全面超越國外開源模型，開源全部參數模型
王小川透(tou)露，目(mu)前已經有(you)200多家企(qi)業申請部(bu)署了(le)百(bai)(bai)川大模型，涵蓋云(yun)廠商、科(ke)技行(xing)業、制(zhi)造、消費等行(xing)業的(de)企(qi)業。此次(ci)發布的(de)Baichuan2是百(bai)(bai)川智(zhi)能(neng)的(de)又一個里程碑(bei)。
70億參數規模的Baichuan2在中英文主流任務中已經全面超越LlaMA2-13B，王小川解釋道，全面超越指的是，更小參數規模的Baichuan2在性能表現上超過LlaMA2-13B，同等尺寸上，可以吊打一眾開源模型。
分拆來看(kan)，數(shu)據方面，Baichuan2的特點是規模大(da)、覆蓋(gai)全、質(zhi)量優。
Baichuan2的數據(ju)基于萬億(yi)互聯網數據(ju)精選，同(tong)時篩選了(le)健康、法(fa)律等(deng)垂(chui)直行(xing)業的數據(ju)，并(bing)且構建自(zi)世界知識體系之(zhi)上。在數據(ju)處理階段，該模型通過小時級(ji)完成千億(yi)數據(ju)清晰和濾重，打(da)造(zao)了(le)超大規(gui)模內容聚類系統，并(bing)且對篇章、段落、句子質(zhi)量進(jin)行(xing)打(da)分做評價(jia)，實現多粒度內容質(zhi)量打(da)分。對于訓練語料，Baichuan2采用了(le)2.6TB的超大規(gui)模語料，并(bing)支持中、英(ying)、西、法(fa)等(deng)數十種語言(yan)。
在(zai)訓(xun)練方面(mian)，Baichuan2采取的是高效、穩(wen)定(ding)、可(ke)預(yu)測方式。該(gai)模(mo)型采用(yong)分布式訓(xun)練框架和科學可(ke)預(yu)測的scaling law，使得小模(mo)型可(ke)以準確(que)預(yu)測大模(mo)型的效果。
安全(quan)價值觀對齊方面，Baichuan2實現了系統性(xing)(xing)價值觀對齊、多類型價值觀對其、有用性(xing)(xing)無害(hai)性(xing)(xing)平衡。
具體的評測效果上，王小川稱，中英文通用榜單上，70億和130億參數規(gui)模(mo)的(de)Baichuan2均取得同尺寸(cun)開源模(mo)型最優異效果。
70億參數規模(mo)的(de)Baichuan2在中(zhong)英(ying)文(wen)(wen)通用(yong)榜單上的(de)中(zhong)文(wen)(wen)、英(ying)文(wen)(wen)、代碼方面(mian)領先于ChatGLM2-6B、LlaMA2-7B、LlaMA2-7B等(deng)開源模(mo)型，數學能力上僅次于ChatGLM2-6B。
70億參數規模(mo)的Baichuan2在中(zhong)英文(wen)、數學(xue)、代碼方面(mian)都超(chao)過(guo)了其它開源模(mo)型。
在醫療(liao)、法律垂直領域榜單上，Baichuan2兩(liang)個參(can)數規模(mo)的模(mo)型(xing)均超過其它開源模(mo)型(xing)。
跨語言(yan)能力(li)中(zhong)，Baichuan2在英語(yu)、法語(yu)、西班牙語(yu)、阿拉(la)伯語(yu)、俄(e)語(yu)中(zhong)的能(neng)力都(dou)超過其它開源模型。
總(zong)的(de)(de)(de)來看，王小川談道，Baichuan2的(de)(de)(de)文科(ke)理(li)科(ke)能(neng)力(li)(li)均處于(yu)開源模型最(zui)好水平(ping)。包括(kuo)多輪對話能(neng)力(li)(li)、代碼生成(cheng)的(de)(de)(de)可用率、復雜問題邏輯推理(li)能(neng)力(li)(li)、語義(yi)理(li)解能(neng)力(li)(li)。
在開(kai)(kai)源生(sheng)態建設方面(mian)，學(xue)術和生(sheng)態支(zhi)持(chi)計(ji)劃，百川智能公開(kai)(kai)了訓(xun)練過程中的全(quan)部參數模型，以及不同大(da)小(xiao)的tokens、訓(xun)練切片，使得學(xue)術界在進行預(yu)訓(xun)練微(wei)調、強化時更容易(yi)(yi)操(cao)作，更容易(yi)(yi)獲得學(xue)術經驗和成果。王小(xiao)川透露，這也是國內(nei)首次開(kai)(kai)放訓(xun)練過程。
百(bai)(bai)川(chuan)智能還打造了CCF-百(bai)(bai)川(chuan)-大(da)(da)模(mo)型科(ke)研基金，覆蓋大(da)(da)模(mo)型技(ji)術和大(da)(da)模(mo)型垂直領域(yu)及應用方面(mian)。百(bai)(bai)川(chuan)智能聯合(he)亞(ya)馬遜云科(ke)技(ji)打造AI黑客馬拉松，覆蓋醫療健康和游(you)戲娛樂兩大(da)(da)賽(sai)道(dao)，為開發者提供算力支持和超(chao)20萬元的(de)冠(guan)軍獎勵。
二、大模型可解釋、幻覺問題是關鍵，不會與人類完全對齊
中國科學院院士、清華大學人工智能研究院名譽院長、吳文俊人工智能最高成就獎、CCF終身成就獎、國家科技進步獎獲得者張鈸提到，目前，國內已經推出了幾十億到幾百億不同規模的大模型，這些大模型很少定位于助力大模型本身的學術研究上。因此他重(zhong)點提及(ji)了百(bai)川智能對(dui)于大模型學術研(yan)究的助力(li)工作。
張鈸院(yuan)士(shi)談道(dao)，這(zhe)(zhe)項工(gong)作非(fei)常重要。原(yuan)因(yin)在于全世界(jie)對(dui)大模型(xing)的(de)(de)工(gong)作原(yuan)理、所(suo)產生的(de)(de)現(xian)象(xiang)一頭霧水，所(suo)有結論(lun)都(dou)歸到智能涌(yong)現(xian)之下，“所(suo)謂‘涌(yong)現(xian)’就是給自己一條退路(lu)，解(jie)釋不清楚”。因(yin)此，他認為只有把這(zhe)(zhe)個(ge)問題搞清楚，國內才有可能發展出來有中國特色的(de)(de)大模型(xing)。
其中包含幾個方面，首先，研究人員必須回答的問題是大模型為什么能產生出(chu)來非常連貫(guan)、多樣化的人(ren)類(lei)語言(yan)。張鈸院士認(ren)為，實(shi)現這(zhe)一結果的(de)措施有三個。
第一是(shi)文本(ben)的(de)語(yu)義(yi)表示，文本(ben)的(de)詞、句(ju)、段落經過抽象后都變成向量，這為構(gou)造連(lian)續的(de)拓(tuo)撲空間構(gou)造了條件(jian)。第二是(shi)轉換器，注意力機(ji)制可以保證大模型(xing)上下文的(de)一致性。第三是(shi)下一個詞的(de)預測。
其次，研究人員必須要回答的問題是，為什么大模型會產生幻覺。
這(zhe)與ChatGPT和(he)人類自然語言的生(sheng)成原理有關(guan)，ChatGPT采取的是外部驅動，人類是意圖控制、內部驅動，這(zhe)導致ChatGPT生(sheng)成內容的正確性、合理性無法(fa)被保證。
因此(ci)，ChatGPT沒有(you)對(dui)齊(qi)之前，會產生大(da)量(liang)的不(bu)合理、不(bu)正確內容，只能(neng)通(tong)過Alignment（對(dui)齊(qi)）去解(jie)決這一問題。
其中，張鈸院士提到，GPT-3.5到GPT-4的性能實現飛躍，主要原因就是對齊。
這之后又會(hui)涉及到治(zhi)理和開發的問題(ti)，并且治(zhi)理會(hui)影響生成質量(liang)的多樣性，因此如何去(qu)平衡(heng)這二(er)者的關系也很重(zhong)要(yao)。
最后(hou)，張(zhang)鈸(ba)院士(shi)談(tan)道，他將ChatGPT生成的(de)語(yu)言(yan)稱作GPT語(yu)言(yan)，其與人類語(yu)言(yan)不(bu)同，又延伸(shen)出一個問題(ti)：“我(wo)們(men)將來努力(li)的(de)方向是什么？我(wo)們(men)是不(bu)是想把(ba)GPT語(yu)言(yan)完(wan)全對齊到人類自然語(yu)言(yan)？”
目前而言(yan)，這個可能(neng)性(xing)不大。他解釋說，如(ru)果想完全對齊，必須先讓GPT有(you)自我意識，目前科學(xue)上沒有(you)條件能(neng)實(shi)現。
人工智(zhi)能(neng)不是(shi)(shi)要做一個機器和人類一樣(yang)，目前最重要的(de)是(shi)(shi)研究了(le)(le)解GPT語(yu)言(yan)，只有(you)徹底了(le)(le)解它(ta)，才能(neng)更好的(de)發(fa)展(zhan)它(ta)、使用它(ta)，發(fa)展(zhan)出健康的(de)人工智(zhi)能(neng)產(chan)業。
結語：開源大模型生態逐漸完善
作為大(da)模(mo)型(xing)浪潮下備(bei)受矚(zhu)目(mu)的明星(xing)企業之(zhi)一，百川(chuan)智能自王(wang)小川(chuan)搭建(jian)團(tuan)隊、籌(chou)備(bei)研發起，已經發布四個大(da)模(mo)型(xing)：6月發布70億(yi)參(can)數規(gui)模(mo)開源(yuan)模(mo)型(xing)Baichuan-7B，7月發布130億(yi)參(can)數規(gui)模(mo)大(da)模(mo)型(xing)Baichuan-13B，8月發布530億(yi)參(can)數規(gui)模(mo)大(da)模(mo)型(xing)Baichuan-53B，再到現在(zai)的Baichuan2開源(yuan)大(da)模(mo)型(xing)，其大(da)模(mo)型(xing)產品(pin)落地、商業化應用之(zhi)路穩步向(xiang)前。
正(zheng)如張鈸院士(shi)提到的，可解釋性(xing)、幻覺問題是大(da)(da)模(mo)型亟需(xu)回答的兩大(da)(da)問題。開源(yuan)大(da)(da)模(mo)型對于(yu)學(xue)術研究推動的意(yi)義重大(da)(da)。當下，國內(nei)開源(yuan)開放(fang)的大(da)(da)模(mo)型生態社區正(zheng)在逐漸完善(shan)，相比于(yu)國外開源(yuan)大(da)(da)模(mo)型性(xing)能更好、應(ying)用更友好的大(da)(da)模(mo)型出現，有望加速國內(nei)大(da)(da)模(mo)型產業的突破。
