智東西（公眾號：zhidxcom）
編譯 | Vendii
編輯 | 漠影
智(zhi)東西8月27日消息，據VentureBeat報道，德(de)國AI創(chuang)企Aleph Alpha今日發布了兩個(ge)大語言模(mo)型（LLM）。這兩個(ge)模(mo)型各擁(yong)有70億個(ge)參數，可以在多種歐洲語言中提(ti)供(gong)簡潔(jie)、長度可控(kong)的響應，并已(yi)開源。該公司宣稱(cheng)，其(qi)(qi)模(mo)型的性能可以與其(qi)(qi)他在70億到80億參數量(liang)級的頂(ding)尖開源模(mo)型相媲美。
除了(le)新發布(bu)的(de)(de)模型，Aleph Alpha之前還開(kai)發了(le)擁有700億參數(shu)（大約(yue)是GPT-3的(de)(de)2/5）的(de)(de)預訓練模型Luminous，并在其(qi)基礎上訓練了(le)聊天機(ji)器人Lumi。該公(gong)司(si)成立(li)于2019年(nian)，通常被視為(wei)歐洲在AI領域的(de)(de)重(zhong)要參與者(zhe)之一。2023年(nian)11月(yue)7日(ri)，該公(gong)司(si)宣(xuan)布(bu)獲得超過5億美元（折合約(yue)36億人民幣(bi)）B輪融資(zi)，由博世風(feng)投、施瓦(wa)茨集(ji)團(tuan)(tuan)、SAP、惠普(pu)等知名財團(tuan)(tuan)參投。
下載地址：
一、與Mistral、Llama能力相近，且更安全透明
Aleph Alpha發布(bu)了兩(liang)個版本的(de)模型(xing)(xing)：標準(zhun)版（Pharia-1-LLM-7B-control）和(he)“對(dui)齊(qi)”版（Pharia-1-LLM-7B-control-aligned）。其中(zhong)，“對(dui)齊(qi)”版模型(xing)(xing)經過了進(jin)一步的(de)訓練(lian)，目的(de)是降低模型(xing)(xing)輸出中(zhong)的(de)有害內容和(he)偏見，從而(er)提高模型(xing)(xing)的(de)安全性和(he)可靠性。
這兩個模(mo)型(xing)都在多語(yu)(yu)言基礎語(yu)(yu)料庫上(shang)訓(xun)練，并針對德語(yu)(yu)、法語(yu)(yu)和(he)西班牙語(yu)(yu)進(jin)行了文化和(he)語(yu)(yu)言優化，能提供簡明扼要(yao)、長度可控的回答。該公司在官(guan)網上(shang)發布(bu)了模(mo)型(xing)在AlpacaEval（由來自斯坦福的團隊開發的大(da)語(yu)(yu)言模(mo)型(xing)評(ping)測系統）上(shang)的評(ping)測結果：
標(biao)準版Pharia在(zai)德語、法語和西班牙語上(shang)的表(biao)(biao)現(xian)和法國的模型(xing)Mistral、美國的模型(xing)Llama相(xiang)差不(bu)大，但(dan)在(zai)英語上(shang)的表(biao)(biao)現(xian)則(ze)不(bu)如兩者。“對齊“版Pharia則(ze)大體上(shang)比標(biao)準版Pharia表(biao)(biao)現(xian)略差一(yi)點。
▲Pharia與Mistral、Llama的分數比較(jiao)。其中，WR指勝率(lv)，LC指長度控制勝率(lv)（即較(jiao)短的完成結(jie)果(guo)優先于較(jiao)長的）。（圖源：Aleph Alpha發布在(zai)Hugging Face上的Model card）
據(ju)Aleph Alpha官網介紹，模型(xing)的(de)訓練數(shu)據(ju)經過(guo)嚴格(ge)篩選，確保符合歐(ou)盟及相(xiang)關國(guo)家法(fa)規(gui)中的(de)版權(quan)和數(shu)據(ju)隱(yin)私法(fa)律。相(xiang)比之下，許(xu)多大語言模型(xing)則依賴(lai)于大量網絡抓取的(de)數(shu)據(ju)。除了版權(quan)和隱(yin)私問題之外(wai)，網絡抓取的(de)數(shu)據(ju)還可(ke)能(neng)包(bao)含(han)錯誤、過(guo)時或(huo)不準確的(de)信(xin)息，包(bao)含(han)偏(pian)見和歧(qi)視，甚至可(ke)能(neng)含(han)有對安全造成威(wei)脅的(de)惡意內容(rong)。
該公司還開(kai)源了其(qi)訓練代碼庫“Scaling”，這不僅讓研究人員能夠使用模型(xing)，還讓他們(men)能夠理解并(bing)改(gai)進模型(xing)的訓練過程本(ben)身。
此(ci)外，該模型引入了(le)(le)創新的(de)技術(shu)，使用了(le)(le)一種稱(cheng)為“分組查詢(xun)注意力(li)”（Group Query Attention，GQA）的(de)技術(shu)。Aleph Alpha聲稱(cheng)這提高了(le)(le)推理速度，且幾乎沒有犧牲(sheng)質(zhi)量。模型還采用了(le)(le)“旋(xuan)轉式位(wei)置編碼”（Rotary Position Embedding，RoPE）的(de)方法，使模型能夠更好地(di)理解句(ju)子中單詞(ci)的(de)相對位(wei)置。
二、注重模型合規性的歐洲AI：可審計模型在受監管行業中或有獨特優勢
隨(sui)著(zhu)AI技(ji)術(shu)的(de)飛速發展(zhan)，其在金融(rong)、醫療等高度(du)受監管(guan)行業(ye)中的(de)應用日益增多。這些行業(ye)對AI系統的(de)透明(ming)度(du)和問責性有著(zhu)嚴格要(yao)求。歐盟即將(jiang)實(shi)施的(de)AI法案進一步強調了這些要(yao)求，預計將(jiang)于2026年生效。
在這樣(yang)的(de)背(bei)景下，Aleph Alpha的(de)模型發布策略與歐(ou)盟AI法(fa)案的(de)監管(guan)方向保持一致，顯示出(chu)該公司對(dui)監管(guan)適應(ying)(ying)性的(de)高(gao)度重視。通過(guo)開源模型，Aleph Alpha將自己定(ding)位(wei)為符合(he)歐(ou)盟標準的(de)AI開發先鋒(feng)。這一開源策略有利于(yu)應(ying)(ying)對(dui)日漸增長的(de)行業(ye)監管(guan)壓力和(he)公眾對(dui)AI倫理的(de)要(yao)求。
企(qi)業客戶越來(lai)越需要能(neng)夠(gou)確保(bao)合規性(xing)(xing)和(he)(he)倫理(li)性(xing)(xing)的(de)AI解(jie)(jie)決方(fang)(fang)案(an)。隨著對AI解(jie)(jie)決方(fang)(fang)案(an)在(zai)特定監(jian)管(guan)(guan)環境下審(shen)核(he)和(he)(he)定制的(de)需求增加，Aleph Alpha的(de)開放方(fang)(fang)法使(shi)其在(zai)這(zhe)些市場(chang)中(zhong)具有潛(qian)在(zai)的(de)競爭優勢(shi)。特別是在(zai)監(jian)管(guan)(guan)合規性(xing)(xing)越來(lai)越重要的(de)歐(ou)洲市場(chang)，Aleph Alpha的(de)戰略與“可解(jie)(jie)釋AI”趨勢(shi)一致，可能(neng)為企(qi)業AI解(jie)(jie)決方(fang)(fang)案(an)中(zhong)的(de)透明度設定新的(de)標準。
結語：AI霸權的競賽中，開源模型該如何取勝？
通過倡(chang)導開(kai)放(fang)性(xing)、堅守(shou)合規性(xing)以及(ji)不斷推(tui)動(dong)技(ji)術(shu)創新(xin)，Aleph Alpha正在挑戰目前由科技(ji)巨頭主導的(de)封閉和不透(tou)明(ming)(ming)的(de)AI開(kai)發模(mo)式。該公司(si)開(kai)放(fang)了Pharia模(mo)型及(ji)其訓練代碼，這(zhe)一行動(dong)有助于(yu)緩解公眾對于(yu)AI系統”黑箱”特(te)性(xing)的(de)擔憂，增強對AI技(ji)術(shu)的(de)信任(ren)，這(zhe)種透(tou)明(ming)(ming)度對于(yu)建立公眾信任(ren)至(zhi)關重要。
然而，從長遠來(lai)看，這(zhe)種開源方法(fa)是否能夠與科(ke)技巨頭形成有效競爭(zheng)，仍然有待觀察。雖(sui)然開放性有助于激發創新并(bing)吸引開發者社(she)區(qu)，但(dan)它也需(xu)要(yao)大量的(de)資源來(lai)持續推動并(bing)圍繞(rao)這(zhe)些模(mo)型構建一(yi)個繁(fan)榮的(de)生態系統。Aleph Alpha需(xu)要(yao)在促進(jin)社(she)區(qu)參與和實現戰(zhan)略發展之間找到合適(shi)的(de)平衡點，以保持在迅速演變的(de)AI行業(ye)中(zhong)的(de)競爭(zheng)力。
來源(yuan)：VentureBeat、Aleph Alpha官網、Hugging Face
