智東西(公眾號:zhidxcom)
編譯 | 陳駿達
編輯 | 李水青

微(wei)軟AI首批自研大模型來了!

智東(dong)西8月29日報道,今天,微軟旗下的(de)AI研(yan)究(jiu)機構微軟AI(Mircosoft AI,簡(jian)稱(cheng)MAI)推出(chu)了(le)首批(pi)兩款(kuan)全(quan)自研(yan)AI模型(xing),分別為MAI首款(kuan)端(duan)到端(duan)訓(xun)練的(de)基礎模型(xing)MAI-1-preview和首款(kuan)語(yu)音生成模型(xing)MAI-Voice-1。

MAI-Voice-1的發布時機十分(fen)湊巧,OpenAI也在今天發布了一款語音(yin)模(mo)型。MAI-Voice-1可提供高保真(zhen)、富有表現力的音(yin)頻,已經(jing)在Copilot Daily和Podcasts上線,還可在Copilot Labs進行體驗。

在智東西進行的實測中,這一模型展現出超高的定制化程度:用戶不僅可以選擇情緒模式、聲音模板,還至少有40種語體風(feng)格可供選擇。除了常見的喜悅、憤怒、悲傷、惡心、恐懼等情緒模板,模型還可以扮演機器人、海盜、吸血鬼、新聞主播、貓頭鷹等不同角色,對同一段文本進行自主改寫和演繹,可玩性超強。

每(mei)一個角色(se)都有各自獨特的(de)說話(hua)方式(shi)、口癖(pi)等(deng)。貓頭鷹會不停地“咕咕”叫,機器人有一種(zhong)“活人微死”的(de)感覺,新(xin)聞主播則一本正經。這(zhe)些角色(se)都是(shi)在統一聲音模板(ban)的(de)基礎上呈現的(de),展(zhan)現出很強的(de)可塑(su)性。

MAI-Voice-1生成速度也較快,微軟稱能在單款GPU上運行,一(yi)秒鐘輸出一(yi)分(fen)鐘的(de)音頻。不(bu)過,這一語音模型暫(zan)時不(bu)支持中文輸(shu)出(chu),輸(shu)入中文時會(hui)自動(dong)轉為(wei)英文。

微軟AI首個自研模型來了,實測可玩性超強,CEO回應與OpenAI隔閡

▲輸入中文文本后(hou),也會(hui)自動轉(zhuan)為英文

體驗鏈接:

//copilot.microsoft.com/labs/audio-expression

MAI-1-preview是一款混合專家模型,大約在1.5萬個英偉達H100 GPU上完成了預訓練和后訓練,主打指令遵循和日常問題解答等能力。

這一模型已經在LMArena(大模型競技場)內進行盲測,不過,智東西進行了多次“抽卡”,都沒能體驗到這一模型。未來幾周內,MAI-1-preview將會應用于Copilot的部分文本場景,以獲取反饋,優化用(yong)戶體驗(yan)。

新模型(xing)發布之際(ji),微軟AI CEO Mustafa Suleyman還(huan)接受了(le)(le)媒(mei)體Semafor的深度專訪,向外媒(mei)揭秘了(le)(le)自研(yan)大模型(xing)背后的考量(liang),并(bing)正面回應了(le)(le)外界(jie)普遍(bian)存在(zai)的關于(yu)微軟與OpenAI關系漸(jian)行漸(jian)遠(yuan)的看(kan)法。

微軟AI首個自研模型來了,實測可玩性超強,CEO回應與OpenAI隔閡

▲Mustafa Suleyman在微軟(ruan)發布(bu)會上(圖源:微軟(ruan))

MAI成立(li)于2024年3月,是微軟推進Copilot和(he)其他消費者AI產品和(he)研究的專門機構。MAI的CEO Suleyman曾(ceng)擔任DeepMind聯合創(chuang)(chuang)始人兼應用AI部門負責人一職,隨著DeepMind被(bei)收購(gou)而加入谷歌,并在2022年離職創(chuang)(chuang)辦大模型(xing)創(chuang)(chuang)企Inflection AI。

2024年初(chu),Infection AI與微軟達成6.5億(yi)美元(yuan)“人才收購(gou)”的(de)交易方案(an),Suleyman與大部分員工加入MAI,14個月(yue)后,他們交付了第一款自研模型(xing)。

Suleyman稱,AI對微軟的業務有根本性的意義,而自研模型計劃早在14個月前便已開始。他們會繼續與OpenAI等企業合作,也會使用開源模型,但重要的是確保始終有選擇權

MAI-1-preview被Suleyman定義為“人(ren)格原材料”,也就是說,模型可以在融入產品的過程中,表現出各種不一樣的人格特點。通過后訓練、提示詞工程等方法,未來的大模型可以涌現出“數百(bai)萬種(zhong)”不(bu)同的人格

微軟擁有打造強大模型所需的資源,正在構建世界上最大規模的GB200、GB300集群,也能順利地招募到人才。但Suleyman強調,規模固然重要,但效率同樣關鍵。這意味著要精挑細選高質量訓練數據,讓每一次(ci)浮點運算、每一次(ci)GPU迭代都(dou)物盡其用(yong)。

Suleyman還在訪談中分享了對“可解釋性”研究的看法,他認為模型本質是空心的,可(ke)解釋(shi)性研究有意(yi)義,但并不會揭示(shi)所謂(wei)意(yi)識的本質。

以(yi)下(xia)是對Suleyman最新訪談的完整編譯:

一、OpenAI不是唯一解,模型不是未來核心知識產權

主持(chi)人(ren):我(wo)很好奇,為什(shen)么微(wei)軟(ruan)需要擁有(you)自己的端到端預(yu)訓(xun)練基(ji)礎模(mo)型,而不是使(shi)用來自OpenAI等公司的這(zhe)些(xie)其他模(mo)型呢?

Mustafa Suleyman:這是一個很好的(de)問題。我們是世(shi)界上最(zui)大的(de)公(gong)司之一,而AI是未(wei)來(lai)(lai),不(bu)僅(jin)是技術的(de)未(wei)來(lai)(lai),也是我們在未(wei)來(lai)(lai)幾十年中進行(xing)交易、開展(zhan)業務(wu)和創造價值的(de)方式(shi)。

因(yin)此(ci),這(zhe)對微(wei)軟的業(ye)(ye)務來說(shuo)具(ju)(ju)有根本性的意(yi)義,必(bi)須具(ju)(ju)備內(nei)部的專業(ye)(ye)能(neng)力,去打造世界上最強大的模(mo)型。這(zhe)就是我(wo)們在大約14個月前加入微(wei)軟后(hou)不久,就開(kai)始著手自研模(mo)型工(gong)作的原因(yin)。這(zhe)是一段非常令人興(xing)奮的時期(qi)。

主持人:這次你們發布了兩款模型。一個是MAI-1-Preview,據我理解,這是一個大型語言模型(LLM)。然后還有一個語音模型,它們是兩個獨立的模型嗎?

Mustafa Suleyman:是的(de)(de),它們(men)(men)是兩(liang)個獨立的(de)(de)模(mo)型(xing)。我們(men)(men)的(de)(de)語(yu)音模(mo)型(xing)表(biao)現非常出色(se),流(liu)暢、干凈,而且富有表(biao)現力。我們(men)(men)希(xi)望確保微軟始終有多種選擇:會繼續使用第三(san)方開(kai)發者(zhe)的(de)(de)模(mo)型(xing),當然(ran)也(ye)會長期(qi)使用OpenAI的(de)(de)模(mo)型(xing)。同時我們(men)(men)也(ye)在(zai)用開(kai)源(yuan)模(mo)型(xing),并會堅持這樣做。

我認為未來(lai)的關鍵知識產權在于編排器(qi)——它(ta)將決定在處理某類查(cha)詢時該調用哪個模型(xing)。這就是我們(men)12到15個月前(qian)確立的方法(fa),也(ye)是我們(men)現在所(suo)走(zou)的路線(xian)。

主持人:編排器,是不是意味著它會自動幫用戶選擇最合適的模型?

Mustafa Suleyman:可以把編排器(qi)理解為一個路(lu)由器(qi),負責決(jue)定在何時(shi)將哪個請求交給(gei)哪個模型。

主持人:外界可能會把你們發布新模型解讀為微軟和OpenAI的關系出現疏遠,或者說兩者關系變冷。你怎么看?合作依然緊密嗎?

Mustafa Suleyman:我們的目標是(shi)進一步深(shen)化與OpenAI的合作,確保這種(zhong)關系能持續(xu)很多(duo)(duo)年。到目前(qian)為(wei)止,這種(zhong)合作是(shi)非(fei)常成功的——他們從中獲(huo)益很多(duo)(duo),我們也是(shi)。我希望(wang)并(bing)且有(you)信心(xin)我們會繼續(xu)合作,我對此沒有(you)任何擔憂。

二、集群量級小于業界頂級規模,盡量避免在無意義token上浪費算力

主持人:你們公開披露模型是用15000張H100 GPU訓練的,這很有意思,因為很多公司通常對此守口如瓶。現在有些公司動用的是10萬張H100 GPU,而且我們已經在邁向下一代GPU。你覺得是否可能用更少的GPU達到同樣的效果?

Mustafa Suleyman:我(wo)認為我(wo)們已經(jing)證(zheng)明了這是可能的(de)。如今一個15000張GPU的(de)集群,相比(bi)其(qi)他(ta)動(dong)輒使用數(shu)倍規模(mo)的(de)來說,算是小的(de)了。但(dan)即便(bian)如此,我(wo)們依(yi)然能獲得世界級的(de)性(xing)能。

這(zhe)是(shi)一(yi)個(ge)超越其(qi)重量級(ji)的模(mo)型(xing),表現不亞于世界上(shang)最頂尖(jian)的模(mo)型(xing)。而且這(zhe)只(zhi)是(shi)開始。一(yi)旦(dan)模(mo)型(xing)進入(ru)生產環(huan)境,開始收集反(fan)饋,迭代過程(cheng)將顯著提升性(xing)能(neng)。我們的團隊已(yi)經(jing)做(zuo)得非(fei)常好,這(zhe)是(shi)一(yi)個(ge)重要(yao)的里程(cheng)碑,但對我們來說這(zhe)只(zhi)是(shi)起點。

主持人:那你們有沒有特別針對某些基準測試?

Mustafa Suleyman:我(wo)們(men)在各(ge)種主流基準測(ce)試上(shang)都進行了訓練(lian)。如今模(mo)型必須具備通(tong)用性,尤其(qi)是文(wen)本任(ren)務。同(tong)時我(wo)們(men)也在逐漸擴展到多(duo)模(mo)態,因為多(duo)模(mo)態能讓模(mo)型在更多(duo)數據上(shang)學習(xi),從(cong)而表現(xian)得更好。我(wo)們(men)對(dui)未來的發展持開放(fang)態度。

主持人:那MAI是否已經具備你所需要的資源?是不是GPU越多越好?

Mustafa Suleyman:我們剛剛開始在GB200上(shang)進行訓練和(he)測(ce)試。微(wei)軟(ruan)正在構建(jian)世界上(shang)最(zui)大規(gui)模的GB200、GB300集(ji)群(qun)之(zhi)一。它們會為OpenAI提(ti)供支持,也會服務于MAI以及(ji)我們的付費推理合作伙(huo)伴。

我(wo)們有一個(ge)為期五年(nian)的(de)宏(hong)大路線圖,每個(ge)季(ji)度都會持續投入。這種趨勢還會繼續下去。

規(gui)模固然重要,但效(xiao)率同(tong)樣關鍵。這意味著要精挑細選高質(zhi)量訓(xun)練數(shu)據,讓每一次浮(fu)點運算、每一次GPU迭代(dai)都(dou)物盡其用(yong)。

如今訓練模型的(de)(de)關鍵在(zai)于數(shu)據選擇——避免在(zai)無意義(yi)的(de)(de)token上浪費算力(li)。我們的(de)(de)新模型證明了,在(zai)極高(gao)效(xiao)率的(de)(de)前提(ti)下,也能(neng)取得一(yi)流的(de)(de)表現(xian)。

三、MAI-1-Preview是“原材料”,可打造出大量人格

主持人:那么,使用這些模型的體驗如何?幾周前你寫了一篇文章,討論了“近似有意識”的AI,你提醒我們要避免這種情況。但在Inflection和微軟,你們也強調過讓模型具備同理心、擁有讓人樂于交流的人格特質。這篇文章是不是意味著方向要調整?

Mustafa Suleyman:不,并不是(shi)。首(shou)先要認(ren)識(shi)到,人類所具備的很多能力(li)——不論是(shi)智商(shang)(IQ)、情商(shang)(EQ)、行為能力(li),還是(shi)社交智能(SQ)——本(ben)質上都(dou)是(shi)高度可訓練的。模型也會逐漸獲得這些能力(li),這是(shi)它們的“默認(ren)”發展(zhan)方向。

模型通過模仿(fang)學習,而它們(men)擁(yong)有海量的模仿(fang)數據可用。作為“雕塑(su)家”,我們(men)正在塑(su)造它們(men)的知識、人格特質、行(xing)為能力和(he)社會智(zhi)能。

關鍵(jian)問題是:哪些(xie)能力是我們(men)希望(wang)模型擁(yong)有的?哪些(xie)是我們(men)不希望(wang)它們(men)擁(yong)有的?我們(men)如何發現(xian)潛在的副作用,并以負責(ze)任的方式進行迭(die)代?

我寫這篇文章的(de)目的(de),就(jiu)是提醒大(da)家:盲目追求模型模仿(fang)人類的(de)全部能(neng)(neng)力,存在實質性的(de)風(feng)險(xian)。我們必須(xu)從現在開始認真思考,而(er)不是等到(dao)問題真正出現才去(qu)補(bu)救(jiu)。這也是我職業(ye)生涯的(de)核心目標之一——推動大(da)家去(qu)思考兩三年后(hou)可能(neng)(neng)會(hui)發生什么,而(er)不是忽視它。

我們需要(yao)認真(zhen)面(mian)對AI進入社會后(hou)會帶來的影響。

主持人:雖然你說那一步還沒到,可能要幾年后,但最近新聞里出現了OpenAI和Character.AI遭遇的訴訟,指控聊天機器人導致自殺。你覺得這是不是你文章中提到的風險?這是你擔心的情況嗎?

Mustafa Suleyman:我認為未來會出現(xian)各種難以預料的突發(fa)效應(ying)。我們能做的,就是(shi)提前(qian)思考可(ke)能性(xing),并在發(fa)現(xian)問題時及(ji)時公開(kai),認真對待(dai),并推動社區開(kai)發(fa)者迅速(su)采取行動。

回顧(gu)以往的技術發展,很多時(shi)候潛在風險都會被回避,導致反應遲緩。我(wo)認為這(zhe)一次我(wo)們必(bi)須謹慎、主動,同時(shi)盡可能快速地(di)推進技術落地(di),并把好(hao)處惠及(ji)世界。

主持人:和MAI-1或語音模型交流時,會有特定的感覺嗎?你們的目標是什么?是讓人感覺像在和一個善良、有同理心的人對話,但又不至于假裝是人類嗎?你們如何保持這種平衡?

Mustafa Suleyman:MAI-1-Preview可以被(bei)看作是(shi)“人格原材(cai)料”。最終的產(chan)品——無(wu)論是(shi)Copilot還是(shi)其他應用——都會被(bei)塑造出特定的人格和對(dui)話風(feng)格。

我(wo)預計(ji)社區和開源(yuan)開發者(zhe)會(hui)非(fei)常積(ji)極地嘗試(shi)各種不(bu)同的人(ren)格。我(wo)相信未來會(hui)出現數以百萬計(ji)的版本,就像(xiang)現實(shi)中存在(zai)數以百萬計(ji)的個人(ren)、品牌和組織一樣(yang)。

每當人類發(fa)明或發(fa)現一種(zhong)新的(de)交流媒介,都會(hui)催生大量(liang)變(bian)體。這一次也(ye)不例(li)外(wai)。過(guo)去兩三年,大模(mo)型大多只有一種(zhong)或極(ji)少(shao)數幾種(zhong)人格。有些開發(fa)者嘗試過(guo)角色設(she)定或花哨的(de)個性(xing)化,但在大型企業產品中依(yi)然(ran)很(hen)少(shao)見。我預計未來幾年這種(zhong)情況會(hui)發(fa)生根本變(bian)化,這正是(shi)我在博(bo)客中呼吁(yu)大家注意的(de)。

主持人:聽起來在預訓練階段幾乎沒法做什么,這些工作只能在后訓練里處理。

Mustafa Suleyman:是的。預(yu)訓練(lian)階(jie)段基本(ben)無法干預(yu)。后訓練(lian),甚(shen)至(zhi)提示工程,都是非常(chang)強大的方法,而且操作并不(bu)復雜,很多人都能做到。

因此,我們應該預期未來會(hui)出現數百萬種不同(tong)的(de)人(ren)格(ge),各自有不同(tong)的(de)背景故事和能力。這會(hui)讓AI產品與以(yi)往(wang)的(de)技術和產品截(jie)然不同(tong)。

四、大模型是空心的,追求可解釋性是在“擬人化”

主持人:當你談到塑造時,有些人稱訓練大模型幾乎就像種地一樣,在培育一個模型。在模型變得更有能力,更大之后,為了實現你的上述目標,是否需要更深入地理解模型呢?比如解決黑箱問題,深入到單個神經元中,以實現這個目標呢?

Mustafa Suleyman:我覺(jue)得是有(you)可能需(xu)要的。但(dan)同時,我有(you)一種(zhong)直覺(jue),認為對“可解(jie)釋性”的執著其實(shi)是一種(zhong)擬(ni)人化的想法。

它假設在(zai)(zai)生成語言、模擬體(ti)驗(yan)的過程中(zhong),語言背后必然有某種(zhong)“實(shi)體(ti)”,但在(zai)(zai)我看來并沒有。事實(shi)很(hen)清楚:一個簡單的預測引擎就(jiu)能以極其深刻的方(fang)式(shi)模擬出體(ti)驗(yan)和互動。

但這并不(bu)意(yi)味(wei)著在大型(xing)語言模型(xing)內部真(zhen)的發生了(le)某種(zhong)根本性的“體驗(yan)”。它只(zhi)是幾(ji)乎完美地模仿(fang)了(le)體驗(yan)的特(te)性。而這就(jiu)是模仿(fang)和真(zhen)實體驗(yan)之間(jian)的根本區別。

我(wo)們人類和其他動物(wu)的(de)意識,其實是(shi)基于對(dui)(dui)感官輸入的(de)第一手、實時(shi)的(de)體驗,對(dui)(dui)它們進行存(cun)儲(chu)、處理、適(shi)應,然后再基于此生成(cheng)預測。

在(zai)我看來,大語言模型是“空心(xin)”的。試(shi)圖去(qu)探索它們的內部運(yun)作機制,某種(zhong)程(cheng)度上(shang)也(ye)是一種(zhong)擬人化。

當然,這是一個有趣的(de)科學探索,應該繼續做下去(qu)。但它不太(tai)可能(neng)揭示出某(mou)種根本性的(de)“意識的(de)本質(Consious Truth)”。而這正是一些學者(zhe)或開發者(zhe)開始探討的(de)東(dong)西。我認為這種探索是錯誤(wu)的(de),也是過早的(de)。

主持人:但即使它們是“空心的”,它們在規模變大、技術改進時,確實會變得更強。所以當它們更強大、更龐大、更難理解時,你認為它們會不會在某種程度上變得難以控制,甚至在后訓練階段也無法掌控?

Mustafa Suleyman:我(wo)不這(zhe)(zhe)么認為。就像(xiang)我(wo)在博文中寫的(de)那樣,我(wo)看不出(chu)這(zhe)(zhe)些系統會(hui)出(chu)現某種“欲(yu)望(wang)”、“動機”或“意志”的(de)涌現屬(shu)性的(de)理由。

我沒有理(li)由相信這種情況會發(fa)生。從(cong)歷史上(shang)看,這些(xie)特質的(de)(de)出現是因(yin)為(wei)我們有“戰或逃(tao)”的(de)(de)本能,為(wei)了生存而對環境作(zuo)出反應。

后(hou)訓練(lian)的(de)好(hao)處(chu)就在于,它是一種(zhong)經過反(fan)復(fu)驗(yan)證、非常可靠的(de)方式,可以(yi)用來塑造特(te)定的(de)行為(wei)。因此,我認為(wei)作為(wei)模型開發者,我們的(de)責任是仔細思考:哪(na)些行為(wei)要(yao)通過后(hou)訓練(lian)去(qu)抑制,哪(na)些行為(wei)要(yao)去(qu)放大(da)。

這(zhe)(zhe)不會(hui)自然而(er)然、涌現式地(di)發(fa)生(sheng)(sheng)。如(ru)果會(hui)發(fa)生(sheng)(sheng),那一定是因為人們(men)刻意地(di)將這(zhe)(zhe)些特性工(gong)程化地(di)植入(ru)系(xi)統。因為模型并沒有真正的(de)體驗,它(ta)們(men)只是高(gao)質量地(di)模擬對話(hua)而(er)已(yi)。所(suo)以(yi)好消(xiao)息(xi)是,我(wo)認為我(wo)們(men)在這(zhe)(zhe)些事情上(shang)仍然有很大的(de)控制力。我(wo)們(men)可以(yi)在積極降低風險的(de)同時,盡可能發(fa)揮它(ta)們(men)的(de)優(you)勢。這(zhe)(zhe)就(jiu)是目標。

五、招募人才沒遇到瓶頸,MAI飛輪已經開始旋轉

主持人:你們在新聞稿里其實也提到過——“來和我們一起工作吧,我們正在做很酷的事”。招募人才一直是AI行業的一個大問題。你們在這方面情況如何?能不能以理想的薪資招到你們想要的人才?

Mustafa Suleyman:當然(ran)可以。我們有一支非常出色的團隊。從Inflection帶來(lai)了一個極(ji)其強大的團隊,此后也從各大實驗室招聘到了一批優秀的人才。

我(wo)認為我(wo)們的(de)招聘非(fei)常順(shun)利。而且我(wo)們一(yi)直很謹慎,不(bu)會增長得過快(kuai)或過大(da)。其實在這里,你只(zhi)需(xu)要相對較小的(de)團(tuan)隊,就能做出高(gao)質量的(de)工作。

與此同時,我們(men)的(de)(de)團隊也正在(zai)成長到數百人規模(mo),所以(yi)在(zai)招聘上我們(men)處在(zai)一個(ge)很好的(de)(de)狀態。

主持人:那你們在吸引年輕的博士生時,通常是怎么說服他們?為什么要選擇來這里,而不是去OpenAI或DeepMind?

Mustafa Suleyman:我認(ren)為世界上最優秀(xiu)的(de)人才,想(xiang)要(yao)做的(de)是那(nei)些真正有影響力的(de)工作,能帶來改變、能做出(chu)優秀(xiu)產品,同(tong)時解決如何(he)高效(xiao)實現(xian)目(mu)標的(de)技術挑(tiao)戰。

而我(wo)們(men)已經證明了:我(wo)們(men)能夠挑選非常高質量的訓(xun)練數(shu)據(ju),用相對有限數(shu)量的GPU,打(da)造(zao)出世界(jie)級的模(mo)型。

我覺得這(zhe)就是(shi)一(yi)(yi)張很有吸引力的(de)名片,能讓更多人(ren)愿(yuan)意加(jia)入我們的(de)團隊(dui)。我相信這(zhe)只(zhi)是(shi)我們未來幾個季度將推出的(de)眾多模型中的(de)第(di)一(yi)(yi)個。我很期待繼續打(da)造一(yi)(yi)支優秀的(de)團隊(dui)。

主持人:我很好奇,在這次發布之前有報道說模型出現了延遲、遇到問題,早期沒能達到預期的能力。你們從中學到了什么?

畢竟這是微軟首個完整的端到端基礎模型。是不是很大的挑戰?有沒有收獲很多?

Mustafa Suleyman:是的(de)(de),毫無疑問。構建(jian)如此規模的(de)(de)集群、在如此龐(pang)大的(de)(de)數(shu)據上進行(xing)訓練,總是很大的(de)(de)挑戰。

它需要(yao)大(da)量的調(diao)試(shi)和(he)迭代(dai),需要(yao)來回(hui)折騰,需要(yao)耐(nai)心,還(huan)需要(yao)謙遜。每(mei)一家實驗(yan)室都經歷過(guo)這種(zhong)過(guo)程,通過(guo)多次迭代(dai)才推出(chu)新版本。

但我(wo)認為我(wo)們擁有(you)一支非常優(you)秀(xiu)的(de)(de)團隊,會繼續不斷(duan)迭代,把新的(de)(de)優(you)秀(xiu)模型推向世界。我(wo)對未來充(chong)滿期待,因(yin)為我(wo)們現在已經讓自己的(de)(de)“飛(fei)輪”轉了起來,接下來會有(you)很多非常有(you)趣的(de)(de)事(shi)情發生(sheng)。

六、核心模型仍需繼續迭代,不排除開源可能

主持人:你之前在Inflection做過類似的事,再之前你在DeepMind,但那時還沒有大家都在搞十萬級GPU集群的規模。所以那些經驗能直接遷移過來嗎?還是說每家公司都有自己的一套風格或挑戰,需要重新學習?

Mustafa Suleyman:這是個好問題。歸(gui)根結底,這一切都是在于(yu)建立一種偉大的(de)文化。文化吸引團(tuan)(tuan)隊,團(tuan)(tuan)隊打造模(mo)型,而團(tuan)(tuan)隊的(de)價值觀(guan)最終會體現在我們做出的(de)模(mo)型和產品中。

所(suo)以我們正在努力建設一種友(you)善、支持性強(qiang)、可持續的文(wen)化,同時專注于(yu)技術卓越,盡可能做到最好。

很(hen)多人會覺得(de)這(zhe)非常(chang)令人滿(man)足,尤其是當我(wo)們的產(chan)品能夠(gou)觸達數十(shi)億消費者(zhe)、數十(shi)萬大(da)小企業的時(shi)候。能讓技術惠及這(zhe)么多人,本身就(jiu)是很(hen)令人滿(man)足的事。

主持人:說到這里,你們預計什么時候能把這些模型真正應用到微軟龐大的產品網絡里?

Mustafa Suleyman:很(hen)快。我們還需要在核心模(mo)型上繼續(xu)一些(xie)迭代,然后(hou)當然要做大量(liang)的后(hou)訓(xun)練(lian),把它(ta)們應用到不同的產(chan)品領(ling)域,并讓(rang)它(ta)有可能通過Foundry API提供(gong)給外部開發者使(shi)用。這(zhe)一切都在推進中(zhong),很(hen)快就會發生。

主持人:你提到過你們從開源世界學到了很多,但這個模型本身不是開源的。未來會不會開源?還是說這并不是你們的方向?

Mustafa Suleyman:有可(ke)能(neng)。我(wo)們保(bao)持開放的態(tai)度,畢竟現在(zai)也有很多優秀的開源(yuan)模(mo)型。我(wo)認為第一步(bu)是看(kan)(kan)看(kan)(kan)它在(zai)我(wo)們產(chan)品(pin)中的表現,收集反饋,進行迭代(dai),然(ran)后可(ke)能(neng)會提供給其他客戶使用。我(wo)們現在(zai)正在(zai)考慮(lv)所(suo)有這些事情。

主持人:剛才還提到了GB200集群。那么MAI-2已經在路上了嗎?是不是一年內就能看到?接下來是什么?

Mustafa Suleyman:是的(de),我們已經在(zai)做下一(yi)個模型了,規模肯定更大(da),訓練方案上也會有(you)(you)一(yi)些新(xin)的(de)調整。一(yi)切都在(zai)進行中,未來幾個月、幾年會有(you)(you)很多新(xin)東(dong)西(xi)。