智東西（公眾號：zhidxcom）
編譯 | 汪越
編輯 | Panken
智東西(xi)11月14日消息，據彭博社報道，據知情人(ren)士(shi)透露，OpenAI的(de)(de)最(zui)新(xin)模(mo)型(xing)Orion在開(kai)發過(guo)程(cheng)中未能(neng)(neng)達到預期的(de)(de)性能(neng)(neng)，特別(bie)是在編碼任務上(shang)未能(neng)(neng)超越前代產品GPT-4；谷歌的(de)(de)Gemini模(mo)型(xing)同樣未能(neng)(neng)實現重大突破；Anthropic的(de)(de)Claude 3.5 Opus模(mo)型(xing)因技(ji)術難題推遲了(le)發布(bu)計劃，并多次(ci)調整發布(bu)時間。
▲主要AI模型發布日期（圖源：彭博社）
過(guo)去(qu)，行(xing)(xing)業普(pu)遍(bian)奉(feng)行(xing)(xing)Scaling Law，認為隨(sui)(sui)(sui)著(zhu)數據量(liang)和(he)算(suan)力(li)的(de)(de)增加，模型性能也應隨(sui)(sui)(sui)之提升。基于這一(yi)理(li)論，這些公(gong)司紛(fen)紛(fen)投入巨資，建設(she)AI基礎設(she)施，擴展數據中心，并購買大量(liang)GPU進行(xing)(xing)訓(xun)練(lian)。然而(er)，隨(sui)(sui)(sui)著(zhu)訓(xun)練(lian)速度的(de)(de)放(fang)緩(huan)，繼(ji)續依賴這一(yi)策略(lve)的(de)(de)可(ke)行(xing)(xing)性開始遭(zao)遇質疑(yi)。
近年來(lai)，OpenAI、谷歌和美(mei)國AI大模(mo)型獨角獸Anthropic在極短的(de)時間(jian)內推(tui)出了(le)大量復(fu)雜的(de)AI模(mo)型。然而，隨(sui)著高質量數據(ju)的(de)短缺，這(zhe)些公司在模(mo)型開發的(de)速度和性能上出現了(le)明顯放緩，甚至未(wei)能達到預期的(de)效果。
OpenAI CEO薩姆·阿爾特曼（Sam Altman）兩周前(qian)談道(dao)，未來的突破可能不會(hui)是模型規模的單純(chun)擴展(zhan)，而是開發(fa)新的應用和用例，例如AI Agent。
一、大模型遭遇平臺期，數據和算力是瓶頸
OpenAI、谷歌和Anthropic這三(san)家(jia)公司在構建新(xin)一(yi)代AI系統時，都面臨了相似的問題：高質量(liang)數據，特別是編碼數據，愈(yu)發(fa)難(nan)以獲(huo)得(de)。在這種情況下，即(ji)使是微小的改進，也很難(nan)證明新(xin)模型所(suo)需的巨大研發(fa)投(tou)入是合(he)理的。
近期的困難(nan)表明，單(dan)純依(yi)賴(lai)規模擴(kuo)展已(yi)難(nan)以帶來預期的技(ji)術飛(fei)躍。對于實現AGI（通用人工智能）的可行(xing)性，業內的信心也(ye)開始(shi)動搖。
AI初創(chuang)公司Hugging Face首席(xi)倫理(li)科學家瑪格麗特(te)·米切爾（Margaret Mitchell）談道(dao)，AGI的“泡沫(mo)”正在破(po)裂，現(xian)有(you)的訓練方法可(ke)能無法滿足AI在多(duo)任務處(chu)理(li)上的需求(qiu)，急需全新的訓練方法來(lai)應對(dui)這一(yi)挑(tiao)戰。
▲AI初創公司Hugging Face 首(shou)席倫理科學(xue)家瑪格麗(li)特(te)·米切爾 （Margaret Mitchell） （圖源：彭博社）
目(mu)前，OpenAI仍(reng)在對Orion進行“后(hou)訓練”，并嘗試通過加入人(ren)類反饋(kui)來(lai)改進其表(biao)(biao)現。但(dan)Orion的正式發布尚無明(ming)確時間表(biao)(biao)，預計不太可(ke)能(neng)在明(ming)年(nian)初推(tui)出。
谷歌DeepMind回應(ying)稱，雖(sui)然Gemini模型的(de)進展符合(he)預期(qi)，但公(gong)司表(biao)示會(hui)在準備(bei)好時分(fen)享更多細節。OpenAI則(ze)拒絕(jue)置評(ping)。Anthropic方面，CEO達(da)里奧(ao)·阿莫迪（Dario Amodei）在播客中(zhong)說，Scaling Law并非宇宙法(fa)則(ze)，而是經驗(yan)規律，雖(sui)然“很多因素”可能影響AI的(de)發展，但他對克服(fu)這些障礙(ai)依然保持樂觀。
▲Anthropic CEO達里奧(ao)·阿莫迪（Dario Amodei）（圖(tu)源(yuan)：彭博(bo)社）
隨著社交媒體帖子、在(zai)線評論、書籍及其他公共數據來源的(de)(de)消耗，AI公司面臨著前所未有的(de)(de)高(gao)質量數據短(duan)缺(que)問題。為(wei)了構建超越人類的(de)(de)AI系統，這些(xie)公司所需的(de)(de)數據不僅僅是維基(ji)百科和(he)YouTube字幕(mu)等基(ji)礎數據，更多的(de)(de)是廣泛且高(gao)質量的(de)(de)數據集。
以(yi)(yi)OpenAI為(wei)例，盡管(guan)公(gong)(gong)(gong)司(si)已(yi)與出(chu)版(ban)商簽(qian)署協(xie)議，確(que)保(bao)其數(shu)據(ju)來(lai)源的(de)高質量，但隨著(zhu)AI技術(shu)(shu)的(de)不斷進步，出(chu)版(ban)商和(he)藝(yi)術(shu)(shu)家對(dui)內容的(de)知識產權保(bao)護愈加(jia)嚴格(ge)，這(zhe)也加(jia)大了AI公(gong)(gong)(gong)司(si)面臨的(de)法律壓力(li)。為(wei)了彌補(bu)數(shu)據(ju)不足，許多公(gong)(gong)(gong)司(si)開始招(zhao)聘具有研究生學歷的(de)人，特別是在數(shu)學和(he)編碼領(ling)域(yu)，以(yi)(yi)便更(geng)(geng)精確(que)地標注和(he)訓(xun)練與特定學科(ke)相(xiang)關的(de)數(shu)據(ju)，使得AI系統能夠更(geng)(geng)好地響(xiang)應專業領(ling)域(yu)的(de)查詢。
但是，這一過(guo)程的(de)進展緩(huan)慢(man)且成本高昂。與通過(guo)網絡(luo)抓取大量(liang)公開數據(ju)相比，獲取并(bing)標注專業領(ling)域的(de)高質量(liang)數據(ju)的(de)成本顯著增加。同時，為了填補數據(ju)缺口，許多公司也開始(shi)嘗試使用(yong)合成數據(ju)，如(ru)計(ji)算機(ji)生成的(de)圖像和文本。不過(guo)，這種方(fang)法依然面臨諸多挑戰，特別是在確保數據(ju)質量(liang)和多樣(yang)性方(fang)面。
美國(guo)風險投(tou)資公司(si)New Enterprise Associates的AI戰(zhan)略主(zhu)管莉拉·特(te)列蒂科夫（Lila Tretikov）談道，數(shu)據問題(ti)不僅(jin)(jin)僅(jin)(jin)關乎數(shu)量(liang)，更關乎質量(liang)和多樣性。缺乏人(ren)工指導(dao)，尤其是在語言(yan)處理領域(yu)，將難(nan)以獲得獨(du)特(te)且(qie)高質量(liang)的數(shu)據集。
二、“越多越好”不再奏效，AI公司抉擇兩難
許多(duo)AI公司堅持(chi)“越多(duo)越好”的(de)策略，投入大(da)量資源(yuan)(yuan)，以期打造接近人(ren)類智(zhi)能的(de)AI系統(tong)。但隨著計算資源(yuan)(yuan)和數據的(de)成(cheng)本(ben)不(bu)斷上(shang)升，新模(mo)(mo)型開發的(de)風(feng)險和期望也(ye)在持(chi)續(xu)增(zeng)加。Anthropic CEO阿(a)莫迪(di)在播客中透露，預計今(jin)年(nian)公司將花費1億美(mei)(mei)元來訓練尖端(duan)模(mo)(mo)型，未(wei)來幾(ji)年(nian)這一數額可能達到1000億美(mei)(mei)元。
隨(sui)著成本(ben)的不(bu)(bu)斷攀升，許多人開(kai)始對(dui)AI模型進展的速度產生(sheng)疑慮。馬薩(sa)諸塞州沃(wo)爾瑟姆(mu)本(ben)特利大學數學副教授(shou)諾(nuo)亞·吉安西拉庫薩(sa)（Noah Giansiracusa）談道，雖(sui)然AI模型會持(chi)續(xu)改進，但(dan)增長(chang)(chang)速度和技術突破(po)的持(chi)續(xu)性值得懷疑。短期內(nei)快速的技術進展令(ling)人振奮，但(dan)這種(zhong)增長(chang)(chang)模式是不(bu)(bu)可持(chi)續(xu)的。
硅谷的(de)AI技(ji)術進(jin)步困(kun)境(jing)已(yi)經(jing)成(cheng)為焦點(dian)問(wen)題(ti)。今年3月(yue)，Anthropic發布(bu)了(le)Claude Opus模(mo)型，曾宣稱(cheng)其在推理和編碼等領域超(chao)越了(le)OpenAI的(de)GPT-4和谷歌的(de)Gemini模(mo)型。然而(er)，到(dao)10月(yue)，Opus的(de)發布(bu)消息突然從公(gong)司網(wang)站消失了(le)。
據知情人士(shi)透(tou)露，Anthropic在(zai)Opus的(de)(de)開發過(guo)程中遇到(dao)了(le)不少挑(tiao)戰。雖然Opus在(zai)某些基準(zhun)測試中表(biao)現優異，但考慮到(dao)其(qi)龐大的(de)(de)模型(xing)規模及其(qi)構建和運行的(de)(de)高成本，最終未(wei)能(neng)達到(dao)預期的(de)(de)性能(neng)。即便如此，Anthropic CEO阿(a)莫迪表(biao)示并未(wei)放(fang)棄繼(ji)續推進Opus模型(xing)，只是未(wei)給出(chu)具(ju)體的(de)(de)發布時間。
與此同時，谷(gu)歌(ge)(ge)和OpenAI也面臨類似的難題。雖然谷(gu)歌(ge)(ge)更新了(le)(le)Gemini模(mo)(mo)型，提供了(le)(le)更實用的功(gong)能，但并未帶來重大的技(ji)術突破(po)。OpenAI專注于增量(liang)更新，比如提升語音助手功(gong)能，使得(de)與ChatGPT的對話(hua)更加(jia)流暢。OpenAI還推(tui)出(chu)了(le)(le)名為o1的模(mo)(mo)型預覽版(ban)，旨在(zai)提升推(tui)理過(guo)程的質量(liang)，但技(ji)術突破(po)依(yi)然有(you)限。
隨著開(kai)發(fa)新一(yi)(yi)代AI模型的成本不(bu)斷增加，AI公(gong)司開(kai)始面臨一(yi)(yi)個重要(yao)的權衡：是繼續(xu)改進現(xian)有的模型，還(huan)是投入更(geng)多資源開(kai)發(fa)更(geng)大、更(geng)復(fu)雜但未必能帶來顯(xian)著突破的下一(yi)(yi)代模型。
OpenAI CEO薩(sa)姆·阿爾特(te)曼（Sam Altman）最(zui)近在(zai)Reddit的(de)問答(da)中談道，雖然公司(si)擁有豐富(fu)的(de)潛力(li)和(he)資源(yuan)，但也面臨著(zhu)“艱(jian)難的(de)決定(ding)”和(he)“計算能(neng)力(li)的(de)限制”。他還談道，未來的(de)突(tu)破可(ke)能(neng)不會是模(mo)型規(gui)模(mo)的(de)單純擴(kuo)展，而是開(kai)發(fa)新(xin)的(de)應用和(he)用例，例如AI Agent，這類工具能(neng)夠(gou)代(dai)表用戶完成常規(gui)任務。
在(zai)(zai)此背景(jing)下，OpenAI的(de)重心逐漸從提(ti)升(sheng)模型(xing)的(de)單一能力(li)轉向更(geng)具實用價值的(de)應(ying)用場景(jing)，尤(you)其(qi)是在(zai)(zai)代理AI工(gong)(gong)具方(fang)面的(de)探索。阿爾特曼(man)談道，這(zhe)些(xie)AI工(gong)(gong)具將幫助用戶完成日常生活中的(de)復(fu)雜任務，如預訂(ding)航班、發送電子(zi)郵件等。雖然AI模型(xing)將繼續(xu)變(bian)得更(geng)強大，但未來的(de)真正突破或許不再是單純(chun)的(de)模型(xing)更(geng)新，而是更(geng)為創新的(de)功能和應(ying)用。
結語：創新AI應用成未來方向
這些公(gong)司在模(mo)型研發上投(tou)入(ru)了巨額(e)資金和(he)計算資源，但新(xin)一代AI模(mo)型的性能(neng)提升遠未達到預期。在日益增(zeng)加(jia)的成(cheng)本壓力(li)下，如何(he)平衡創新(xin)與投(tou)入(ru)成(cheng)為了共(gong)同挑戰。
隨著數據和計算資源(yuan)逐漸稀缺，AI發展的“規模(mo)(mo)革命”正接(jie)近瓶(ping)頸。未來的突破或(huo)許不(bu)再集中在模(mo)(mo)型規模(mo)(mo)的擴張，而是聚焦于(yu)創(chuang)新的應用(yong)和工具開發，比如AI Agent等(deng)功(gong)能型應用(yong)，如何將現有技術在實際生活(huo)中發揮更大(da)價值(zhi)，將成為行業(ye)創(chuang)新的關鍵。
來源：彭博社
