智東西(公眾號:zhidxcom)
編譯 | 程茜
編輯 | 心緣

智東西8月2日消息,昨日凌晨,麻省理工科技評論放出了與OpenAI首席研究官陳信翰(Mark Chen)和首席科學家雅庫布·帕喬基(Jakub Pachocki)的獨家專訪。

這(zhe)兩位技(ji)術大牛都是(shi)(shi)90后,陳信翰(han)是(shi)(shi)OpenAI圖像生成模型(xing)DALL·E、GPT-4多模態能力、Codex背后的關鍵推手,帕喬基(ji)是(shi)(shi)ChatGPT、GPT-4等模型(xing)的核(he)心貢獻者之一,同時也是(shi)(shi)OpenAI o1、o3等推理模型(xing)的主(zhu)要架構師。

在OpenAI于倫敦設立的首個國際辦事處內,陳信翰和帕喬基接受了專訪,回應了最近陷入爭議的OpenAI IMO奪金事件,稱人們低估了其模型在另一項編程競賽AtCoder奪得第二名,刷新人類最好成績的價值,并透露OpenAI產品(pin)周(zhou)活躍用戶(hu)超(chao)過4億人

對當下模型發展,他們認為推理(li)模型發(fa)展仍處于初始階段;并且面對開發式研究和發布產品的平衡,OpenAI堅持讓更多人(ren)意識到技術發展(zhan)的水平(ping)是(shi)必(bi)要(yao)條件。此外,實現AGI的進程中,他們提到計算(suan)機能(neng)夠自(zi)主(zhu)(zhu)開發新(xin)技術、讓模型能(neng)夠更長時間地自(zi)主(zhu)(zhu)工作至關重要。

隨后OpenAI聯(lian)合(he)(he)創始人兼(jian)CEO薩(sa)姆·阿爾特曼(Sam Altman)在社交平臺X上轉發(fa)了(le)這篇專訪文(wen)章,并評(ping)價(jia)說(shuo)“這篇文(wen)章真正抓住了(le)陳(chen)信翰和帕喬基合(he)(he)作的精神”。

OpenAI兩大90后“臺柱子”,談模型進展、挑戰與AGI目標

也有網(wang)友在評(ping)論區做了表情包“提(ti)醒”阿爾特曼,警(jing)惕被扎克(ke)伯格挖人(ren)。值得一提(ti)的是,此前(qian),據(ju)《華(hua)爾街(jie)日報》報道(dao),Meta創始人(ren)兼CEO馬克(ke)·扎克(ke)伯格(Mark Zuckerberg)就向陳信翰開出了10億(yi)美元天價薪酬,但被他拒絕。

OpenAI兩大90后“臺柱子”,談模型進展、挑戰與AGI目標

一、OpenAI雙雄掌舵,更看重編程競賽成績

兩(liang)位研究主管在英國(guo)倫(lun)敦市(shi)中心(xin)國(guo)王十字車站附(fu)近的共(gong)享辦公空間(jian)會(hui)議室中接(jie)受了(le)(le)采訪(fang),據(ju)了(le)(le)解(jie),OpenAI將這里(li)當作其在倫(lun)敦科技街(jie)區的臨時(shi)住(zhu)所,并且距離(li)谷歌DeepMind和Meta都不遠(yuan)。

在OpenAI的具體分工中,陳信翰負責組建和管理研究團隊,帕喬基負責制定研究路線圖并確立OpenAI的長期技術愿景。不過陳信翰(han)也提到,他們的(de)角色并不是一成不變的(de),作為研究人員,他們可以(yi)利用所有(you)的(de)技術線索,只(zhi)要有(you)可以(yi)解決的(de)問題就會去做。

陳信翰出生于中國臺灣,大學(xue)(xue)(xue)就讀于麻省(sheng)理工學(xue)(xue)(xue)院,曾在微軟實習(xi),畢業后(hou)(hou)獲(huo)得數學(xue)(xue)(xue)和計(ji)算(suan)機學(xue)(xue)(xue)位。加(jia)(jia)(jia)入(ru)OpenAI前(qian)曾在美(mei)國投資(zi)公司簡街資(zi)本擔任量化交(jiao)易(yi)員(yuan),開(kai)發(fa)了用于期貨交(jiao)易(yi)的機器學(xue)(xue)(xue)習(xi)模(mo)型。2018年,他加(jia)(jia)(jia)入(ru)OpenAI后(hou)(hou),牽頭創建了圖(tu)(tu)像生成模(mo)型DALL·E,隨后(hou)(hou)致力于為GPT-4添加(jia)(jia)(jia)圖(tu)(tu)像識(shi)別功能,并領(ling)導了為GitHub Copilot提(ti)供支(zhi)持(chi)的編程(cheng)模(mo)型Codex的開(kai)發(fa)。

帕喬(qiao)基(ji)于2017年(nian)加入OpenAI,并(bing)于2024年(nian)5月接替伊爾亞·蘇茨克維(Ilya Sutskever)擔任(ren)OpenAI首席科學(xue)家。他(ta)是ChatGPT、GPT-4等(deng)模(mo)型(xing)的(de)核心貢獻(xian)者之一(yi),同時(shi)也是OpenAI o1、o3等(deng)推理模(mo)型(xing)的(de)主要架構師。

采(cai)訪(fang)前不(bu)久,OpenAI的模(mo)(mo)型(xing)剛剛斬獲兩個國(guo)際大獎。7月(yue)16日,OpenAI的定制模(mo)(mo)型(xing)在(zai)全球最(zui)硬核的編(bian)程競賽(sai)之一AtCoder世(shi)界巡回賽(sai)總決(jue)賽(sai)中(zhong)獲得(de)(de)第二名(ming);7月(yue)19日,OpenAI宣布(bu)其(qi)內(nei)部推理(li)模(mo)(mo)型(xing)在(zai)世(shi)界最(zui)負盛名(ming)的數學競賽(sai)之一2025年國(guo)際數學奧林(lin)匹克競賽(sai)(IMO)中(zhong)獲得(de)(de)金牌(pai)。

但隨后OpenAI因提前公布結果,搶占參賽學生風頭陷入爭議。對此陳信翰和帕喬基談道,他們最興奮的是OpenAI在編程方面的勝利

陳信(xin)翰認為OpenAI取得的(de)(de)這一成績被低估了,在IMO獲得金牌會讓你躋(ji)身前20到50名選(xuan)手(shou)之列。但在AtCoder競賽(sai)中(zhong),OpenAI的(de)(de)模型名列第二,這突破(po)了人類表現的(de)(de)全新(xin)高度。

二、保持OpenAI頻繁更新勢頭,要將實驗模型推向大眾

OpenAI如今(jin)已(yi)經與三(san)年(nian)前ChatGPT發布之際(ji)大不相同(tong)。

這家(jia)估值3000億美元的公(gong)(gong)司(si)正(zheng)與全(quan)球規模最大、最富有的科技公(gong)(gong)司(si)展(zhan)開競爭,其(qi)需要將驚艷的研究和演示變成(cheng)用戶(hu)真正(zheng)需要的產品。

近期,OpenAI的(de)(de)更新迭代速度拉滿。從對(dui)GPT-4系列(lie)模型(xing)進(jin)行重大更新,到推出一系列(lie)生成(cheng)式圖(tu)像(xiang)和視頻(pin)模型(xing),并引入與ChatGPT語音對(dui)話的(de)(de)功能;去年(nian)(nian)至今,OpenAI已經發(fa)布o1、o3兩個推理(li)模型(xing),今年(nian)(nian)1月,發(fa)布首(shou)款可以像(xiang)人類一樣操作電腦獨立完成(cheng)任務的(de)(de)AI智(zhi)能體(ti)Operator。OpenAI官方數據顯示,目前每(mei)周有超過4億人使(shi)用其產品,每(mei)天(tian)提交25億條指令。

OpenAI新上(shang)任的(de)應用首席(xi)執行(xing)官菲(fei)吉·西莫(Fidji Simo)計劃保持這一勢頭,持續推出新產品(pin)。她曾在(zai)一份備(bei)忘錄(lu)中告訴員工(gong),她期待幫助OpenAI的(de)技術(shu)惠及(ji)全球更多(duo)人,這些技術(shu)將(jiang)為更多(duo)人帶來(lai)比歷史(shi)上(shang)任何其他技術(shu)都(dou)多(duo)的(de)機會。

談到OpenAI如(ru)何平衡(heng)開放式研究和(he)產(chan)(chan)品發布時(shi),帕喬(qiao)基稱,在(zai)ChatGPT誕生(sheng)之前,他(ta)們(men)就在(zai)思考(kao)這個問題,如(ru)果他(ta)們(men)真的(de)認真考(kao)慮構建通用(yong)人工智能,那么顯然這項技術可(ke)以實現(xian)很(hen)多目(mu)標、探索很(hen)多方向,最(zui)終成就偉(wei)大的(de)產(chan)(chan)品。換句話說,“持續搖晃(huang)果樹,能收獲多少(shao)是多少(shao)”。

此前,OpenAI團隊提出的一個觀點是,將實驗模型推向世界是研究的必要組成部分,這一做法的目標是讓人們意識到這項技術已經發展得多么出色。阿爾特(te)曼(man)曾提到,他們(men)希望(wang)讓人(ren)們(men)了解未來,OpenAI渴望(wang)將(jiang)新技(ji)術交到人(ren)們(men)手中,看看人(ren)們(men)會如何(he)利用它。

帕喬基說,現在還是這樣,模型已經達到了傳統基準能夠衡量的能力極限,他們一直在思考的許多長期挑戰也開始顯現,因此現在正處于一個關鍵時刻,真正重要的是模型在現實世界中能做什么

就像在編(bian)程(cheng)比賽(sai)中與人類(lei)較量一樣(yang)。在今年日本舉辦(ban)的(de)(de)AtCoder大賽(sai)上,擊敗OpenAI模型的(de)(de)是一位名叫普熱梅斯瓦(wa)夫·登比亞克(Przemys?aw D?biak)的(de)(de)程(cheng)序員。這(zhe)項比賽(sai)是一場解(jie)謎馬拉松,參賽(sai)者必(bi)須在10小時(shi)內找到解(jie)決復雜編(bian)程(cheng)問題的(de)(de)最有效方(fang)法。獲勝后,登比亞克在X上發(fa)帖稱:“我(wo)累壞了……我(wo)快要(yao)撐不住了。”

值得一提的是,登比亞(ya)克與帕喬基曾共(gong)同參加過(guo)編(bian)程比賽,還曾在OpenAI共(gong)事。

不過,對于絕大多數(shu)用戶(hu)而言這(zhe)些在(zai)(zai)編程和(he)數(shu)學競(jing)賽(sai)方(fang)面的(de)勝利是小眾的(de)。這(zhe)項旨在(zai)(zai)模仿并(bing)最終取(qu)代人類智能的(de)技術,是由那些認為巔峰智力就是在(zai)(zai)數(shu)學競(jing)賽(sai)中(zhong)取(qu)得(de)優異成績或與傳奇程序(xu)員抗衡的(de)人打造(zao)的(de),這(zhe)種對智力的(de)看法更(geng)偏向數(shu)學和(he)分析能力。

陳信翰提(ti)到,他們的(de)(de)目(mu)的(de)(de)是想創(chuang)造一(yi)些能加速(su)自身發展的(de)(de)模式,這是快速(su)進步的(de)(de)一(yi)個(ge)條件。

他們認為,數學和編程是更普遍的智能的基石,這種智能能夠以人類自身可能未曾想到的方式解決各種各樣的問題。帕喬基補(bu)充說:“我們這里討論的(de)是編程和數(shu)學,但(dan)真(zhen)正的(de)智能在于創造力,在于提出(chu)新穎的(de)想法(fa),以(yi)及將來(lai)自(zi)不同來(lai)源(yuan)的(de)想法(fa)聯系起來(lai)。”

以上面(mian)提(ti)到(dao)的(de)兩場(chang)比(bi)賽為例,其都存在一些需要突破常(chang)規思維的(de)問題(ti)。登比(bi)亞克花了(le)一半的(de)編程(cheng)比(bi)賽時間進行(xing)思考,然后想出了(le)一個非(fei)常(chang)新穎(ying)的(de)解決(jue)方案(an),與(yu)模型所研究的(de)任何方案(an)都截然不同。

帕喬基稱:“這(zhe)正(zheng)是(shi)我們(men)追求(qiu)的(de)(de)(de),如何(he)(he)讓模型發現這(zhe)種(zhong)新穎的(de)(de)(de)見解、如何(he)(he)真正(zheng)推進我們(men)的(de)(de)(de)知識,我認為(wei)它們(men)在某些有限的(de)(de)(de)方式上已經具備(bei)了這(zhe)種(zhong)能力,這(zhe)項技(ji)術有潛力真正(zheng)加速科學進步。”

三、仍處于推理模型初始階段,Scaling Law不會失效

OpenAI在創立之初,也就是通用(yong)人(ren)工(gong)智能(neng)(AGI)還只是個(ge)噱頭的(de)時候,就宣稱要打造AGI。如(ru)今,OpenAI對AGI依然(ran)充滿熱情,并且比大多數(shu)公司都(dou)更努(nu)力地希(xi)望將AGI打造成一個(ge)價值(zhi)數(shu)十億美元的(de)主流(liu)項目。

然而,AGI的(de)目標還未達成,這(zhe)背后欠缺(que)的(de)是什么?

帕(pa)喬基(ji)提(ti)到,展望未來(lai)的方式(shi)是(shi)真(zhen)正深入地研究(jiu)我(wo)們今天所見的技(ji)(ji)術。從一開(kai)始,OpenAI就將深度學(xue)習視為一種(zhong)非常神(shen)秘且顯然非常強大(da)、潛力巨大(da)的技(ji)(ji)術,同時一直在努力了解它(ta)的瓶頸,例如它(ta)能(neng)(neng)做什么(me)?它(ta)不(bu)能(neng)(neng)做什么(me)?

當下OpenAI可能還(huan)處于這種(zhong)推(tui)理(li)范式(shi)的(de)初(chu)始(shi)階段,研(yan)究人員正在思考如何(he)讓(rang)這些模型進行長期學習和探索,并真正帶來全(quan)新的(de)想(xiang)法。

陳信(xin)翰補(bu)充(chong)說(shuo),目前(qian)最前(qian)沿的(de)(de)推(tui)理(li)(li)模(mo)型(xing)(xing),將問(wen)(wen)題分解成更小(xiao)、更易(yi)于管理(li)(li)的(de)(de)步驟,但即使是推(tui)理(li)(li)模(mo)型(xing)(xing)也有局限(xian)性(xing),模(mo)型(xing)(xing)知道很多東西,但卻無法將這(zhe)些知識(shi)串聯起來,不能像人(ren)類一樣思考。OpenAI正在(zai)竭盡全力回答這(zhe)個問(wen)(wen)題。他說(shuo):“我不認為推(tui)理(li)(li)問(wen)(wen)題已經解決了,我們顯然還沒攻克它。你必須研讀(du)海量文本(ben),才(cai)能勉強接近人(ren)類所掌(zhang)握的(de)(de)知識(shi)范(fan)疇(chou)。”

OpenAI不(bu)會透(tou)露它(ta)使(shi)用(yong)什么數據來訓(xun)練其(qi)(qi)模(mo)型,也不(bu)會提(ti)供(gong)有(you)關其(qi)(qi)模(mo)型的(de)詳細(xi)信息,只是它(ta)正在努力使(shi)開發(fa)過程的(de)所(suo)有(you)階(jie)段更加高效(xiao)。這些(xie)努力使(shi)他(ta)們相信,所(suo)謂的(de)Scaling Law不(bu)會失效(xiao)。

“我認為(wei)(wei)沒(mei)有任(ren)何(he)證據表明Scaling Law在(zai)任(ren)何(he)意義(yi)上(shang)已經失(shi)效,”陳(chen)信(xin)翰(han)認為(wei)(wei),“因為(wei)(wei)瓶頸一直(zhi)存在(zai),有時與模型構建(jian)方式有關(guan)。有時與數據有關(guan)。但從根本(ben)上(shang)來說,關(guan)鍵在(zai)于找(zhao)到能夠(gou)突破當前瓶頸的研究。”

今(jin)年5月(yue),帕喬基在接受《自然》期刊(kan)采(cai)訪時提到(dao),2017年加入(ru)OpenAI時,他是公司里對AGI持懷疑態度最強烈的(de)人之一。”

帕喬基回憶說,他加入OpenAI的時候,就預料到要花更長的時間才能達到現在的水平。在AI帶來的影響中,他最關心的是自動化研究,縱觀人類歷史,很多內容都是關于技術進步、人類創造新技術,因此他認為計算機能夠自主開發新技術的時刻似乎是一(yi)個非(fei)常(chang)重要的(de)轉折點。

對陳信翰來說,讓模型能夠更長時間地自主工作至關重要。他解釋說(shuo):“我確實認為每個人(ren)對通(tong)用(yong)人(ren)工智能(neng)都有(you)自己的定(ding)義,但自主時(shi)間(jian)的概念,也就是模型能(neng)夠在解決難題(ti)時(shi)取得有(you)效進展而不陷入死胡同的時(shi)間(jian),才(cai)是我們追(zhui)求(qiu)的重大(da)目標之(zhi)一。

不(bu)過他們目前的(de)設想仍然只是大膽的(de)愿景(jing),且遠(yuan)遠(yuan)超出了(le)當今模(mo)型的(de)能力。

四、離職或是私人決定,“對齊”已融入核心業務

2023年7月,蘇(su)茨克維和(he)楊(yang)·萊克(Jan Leike)宣布在OpenAI成立超(chao)級對(dui)齊團(tuan)隊(dui),這個團(tuan)隊(dui)將投入OpenAI五分之一的資源,研究如何控制(zhi)一個假設的超(chao)級智能。如今,包括(kuo)蘇(su)茨克弗和(he)萊克在內的超(chao)級對(dui)齊團(tuan)隊(dui)的大多(duo)數(shu)人都(dou)已離開OpenAI,超(chao)級對(dui)齊團(tuan)隊(dui)團(tuan)隊(dui)也不復存在。

萊克從(cong)OpenAI辭(ci)職時(shi)稱,是因(yin)為團隊沒(mei)有(you)得到他(ta)認(ren)為應得的(de)(de)支持(chi)。他(ta)在X上發帖稱:“打(da)造比人(ren)類更聰明的(de)(de)機器本身就危險。OpenAI代表全人(ren)類肩負著(zhu)巨大(da)的(de)(de)責任。但在過去幾年里(li),安全文化和流程已經讓位于光鮮亮麗的(de)(de)產品。” 其他(ta)離(li)職研究人(ren)員也表達了類似的(de)(de)看法。

對(dui)此,陳信翰認為,很多事情是非常私人的(de)決定,他(ta)們(men)可能相(xiang)信這個(ge)領域(yu)會(hui)以(yi)某種方(fang)式(shi)(shi)發(fa)展,他(ta)們(men)的(de)研(yan)究會(hui)取得成功、結出碩果(guo)。但要知道,公司可能不會(hui)按(an)照個(ge)人希(xi)望的(de)方(fang)式(shi)(shi)重塑。有時候,這個(ge)領域(yu)的(de)發(fa)展方(fang)式(shi)(shi)會(hui)與個(ge)人的(de)研(yan)究方(fang)式(shi)(shi)不太一致(zhi)。

但陳信翰和帕喬基都一致認為,如今“對齊”已成為OpenAI核心(xin)業務的一部分,而非某個(ge)特定團隊的(de)專屬職責。帕喬基稱,這(zhe)些模型(xing)只有在符合(he)預期的(de)情況(kuang)下才真(zhen)正有效。此外(wai),既(ji)然讓現(xian)有模型(xing)與(yu)目標(biao)對(dui)(dui)齊(qi)已頗(po)具(ju)挑(tiao)戰,人們(men)也(ye)就沒什么動力去專注于讓假想(xiang)中的(de)超級智能(neng)與(yu)自身目標(biao)對(dui)(dui)齊(qi)了。

“兩年前,我們(men)設想的(de)風(feng)(feng)險大(da)多只是理論上的(de)風(feng)(feng)險,”帕喬基(ji)說。“如今的(de)世界已經大(da)不相同,我認為很多對齊問題(ti)現在(zai)都具(ju)有(you)非常實際的(de)動機(ji)。”

結語:OpenAI人才流失,靜待GPT-5發布扭轉乾坤

OpenAI仍(reng)然是當下硅谷(gu)的焦點:一方面,OpenAI成為硅谷(gu)搶人大戰重災區(qu),被(bei)Meta連挖近10人;另一方面,GPT-5發布時間數次被(bei)推遲,都引(yin)發了不少關于這家創企的討論。

在這個(ge)關鍵節(jie)點,阿爾特曼直接(jie)轉發(fa)點贊專訪文章,或許是對(dui)當下(xia)質疑的(de)另一(yi)種(zhong)回應(ying)。采(cai)訪中陳(chen)信(xin)翰和帕喬基雖(sui)然并沒(mei)有直接(jie)透露(lu)GPT-5的(de)相(xiang)關信(xin)息,但(dan)提到不少(shao)他們當下(xia)的(de)研究(jiu)重點,如讓推(tui)理(li)模(mo)型能像人(ren)一(yi)樣思考,以及OpenAI對(dui)將(jiang)實(shi)驗模(mo)型推(tui)向(xiang)大眾市場的(de)堅持(chi)。

再(zai)加(jia)上(shang)最新的(de)爆料顯示(shi),OpenAI GPT-5模型(xing)預計將于(yu)8月(yue)發布,將一改此前(qian)單一架構的(de)模式,整(zheng)合o3推理模型(xing)及多項(xiang)內部技(ji)術,打造(zao)一個能同時處理文本(ben)、代碼、圖(tu)像與(yu)工(gong)具調用的(de)統(tong)一系(xi)統(tong),以此取代現有(you)的(de)o系(xi)列與(yu)GPT系(xi)列并(bing)行(xing)的(de)格局。

GPT-5若(ruo)能(neng)如期發布,或許能(neng)幫助OpenAI一(yi)掃(sao)人才大幅流失的陰(yin)影。