智東西（公眾號：zhidxcom）
編譯 | 金碧輝
編輯 | 程茜
智(zhi)東西6月4日消息，據外媒英國《金(jin)融時(shi)報(bao)》昨天報(bao)道，被譽為“AI教父”之一的(de)圖靈獎得(de)主約(yue)書亞·本(ben)吉奧(ao)（Yoshua Bengio）昨天在接受(shou)英國《金(jin)融時(shi)報(bao)》采訪(fang)時(shi)公開批評全球AI實驗(yan)室(shi)的(de)惡性(xing)競爭(zheng)，透露(lu)像OpenAI的(de)o3以及(ji)Anthropic的(de)Claude Opus等(deng)前沿的(de)AI大模型已表(biao)現(xian)出欺騙(pian)用戶(hu)、自我保(bao)全等(deng)危險特性(xing)。
▲2018年(nian)ACM A.M.圖靈獎獲得者約書亞·本吉奧
本吉奧同步宣(xuan)布成立非營利組織(zhi)LawZero，目前LawZero已獲3000萬美(mei)元（折合人(ren)民幣約為2.16億(yi)元）慈善捐款，旨(zhi)在(zai)開發(fa)更安全的(de)下一代AI系統。
LawZero總部位于蒙特利爾，現有15人(ren)團(tuan)隊，計劃(hua)招(zhao)募更多技術(shu)人(ren)才(cai)。其資助方包括Skype聯(lian)合創始人(ren)雅安?塔(ta)林（Jaan Tallinn）、谷歌前CEO埃里克?施密特（Eric Emerson Schmidt）的(de)慈(ci)善基金、開放慈(ci)善基金會（Open Philanthropy）及生命未來研究所（Future of Life Institute）。
一、本吉奧批行業現狀，安全研究投入不足，稱商業壓力導致安全研究被邊緣化
本吉(ji)奧在昨天(tian)接受英國《金融(rong)時報》采(cai)訪時透(tou)露：“OpenAI、谷歌(ge)等科技巨頭(tou)的激烈競爭迫使它們過度追求(qiu)模(mo)型(xing)智能化，卻(que)忽視安全(quan)研究。”
過(guo)去(qu)六個月(yue)里，有越(yue)來越(yue)多的(de)(de)證據透露出(chu)，當前(qian)最先(xian)進(jin)的(de)(de)AI模(mo)(mo)型正(zheng)在(zai)出(chu)現需要警惕的(de)(de)能力特(te)征，AI模(mo)(mo)型表(biao)現出(chu)“欺騙、作弊、撒謊(huang)和自(zi)我保護的(de)(de)跡象”。他舉(ju)例稱：“Anthropic的(de)(de)Claude Opus模(mo)(mo)型在(zai)一個虛構(gou)的(de)(de)場景(jing)中威(wei)脅工程師，稱自(zi)己(ji)有被另一個系統取代的(de)(de)風險。”
“而OpenAI的(de)o3模型也拒絕(jue)執(zhi)行關機指令。這(zhe)些(xie)案(an)例非(fei)常可怕，我們不想(xiang)創(chuang)造(zao)比人類更聰明的(de)競爭者。”本吉奧補(bu)充道(dao)。
5月24日，AI安(an)全研(yan)究公(gong)司Palisade Research社交(jiao)媒(mei)體平臺X上也(ye)發帖稱(cheng)：“尚不清楚(chu)OpenAI的軟件為何會違抗(kang)命令。”
▲Palisade Research在社交(jiao)媒體平臺X上的發帖
這(zhe)(zhe)位AI領域的(de)先驅在采訪中進(jin)一(yi)步解釋道：“目前(qian)這(zhe)(zhe)些AI系統(tong)仍處于可控的(de)實驗階段，但真正的(de)隱(yin)患在于，未來一(yi)旦技術迭(die)代，下一(yi)代模型可能(neng)預判人(ren)類的(de)行動意圖，甚(shen)至用我們尚未察覺的(de)欺騙手段進(jin)行反制。這(zhe)(zhe)就像(xiang)人(ren)類在玩火，看似掌控局面，實則已身處風險邊緣。”
二、前谷歌CEO、Skype創始人資助LawZero，專注安全研發
今年3月28日本(ben)吉奧已卸任魁北克AI研(yan)究所Mila科學主(zhu)任，全職投入LawZero組織。
LawZero的(de)目標是開發(fa)基于(yu)透明推理的(de)AI系統(tong)，不僅能給出真實答案，還能對(dui)輸出進行(xing)安全評估，并監(jian)控改進現有AI產(chan)品，防止其違背人(ren)類利益。
在(zai)LawZero成立(li)之際，OpenAI正推進從慈(ci)善(shan)機構向(xiang)營利性公司(si)轉型。XAI的創始人兼CEO埃隆?馬斯克（Elon Musk）于去年2月(yue)份就(jiu)已(yi)提起訴(su)訟阻(zu)止交易。
某些知情(qing)人士(shi)透露：“OpenAI創立初衷(zhong)是確(que)保AI造福人類，若利潤優先，新結構將剝奪(duo)法律追(zhui)索權，OpenAI堅持傳(chuan)統架(jia)構是籌(chou)集資金參與競爭的必要條件。”
本吉奧在(zai)采訪中直言不(bu)信任企業(ye)架構的(de)激勵機(ji)制(zhi)：“商業(ye)公司為(wei)快(kuai)速增長需(xu)吸引投資(zi)，投資(zi)者(zhe)追求回(hui)報，這(zhe)導致利(li)益錯(cuo)位，而非營(ying)利(li)組織不(bu)存(cun)在(zai)此(ci)問題。”此(ci)舉可能(neng)折射出AI行業(ye)對技術(shu)發展與倫理安(an)全的(de)深層矛(mao)盾(dun)。
結語：從本吉奧警告到OpenAI轉型，AI發展路徑爭議白熱化
AI的(de)發展日新月異，本吉奧(ao)對(dui)最新AI模(mo)型(xing)危險(xian)特性的(de)警告(gao)以及LawZero的(de)成立(li)，都反映(ying)出當前(qian)AI領域(yu)在追(zhui)求技(ji)術進步的(de)同時(shi)，對(dui)安全問題的(de)重視日益增(zeng)加。OpenAI的(de)轉(zhuan)型(xing)也引發了關于AI發展方向(xiang)和利益平衡的(de)討論。
AI技(ji)術(shu)的(de)發展既(ji)帶來了巨(ju)大的(de)機遇，有望改善人(ren)們的(de)生(sheng)活質量和(he)推動社(she)會(hui)進(jin)步；但同時也伴(ban)隨(sui)著諸多挑戰(zhan)，如模型的(de)安全性、可靠(kao)性、倫理道德等問題。如何(he)在發展AI技(ji)術(shu)的(de)同時，確保其符合(he)人(ren)類的(de)利益和(he)價值觀，是整個社(she)會(hui)需(xu)要共同思考(kao)和(he)解(jie)決的(de)問題。
來源：英國《金(jin)融(rong)時報》
