智東西（公眾號：zhidxcom）
編輯?|?GTIC
智東西4月14日報道(dao)，在剛(gang)剛(gang)落幕的(de)GTIC 2023中國AIGC創(chuang)新峰(feng)會上，微(wei)軟(ruan)全(quan)渠道(dao)事業部首席(xi)技術官(guan)徐明(ming)強進行了主題為《探索AIGC趨勢及微(wei)軟(ruan)Azure OpenAI在企業的(de)應用》的(de)演講。
大語(yu)言(yan)模型(xing)參(can)數(shu)正在(zai)呈現(xian)指數(shu)型(xing)增長趨勢。但徐明強稱(cheng)，大語(yu)言(yan)模型(xing)未來仍然會快速增長，因為(wei)高質(zhi)量語(yu)料(liao)目前僅使(shi)用了(le)1/10，剩(sheng)下的(de)9/10還有待(dai)開發。而且(qie)現(xian)在(zai)對大語(yu)言(yan)模型(xing)的(de)質(zhi)疑會在(zai)短(duan)短(duan)1-2年(nian)內就被(bei)新的(de)質(zhi)疑所替代(dai)。
這一(yi)切的背后都離不(bu)開強大算(suan)力的支撐，這也(ye)決定了所能(neng)訓練模(mo)(mo)型的大小、參(can)數。因此，微軟Azure與(yu)OpenAI合作構(gou)建(jian)了專(zhuan)為大規模(mo)(mo)AI訓練而設計(ji)的AI超級計(ji)算(suan)機，該計(ji)算(suan)機擁(yong)有28.5萬個CPU、10000塊GPU。
徐明(ming)強(qiang)把大語(yu)言模型比作一(yi)塊海綿，維基百科、醫學(xue)或科學(xue)論文就(jiu)是它充分吸收的(de)水，其能力的(de)涌現(xian)就(jiu)需(xu)要不斷吸收更(geng)多的(de)水分。
他(ta)最(zui)后(hou)將演講落腳點(dian)歸結到企業應用(yong)中，在(zai)CPU時代，企業應用(yong)時思考的(de)(de)問(wen)題(ti)(ti)(ti)(ti)是(shi)如何(he)把(ba)商業問(wen)題(ti)(ti)(ti)(ti)轉(zhuan)變為計(ji)算問(wen)題(ti)(ti)(ti)(ti)，也就是(shi)通過編譯器(qi)將應用(yong)轉(zhuan)為計(ji)算問(wen)題(ti)(ti)(ti)(ti)，如今則轉(zhuan)變為如何(he)把(ba)各行各業的(de)(de)問(wen)題(ti)(ti)(ti)(ti)轉(zhuan)化(hua)為內容處理(li)問(wen)題(ti)(ti)(ti)(ti)。微軟帶來(lai)的(de)(de)企業級ChatGPT（Enterprise ChatGPT）解決了(le)ChatGPT無法解決的(de)(de)第二步(bu)問(wen)題(ti)(ti)(ti)(ti)：它能(neng)把(ba)企業內部(bu)的(de)(de)數字資(zi)產做好(hao)索引、做好(hao)搜索。
目前，微軟(ruan)企業級ChatGPT的應用場景包括客戶(hu)服務、銷售市場、內(nei)容生成、知識(shi)管理、輔助決(jue)策(ce)等。
以下為徐明強的演講實錄：
大家好！
我(wo)(wo)是微軟全渠(qu)道(dao)事業部首席(xi)技(ji)術官徐明(ming)強。其實我(wo)(wo)要講的內容(rong)剛剛周明(ming)老師已經覆蓋(gai)了(le)一部分，我(wo)(wo)主(zhu)要想在這里分享一些例子。
一、AI模型呈指數級增長，還有9/10高質量語料有待開發
首先(xian)，我們今天為什么會聚在(zai)這里？一(yi)是探(tan)討不斷呈指數(shu)級增長的語言模型(xing)參數(shu)，二是分(fen)享關于GPT-4的各種參數(shu)的猜想。
單(dan)從人類的(de)角(jiao)度來(lai)看(kan)，這個模型指數曲(qu)線實際上還(huan)要更加(jia)陡峭。
在(zai)2015年(nian)1月(yue)份，AlphaGo打敗(bai)了(le)(le)歐洲圍棋冠軍樊(fan)麾，但李世石說(shuo)(shuo)它只訓練過(guo)(guo)六個月(yue)肯定打不過(guo)(guo)自己(ji)，后來(lai)的(de)結果我們也都(dou)知道了(le)(le)。比爾(er)·蓋茨前段時間也對OpenAI說(shuo)(shuo)，你們做的(de)東西(xi)很(hen)好(hao)，希望你們能用ChatGPT來(lai)通過(guo)(guo)一個中學的(de)AP（美(mei)國大(da)學預(yu)修(xiu)課程(cheng)，Advanced Placement)）考(kao)試(shi)，蓋茨心想(xiang)，這應該(gai)夠他(ta)們忙個兩三(san)年(nian)了(le)(le)吧(ba)，結果幾個月(yue)之后就(jiu)達到了(le)(le)。我們對大(da)語言(yan)模型的(de)質(zhi)疑(yi)最多(duo)也就(jiu)堅(jian)持一到兩年(nian)，這個質(zhi)疑(yi)就(jiu)會被(bei)新(xin)的(de)質(zhi)疑(yi)所取代。
我(wo)們有理由(you)相(xiang)信未(wei)來大(da)語言模型(xing)還會以指(zhi)數級增長，因為目(mu)前高(gao)質量的(de)(de)語料僅使用了1/10，還剩(sheng)9/10沒被使用，新的(de)(de)挑戰就是如何找到這剩(sheng)下的(de)(de)9/10。
當(dang)然(ran)，這一切都需要背后(hou)強大的(de)算(suan)力(li)來(lai)進行(xing)支(zhi)撐，微(wei)軟為OpenAI所(suo)提供(gong)的(de)高度分(fen)布式框架AI Supercomputer（超級計算(suan)機），是世界第五大超級計算(suan)機，擁有28.5萬個(ge)CPU和(he)1萬個(ge)GPU，這代表著我們所(suo)能訓(xun)練(lian)的(de)模型(xing)大小、參數，更重要的(de)是所(suo)能訓(xun)練(lian)出的(de)模型(xing)的(de)參數。
GPT-3可以(yi)達到(dao)Fine-tuning（微調(diao)）的精度，在60多萬份問答答卷中達到(dao)70%的分數(shu)，可以(yi)達到(dao)“開卷考試”這(zhe)個說法了。
為什(shen)么大語(yu)言模型會如此強(qiang)悍(han)呢？
其實有(you)一點(dian)(dian)是我們(men)(men)人類不(bu)(bu)太清楚的，我們(men)(men)是怎么在教(jiao)我們(men)(men)的孩子語言(yan)的？是不(bu)(bu)是把語言(yan)掰開了(le)、揉碎了(le)一點(dian)(dian)點(dian)(dian)教(jiao)給(gei)(gei)他，把一些詞法分析、語法分析教(jiao)給(gei)(gei)他，結果(guo)發現效果(guo)并不(bu)(bu)好。
但大(da)模型(xing)是怎么做的(de)(de)呢(ni)？大(da)語(yu)言模型(xing)就(jiu)是一(yi)塊海綿，把標注(zhu)好的(de)(de)語(yu)料像水(shui)一(yi)樣充分吸收。如果不知道十(shi)萬(wan)個為什(shen)么的(de)(de)話(hua)，就(jiu)把維(wei)基百科輸入進去；不了(le)解醫學(xue)的(de)(de)話(hua)，就(jiu)把醫學(xue)論文(wen)塞進去，然(ran)后在一(yi)個個decode layer（譯碼(ma)層）中讓能力涌現(xian)出來。那什(shen)么時候(hou)可以涌現(xian)呢(ni)？就(jiu)像量子(zi)的(de)(de)位置(zhi)和速度(du)測(ce)不準一(yi)樣，目前這(zhe)些能力什(shen)么時候(hou)會涌現(xian)還無法測(ce)準。
訓練其實是比較容易的事情，但讓大語言模型(xing)學會說話比較難。首(shou)先需(xu)要它學會聽話，叫它做(zuo)什么，它在(zai)理解(jie)之后(hou)就能做(zuo)什么。我(wo)在(zai)和一位網絡運營商總裁聊天時他(ta)說，以后(hou)他(ta)都不(bu)再(zai)需(xu)要助手了(le)，他(ta)讓ChatGPT寫的東西完(wan)全不(bu)會誤解(jie)他(ta)的意思，而(er)且寫出來的結果非常好，它就是一個InstuctGPT。
ChatGPT曾經(jing)有40位(wei)(wei)老(lao)師，現在的(de)GPT-4已(yi)(yi)經(jing)有1000多(duo)位(wei)(wei)老(lao)師了，我們只用(yong)授(shou)之(zhi)以漁，告(gao)訴(su)它(ta)哪一個(ge)答(da)案好，它(ta)就(jiu)能(neng)輸入滿意的(de)答(da)案，之(zhi)前(qian)那種(zhong)一本正(zheng)經(jing)的(de)胡說八道的(de)情況已(yi)(yi)經(jing)減(jian)少(shao)很多(duo)了。之(zhi)前(qian)，GPT-3在我的(de)簡歷(li)中(zhong)幫我編造(zao)了我很多(duo)沒(mei)有做過的(de)內容，但GPT-4現在已(yi)(yi)經(jing)做得(de)非常真實，完全沒(mei)有胡說。
二、OpenAI大模型落地企業，NLP項目邊際成本趨零
那大模(mo)型該怎(zen)樣在(zai)企業(ye)中(zhong)落地呢？
在過(guo)去我們處于一個CPU的(de)時(shi)代，當CPU剛出(chu)來(lai)時(shi)，大家發現這是一個非常(chang)強大的(de)生產(chan)力工具(ju)，所(suo)以(yi)大家都在思考如何把(ba)商(shang)業(ye)問題(ti)轉(zhuan)變為計算(suan)問題(ti)，如何通過(guo)編譯器把(ba)應用轉(zhuan)變為計算(suan)問題(ti)，把(ba)數據(ju)庫、各行各業(ye)生產(chan)的(de)、金融的(de)問題(ti)轉(zhuan)變為計算(suan)問題(ti)。
同樣，我們(men)今天出現的(de)(de)就是(shi)一個新的(de)(de)“CPU”，可以把它(ta)叫做(zuo)Chat ProcessUnit或是(shi)Content ProcessUnit。今天我們(men)需(xu)要考慮的(de)(de)問(wen)題(ti)(ti)，就是(shi)如何把各行各業的(de)(de)問(wen)題(ti)(ti)變(bian)成Chat的(de)(de)問(wen)題(ti)(ti)，變(bian)成一個內容處理的(de)(de)問(wen)題(ti)(ti)。
在過去，NLP是(shi)一(yi)(yi)個非常耗(hao)資的(de)(de)(de)工(gong)程。為了搜集(ji)一(yi)(yi)個緊張(zhang)期待癥的(de)(de)(de)數(shu)據集(ji)，需要(yao)(yao)全球60萬的(de)(de)(de)人力來(lai)幫助(zhu)進行數(shu)據搜集(ji)，這就是(shi)一(yi)(yi)個血汗(han)工(gong)廠。而需要(yao)(yao)大量數(shu)據科(ke)(ke)學家投(tou)入(ru)精(jing)力的(de)(de)(de)工(gong)作就像是(shi)個“冷(leng)汗(han)工(gong)廠”，需要(yao)(yao)不(bu)斷(duan)去調參數(shu)、選擇模型，這是(shi)個最risky（充滿風險的(de)(de)(de)）的(de)(de)(de)工(gong)作。數(shu)據科(ke)(ke)學家的(de)(de)(de)工(gong)作如果到了時(shi)間沒有完成的(de)(de)(de)話，是(shi)會讓人冒冷(leng)汗(han)的(de)(de)(de)，這就意味著一(yi)(yi)般的(de)(de)(de)企業無法支(zhi)付(fu)得(de)起(qi)。
如今(jin)的(de)ChatGPT是(shi)怎么解決緊(jin)張期待癥的(de)數據(ju)搜集的(de)呢(ni)？你(ni)只(zhi)需(xu)要跟(gen)它說，嗨(hai)ChatGPT，告訴你(ni)兩個例(li)子：第一(yi)(yi)個緊(jin)張期待癥的(de)例(li)子是(shi)“當彩票號碼被宣讀出來(lai)時，我(wo)的(de)手(shou)掌開始(shi)出汗(han)”，另(ling)一(yi)(yi)個反例(li)是(shi)“我(wo)無法消除自己的(de)一(yi)(yi)件(jian)事情的(de)緊(jin)張不安感”。
告訴(su)它這兩個例子之(zhi)后(hou)，就(jiu)可(ke)以開始考試了(le)，向它描(miao)述自己的(de)癥(zheng)狀：昨天，我(wo)(wo)(wo)把(ba)我(wo)(wo)(wo)的(de)手機(ji)丟在專車上(shang)(shang)了(le)。我(wo)(wo)(wo)打給滴滴，結果他們(men)說聯系不上(shang)(shang)司(si)機(ji)。過(guo)了(le)一(yi)個小(xiao)時(shi)之(zhi)后(hou)，我(wo)(wo)(wo)再次(ci)打電話，他們(men)說司(si)機(ji)沒(mei)有(you)看到，我(wo)(wo)(wo)心(xin)里郁(yu)悶，老婆也(ye)一(yi)直怪我(wo)(wo)(wo)。直到今(jin)天，我(wo)(wo)(wo)的(de)心(xin)口想起(qi)來就(jiu)會痛，我(wo)(wo)(wo)是否有(you)緊張期待癥(zheng)呢？
ChatGPT的(de)回答中說：“根據(ju)您提供(gong)的(de)情況(kuang)，您似(si)乎(hu)沒有(you)緊張期待癥(zheng)，您貌似(si)是因為手機丟失而產生的(de)擔憂和焦(jiao)慮情緒，以及事后的(de)不安感(gan)，這是一(yi)種正常的(de)情緒反應。”大(da)家看，它完全理解(jie)了這一(yi)段話(hua)。
我分享這個(ge)例子是(shi)為(wei)什么(me)呢？過去(qu)流的(de)那(nei)些“血(xue)汗”和“冷(leng)汗”，如(ru)今的(de)企(qi)業(ye)都不用再流了，過去(qu)微軟用十億甚至百億訓練出來的(de)大模型，在(zai)座的(de)各位以及(ji)世界上(shang)每個(ge)企(qi)業(ye)和每個(ge)人都將用趨零的(de)邊際成本來使用，只要去(qu)prompt它就行了。
還(huan)有就是(shi)(shi)(shi)寫(xie)代(dai)(dai)碼(ma)，我強烈建議大(da)家用ChatGPT來寫(xie)代(dai)(dai)碼(ma)，寫(xie)代(dai)(dai)碼(ma)只是(shi)(shi)(shi)冰山(shan)一角，它(ta)真正(zheng)的(de)生產力在于修(xiu)代(dai)(dai)碼(ma)、修(xiu)Bug。我晚(wan)上修(xiu)代(dai)(dai)碼(ma)時(shi)我妻(qi)子會跟我說，1點(dian)鐘(zhong)了(le)，早點(dian)休息吧(ba)，我總是(shi)(shi)(shi)說5分鐘(zhong)就行。但碼(ma)農們都會知道，5分鐘(zhong)之(zhi)后(hou)又會有新(xin)的(de)問(wen)題出(chu)來，5分鐘(zhong)又5分鐘(zhong)，一看時(shi)間已經(jing)早上五點(dian)了(le)。但是(shi)(shi)(shi)我把代(dai)(dai)碼(ma)錯誤告訴給ChatGPT的(de)話(hua)，它(ta)就會說這(zhe)個(ge)代(dai)(dai)碼(ma)有問(wen)題，改完后(hou)十有八九(jiu)是(shi)(shi)(shi)正(zheng)確的(de)，這(zhe)樣的(de)生產力絕對(dui)是(shi)(shi)(shi)革(ge)命性的(de)。
三、微軟與OpenAI加強戰略合作，打造五種企業級應用場景
接下來我(wo)說一下它的挑戰以(yi)及如(ru)何(he)應(ying)對(dui)。
挑戰主(zhu)要(yao)在兩(liang)個方面：一是(shi)幻覺(jue)(jue)，二是(shi)知識局限(xian)。幻覺(jue)(jue)主(zhu)要(yao)是(shi)那(nei)些不正確、不相關，以及一些毫無意義的(de)(de)信息(xi)、虛假事(shi)實，或(huo)是(shi)它(ta)創造了不存(cun)在的(de)(de)事(shi)件或(huo)實體(ti)。幻覺(jue)(jue)產生(sheng)主(zhu)要(yao)是(shi)因為預訓(xun)練(lian)時的(de)(de)答案都是(shi)校對好的(de)(de)，但在加(jia)強(qiang)式學(xue)習(xi)的(de)(de)環境下，打亂(luan)了原來(lai)的(de)(de)訓(xun)練(lian)模型。在解決方法上“解鈴還(huan)需(xu)系鈴人”，加(jia)強(qiang)式學(xue)習(xi)產生(sheng)的(de)(de)問題就要(yao)用加(jia)強(qiang)式學(xue)習(xi)來(lai)解決。在GPT-4中，發(fa)現ChatGPT胡說時就會給(gei)它(ta)打差(cha)評，它(ta)就知道回(hui)答有問題了。久而(er)久之，這(zhe)樣的(de)(de)問題就會越(yue)來(lai)越(yue)少，最終會得到解決。
我(wo)發現ChatGPT持續指數(shu)性的增長(chang)對我(wo)的挑戰就是，我(wo)的PPT變得過時了。
下面(mian)我將給(gei)大家匯報一(yi)下微(wei)軟將給(gei)企(qi)業(ye)(ye)(ye)帶來(lai)的企(qi)業(ye)(ye)(ye)級ChatGPT地圖（Enterprise ChatGPT Roadmap）。3月，微(wei)軟發布企(qi)業(ye)(ye)(ye)ChatGPT參考架構，各(ge)企(qi)業(ye)(ye)(ye)IT部門的架構師們可以(yi)開(kai)始研(yan)究如何與IT系統(tong)集成，有(you)哪些API可以(yi)開(kai)始熟(shu)悉起來(lai)，什么樣(yang)的系統(tong)更適合變成企(qi)業(ye)(ye)(ye)ChatGPT。這(zhe)樣(yang)的好處在于，在云里面(mian)企(qi)業(ye)(ye)(ye)用戶(hu)的訂閱是(shi)(shi)一(yi)個單(dan)獨的ChatGPT實例，里面(mian)存放的是(shi)(shi)各(ge)位的私(si)(si)域(yu)數據，所(suo)有(you)的安全、隱私(si)(si)、防護都有(you)一(yi)流的審核來(lai)作保障。
具體的應用場景包括客戶服務（Chat your Customs）、銷售市場（Chat your Web）、內容(rong)生(sheng)成(cheng)（Chat your Products）、知識管(guan)理(li)（Chat your Docs）、輔助決策(ce)（Chat your Data）等。
我可以給大(da)家(jia)舉一(yi)(yi)個例子(zi)，萬科的(de)(de)物業(ye)(ye)(ye)大(da)家(jia)知(zhi)(zhi)道是(shi)向誰(shui)負責(ze)(ze)的(de)(de)嗎(ma)？我之前一(yi)(yi)直以為是(shi)向業(ye)(ye)(ye)主(zhu)(zhu)負責(ze)(ze)，但聊完之后(hou)才知(zhi)(zhi)道，物業(ye)(ye)(ye)是(shi)向政府(fu)負責(ze)(ze)的(de)(de)，當(dang)業(ye)(ye)(ye)主(zhu)(zhu)的(de)(de)埋怨特別多時，政府(fu)其實并不開心(xin)，政府(fu)需要為業(ye)(ye)(ye)主(zhu)(zhu)來(lai)考慮。過去的(de)(de)問(wen)題在于，當(dang)業(ye)(ye)(ye)主(zhu)(zhu)打電話(hua)、或是(shi)通過其它渠道來(lai)埋怨、吐槽時，關(guan)鍵詞的(de)(de)審核(he)準確率只有70%，如果是(shi)非常緊急的(de)(de)負面輿情(qing)沒有判斷到時，會造成一(yi)(yi)個很糟糕的(de)(de)局面；但用了(le)ChatGPT之后(hou)，當(dang)天上(shang)漲(zhang)了(le)5個點(dian)，最近兩周已上(shang)漲(zhang)到超過90%，對自然(ran)語(yu)言的(de)(de)理解給輿情(qing)控制(zhi)帶來(lai)了(le)如此大(da)的(de)(de)增長。
在內容生成方(fang)面，昨天我(wo)和(he)一(yi)位律(lv)師聊天時(shi)(shi)發現，律(lv)所(suo)事情(qing)太多，當(dang)老板要(yao)看一(yi)千(qian)份(fen)合同(tong)(tong)(tong)，并(bing)且發現中間(jian)(jian)的(de)(de)合同(tong)(tong)(tong)和(he)標準條款不一(yi)樣時(shi)(shi)，員工(gong)只能說因為根本(ben)沒有時(shi)(shi)間(jian)(jian)去看這么多份(fen)的(de)(de)合同(tong)(tong)(tong)。有了OpenAI的(de)(de)ChatGPT之后，它可以把一(yi)千(qian)份(fen)合同(tong)(tong)(tong)挑出來，隨時(shi)(shi)看有哪些條款和(he)標準條款不一(yi)樣的(de)(de)。內容生成上(shang)我(wo)們(men)還有很大的(de)(de)想象(xiang)空間(jian)(jian)。
最后，AI的(de)(de)注意力(li)雖然都讓OpenAI吸引(yin)走了(le)，但真正(zheng)要(yao)做一個Enterprise ChatGPT的(de)(de)系統的(de)(de)話，OpenAI還只是(shi)初步(bu)，我(wo)們還要(yao)做好第二步(bu)的(de)(de)工作，如何把企(qi)業(ye)內部的(de)(de)數字資(zi)產做好索引(yin)、做好搜(sou)索。ChatGPT現在是(shi)一個非(fei)常(chang)好的(de)(de)開(kai)卷考(kao)試生，我(wo)們要(yao)做的(de)(de)是(shi)把問題和學習材料遞到它手上，這(zhe)個工作是(shi)大家要(yao)注意的(de)(de)。
謝(xie)謝(xie)大家！微軟愿和(he)大家一起攜手，使(shi)用好OpenAI的(de)技術，讓(rang)每個企業都能(neng)成(cheng)就不(bu)凡。
以上是徐明強演講內容的完整整理。
