智東西（公眾號：zhidxcom）
文 | Lina
請叫我“楊立昆”，謝謝！
這位自稱“楊立昆”的歪果仁真名Yann LeCun，被業界稱為(wei)“卷積神經(jing)網(wang)絡之父”，同時(shi)是(shi)深度學習三巨頭之一(yi)（另外兩位分別是(shi)Geoffrey Hinton和Yoshua Bengio），現任Facebook人工智能(neng)研究院的院長，兼任美(mei)國紐約大學教授。
3月23日，這位深度學(xue)習(xi)的(de)大牛來(lai)(lai)到(dao)了北京，在清華經管學(xue)院(yuan)、清華x-lab、Facebook合作開設的(de)課程中(zhong)進行了一(yi)場主(zhu)題為(wei)《深度學(xue)習(xi)與AI未來(lai)(lai)》的(de)2小(xiao)時(shi)(shi)英文演講，智東西也(ye)來(lai)(lai)到(dao)了現(xian)場。演講剛開始時(shi)(shi)，Yann LeCun就在幻燈片上(shang)打出(chu)了自(zi)己(ji)新取的(de)中(zhong)文名——“楊(yang)立昆”，引來(lai)(lai)臺下一(yi)片了然的(de)笑(xiao)聲(sheng)，Yann LeCun自(zi)己(ji)也(ye)忍不住笑(xiao)了。在國內AI圈(quan)里，常有(you)人講Yann LeCun戲稱為(wei)“楊(yang)樂康”，有(you)時(shi)(shi)則是調侃地直接將LeCun以拼音讀(du)成“楊(yang)樂村”，不知此事(shi)是否傳(chuan)到(dao)了這位風趣可(ke)愛的(de)技術(shu)大牛耳(er)中(zhong)。
智(zhi)東西(xi)梳理了(le)本次演講的要點與(yu)脈絡，并增補(bu)了(le)相關(guan)背景知識，帶(dai)你(ni)詳細了(le)解深度學習的發展現況、成果、困(kun)境、以及(ji)最前沿的突破(po)性(xing)嘗試。此(ci)外，還有Yann LeCun親口向智(zhi)東西(xi)回應(ying)關(guan)于(yu)Facebook削減AI預算的報道、以及(ji)十年(nian)前的2個賭約等科技小八卦(gua)。
1、臉書AI研究院與卷積神經網絡
Facebook人工智能(neng)研(yan)(yan)(yan)究院全稱FAIR（Facebook Artificial Intelligence Research），主(zhu)要研(yan)(yan)(yan)究AI相關的科學(xue)與技術，以(yi)及其(qi)在各(ge)個領域中(zhong)的應用——如計算機視覺(jue)、對話系統、虛擬助手、語(yu)音識別、自(zi)然語(yu)言識別等；據(ju)聞是一個學(xue)術氛(fen)圍較濃的研(yan)(yan)(yan)究院，研(yan)(yan)(yan)究方(fang)向相對自(zi)由寬松，也沒(mei)有近期的產品(pin)壓力，可以(yi)著眼長(chang)遠做(zuo)困難(nan)和本質的研(yan)(yan)(yan)究問(wen)題。
Yann LeCun不僅(jin)是(shi)FAIR的(de)(de)一(yi)(yi)把手，同(tong)時(shi)還(huan)是(shi)卷積(ji)神(shen)經網絡(luo)（CNN, Convolutional Neural Nets）的(de)(de)發明人(ren)之一(yi)(yi)。卷積(ji)神(shen)經網絡(luo)是(shi)深度(du)學習(xi)的(de)(de)重要分(fen)支(zhi)，是(shi)第一(yi)(yi)個真正多(duo)層結(jie)構學習(xi)算法——而深度(du)學習(xi)中的(de)(de)“深度(du)”，最(zui)簡單理解就是(shi)“有很(hen)多(duo)層”。
“深度學習(xi)的深度，指的是超過一(yi)層的非線性(xing)特征轉換。(It’s deep if it has more than one stage of non-linear feature transformation)”
目前常(chang)見的(de)深度學習(xi)模型包括牛津大學視(shi)覺幾何組(zu)VGG網絡、谷(gu)歌(ge)的(de)GoogLeNet、Facebook的(de)深度殘差(cha)網絡ResNet等。
隨著(zhu)近(jin)年來深度學習的(de)不斷崛起，擅(shan)長(chang)處理(li)圖像（特別是大(da)圖像）的(de)卷積神經網絡(luo)也(ye)被視為開(kai)發可拓展自動(dong)自然語言理(li)解和圖像識(shi)別工具(ju)，甚至是語音識(shi)別和視覺搜索系統(tong)的(de)基(ji)本構件，Facebook的(de)AI實驗室也(ye)在(zai)YannLeCun及一眾大(da)牛的(de)帶動(dong)下飛速前進(jin)。
不過，3月初，據The Information報道（就是那個曾經正面懟上Magic Leap的媒體），盡管Facebook一直(zhi)在(zai)進行Messenger聊(liao)天機器人(ren)相關內容的研(yan)發(fa)，結果卻不(bu)盡如(ru)人(ren)意。在(zai)沒(mei)有人(ren)力干預的情況下，Messenger能夠(gou)正確處理人(ren)類請求的概率(lv)不(bu)到30%。因(yin)此，Facebook目前正在(zai)削減機器學習和(he)人(ren)工智能方面的研(yan)發(fa)支出。
智(zhi)東西也就這個問題直接詢(xun)問了Yann LeCun教(jiao)授(shou)本人，作為Facebook AI研究院的院長(chang)他堅定地一口否決。“不，完(wan)全沒有這回(hui)事(shi)。”
2、卷積神經網絡在Facebook的落地應用
作為Facebook人工智能研(yan)究院主任，Yann LeCun的(de)演講中自然也少不了卷(juan)積神經網絡及深度(du)學習在(zai)Facebook中的(de)落地(di)應用。
最先提(ti)到的是DeepFace。DeepFace是FAIR開發(fa)的一套人臉(lian)識別系統(tong)，主要應用卷積神經網(wang)絡(luo)來提(ti)取人臉(lian)特征完成識別。現在Facebook用戶每天上(shang)傳的圖(tu)片數(shu)量(liang)達到了8億張，擁有大量(liang)的數(shu)據(ju)供機器訓練與學習。
此外，Yann LeCun還提到了一(yi)(yi)項FAIR開發的(de)，用于檢測(ce)、分割、識別單張圖像(xiang)中每(mei)個物體(ti)的(de)技術，比如在一(yi)(yi)盤(pan)菜里檢測(ce)、分割、并識別出西(xi)蘭花(hua)來(lai)、又或(huo)是在一(yi)(yi)堆(dui)羊群里分割出每(mei)只羊，其核(he)心流程為以(yi)下三(san)步（去年8月都已開源）：
1）使用DeepMask這個新型框架對物體進行檢測與分割，生成初始對象掩膜（Mask，相當于一個覆蓋區域）；
2）使用SharpMask模型優化這些對象掩膜；
3）使用MutiPathNet卷積網絡(luo)識別每(mei)個掩膜所框(kuang)定(ding)的物體。
值得一提的是(shi)，MutiPathNet中(zhong)使用了(le)一種(zhong)新型的對象(xiang)實例分(fen)割（Instance Segmentation）框架(jia)：Mask R-CNN。這是(shi)FAIR研究員(yuan)何(he)凱(kai)明（Kaiming He）——同時也是(shi)深度(du)殘差網(wang)絡ResNet的作者之一——最近公布(bu)的研究成(cheng)果(guo)，它是(shi)Faster R-CNN的擴展形式，能夠有效地檢測圖像中(zhong)的目標，同時還能為每個(ge)實例生(sheng)成(cheng)一個(ge)高質量的分(fen)割掩膜（Segmentation Mask）。
3、常識是個好東西，希望大家都有
此外，Yann LeCun還提到(dao)了如今AI發展過(guo)程(cheng)中遇到(dao)的幾(ji)大困難：
1）機器需要學習/理解世界的運行規律（包括物理世界、數字世界、人……以獲得一定程度的常識）
2）機器需要學習大量背景知識（通過觀察和行動）
3）機器需要理解世界的狀態（以做出精準的預測和計劃）
4）機器需要更新并記住對世界狀態的估測（關注重大事件，記住相關事件）
5）機器(qi)需要邏(luo)輯分析和規劃（預(yu)測哪些(xie)行為能讓世(shi)界達(da)到目(mu)標(biao)狀(zhuang)態）
目前機(ji)器(qi)(qi)學習中最大挑戰之一就是(shi)(shi)如何讓機(ji)器(qi)(qi)擁有常識——即(ji)讓機(ji)器(qi)(qi)獲得填(tian)充空白的(de)(de)能力。比如“John背起(qi)包來(lai)，離開了(le)房間”，由于(yu)人類具備(bei)(bei)常識，因(yin)此我們能夠(gou)知(zhi)(zhi)道(dao)John在這個過程中需要站起(qi)來(lai)，打(da)開房門(men)，走出去(qu)——他不(bu)(bu)會是(shi)(shi)躺著出去(qu)的(de)(de)，也(ye)(ye)不(bu)(bu)會從關著的(de)(de)門(men)出去(qu)，可機(ji)器(qi)(qi)并(bing)不(bu)(bu)知(zhi)(zhi)道(dao)這一點。又或(huo)者(zhe)我們即(ji)使(shi)只看到了(le)半張人臉(lian)也(ye)(ye)能認出那人是(shi)(shi)誰，因(yin)為人類常識里左右臉(lian)都是(shi)(shi)通常長得差不(bu)(bu)多(duo)，但機(ji)器(qi)(qi)同樣不(bu)(bu)具備(bei)(bei)這種能力。
下文提到(dao)的無(wu)監督/預測學(xue)(xue)習(xi)可以讓機器獲得常識，現在我們(men)常用的監督學(xue)(xue)習(xi)并做不到(dao)這(zhe)一點。從(cong)本質上來說(shuo)，在無(wu)監督學(xue)(xue)習(xi)方面(mian)，生物大腦(nao)遠(yuan)好于我們(men)的模型。
4、無監督學習才是蛋糕本身
“是的、是的，我知道(dao)你們在(zai)想什么——那個蛋糕比(bi)喻又來了(le)，”切到(dao)這(zhe)(zhe)張(zhang)幻燈(deng)片時，Yann LeCun笑著說，“這(zhe)(zhe)已經是我在(zai)人工智能(neng)領域的一(yi)個梗了(le)。”
在大大小小的(de)無(wu)數場(chang)演(yan)講中，Yann LeCun不止(zhi)一次，甚至不止(zhi)十(shi)次地打(da)過這(zhe)個比方：如(ru)果(guo)人工(gong)智能是一塊蛋(dan)糕(gao)(gao)，強化學習（Reinforcement Learning）就是蛋(dan)糕(gao)(gao)上的(de)一粒(li)櫻桃，而監督學習（Supervised Learning）是蛋(dan)糕(gao)(gao)外(wai)的(de)一層糖霜，但無(wu)監督學習/預測學習（Unsupervised/Predictive Learning）才是蛋(dan)糕(gao)(gao)本身。目前我(wo)們只知道(dao)如(ru)何(he)制作糖霜和(he)櫻桃，卻不知道(dao)如(ru)何(he)做蛋(dan)糕(gao)(gao)。
我們(men)現在(zai)對深(shen)度神經網絡的(de)訓練，用的(de)大部(bu)分還是(shi)監督(du)學(xue)習的(de)方式。你(ni)將(jiang)一(yi)張(zhang)圖片展現給系(xi)統并告訴(su)它(ta)這是(shi)一(yi)輛(liang)車，它(ta)就會相應調整它(ta)的(de)參數并在(zai)下一(yi)次(ci)說出“車”。然(ran)后你(ni)再展現給它(ta)一(yi)張(zhang)桌子，一(yi)個(ge)人。在(zai)幾(ji)百個(ge)例子、耗費幾(ji)天到幾(ji)周的(de)計算時間(jian)之后，它(ta)就弄明白了。“這其實并不是(shi)一(yi)個(ge)非常復雜的(de)概念。”
其次，對(dui)于一個(ge)AI系統來(lai)說，預(yu)測+規(gui)劃=邏輯分析（Predicting + Planning = Reasoning）。如果想要讓機器(qi)能夠了解并且(qie)預(yu)測世界的(de)規(gui)律(lv)，強化學(xue)(xue)習(xi)（Reinforcement Learning）需要建立一個(ge)世界模(mo)擬(ni)器(qi)（World Simulator），模(mo)擬(ni)真實世界的(de)邏輯、原理(li)、物理(li)定律(lv)等。不過(guo)真實世界太過(guo)復雜，存在(zai)大量的(de)表征學(xue)(xue)習(xi)參(can)數，使得機器(qi)學(xue)(xue)習(xi)的(de)計(ji)算(suan)量相當冗余，聽起來(lai)似乎很誘人，但是在(zai)有限的(de)時間內無(wu)法學(xue)(xue)習(xi)到(dao)成千上(shang)億的(de)參(can)數。
而無監督學習(xi)需要(yao)(yao)機器處理大(da)量(liang)沒有(you)標記的(de)數據，就像給(gei)它一堆狗的(de)照(zhao)片(pian)，卻不告(gao)訴(su)它這是一條狗。機器需要(yao)(yao)自己找到區分不同數據子(zi)集(ji)、集(ji)群(qun)、或者相(xiang)似圖像的(de)辦(ban)法，有(you)點像嬰兒學習(xi)世界的(de)方式。
5、無監督學習的一些突破性的嘗試與結果
無監(jian)督(du)學習的一大困(kun)難之(zhi)處在于(yu)：對不(bu)(bu)確(que)定性的預測。比(bi)如當你將(jiang)一支筆直立在桌面上時，松(song)開手的那一刻，你并(bing)不(bu)(bu)知道這只(zhi)(zhi)筆將(jiang)會朝哪個方(fang)向倒(dao)(dao)下(xia)。如果(guo)系統(tong)回答(da)這只(zhi)(zhi)筆會倒(dao)(dao)下(xia)，卻判斷錯誤了倒(dao)(dao)下(xia)的方(fang)向，我們需要(yao)告訴系統(tong)，雖然你不(bu)(bu)是完全正(zheng)確(que)，但(dan)你的本(ben)質(zhi)上是正(zheng)確(que)的，我們不(bu)(bu)會懲罰你。此時需要(yao)引入(ru)曲面的成本(ben)函數(shu)，只(zhi)(zhi)要(yao)系統(tong)回答(da)在曲面之(zhi)下(xia)的數(shu)據，都(dou)是正(zheng)確(que)的答(da)案。
傳(chuan)統神經網絡(luo)需要(yao)一(yi)個人類(lei)科學(xue)(xue)家精(jing)心設計的(de)成本函(han)數來(lai)指(zhi)導學(xue)(xue)習(xi)，無監督學(xue)(xue)習(xi)為(wei)了解決這(zhe)一(yi)問(wen)題，利(li)用生成式對(dui)(dui)抗網絡(luo)（Generator Adversarial Networks）對(dui)(dui)機器(qi)進行對(dui)(dui)抗訓練(lian)（Adversarial Training）成了關鍵答(da)案(an)。
生(sheng)成式(shi)對抗網(wang)(wang)絡(luo)（Generator Adversarial Networks）是(shi)一種面向無監(jian)督學習(xi)的(de)神經網(wang)(wang)絡(luo)：它帶有一個發生(sheng)器（Generator），從隨機輸入(ru)中生(sheng)成某類(lei)假數據（比如，假的(de)圖片）；假數據和來自世界的(de)真數據會(hui)一起輸入(ru)一個判別器（Discriminator）中，等待判別器裁決。
兩者的(de)關系就(jiu)像(xiang)一個騙子和一個測謊者。判別(bie)器(qi)(qi)(qi)這(zhe)(zhe)位(wei)測謊者要不斷(duan)優(you)化(hua)自(zi)己，盡可能地識(shi)別(bie)出發(fa)生器(qi)(qi)(qi)生成的(de)“假(jia)圖像(xiang)”，防止自(zi)己被騙；而生成器(qi)(qi)(qi)這(zhe)(zhe)個騙子為了瞞過判別(bie)器(qi)(qi)(qi)，也必須(xu)不斷(duan)進(jin)步。在這(zhe)(zhe)種動態的(de)對抗中，生成器(qi)(qi)(qi)會得到訓(xun)練，最后開始生成非常(chang)真(zhen)實的(de)圖片(pian)，這(zhe)(zhe)意(yi)味(wei)著生成器(qi)(qi)(qi)掌握(wo)了圖像(xiang)的(de)特征，自(zi)己掌握(wo)成本(ben)函數——某種意(yi)義上，這(zhe)(zhe)就(jiu)是無監督(du)學習。
6、AI的未來
技術講完了(le)，我(wo)們來聊聊行業。
在(zai)演講后的問答(da)環節中，Yann LeCun回答(da)了幾個與人(ren)(ren)工智能行(xing)業(ye)應用(yong)(yong)的問題(ti)。他認為，未來人(ren)(ren)工智能將會落地應用(yong)(yong)、快(kuai)速改(gai)革的行(xing)業(ye)包括：自動駕(jia)駛、語音交流（比如(ru)翻譯）、工業(ye)制(zhi)(zhi)造（隨著機器人(ren)(ren)在(zai)工業(ye)制(zhi)(zhi)造中的普及，現(xian)在(zai)這種(zhong)“全球工廠(chang)”的趨勢(shi)將會減退(tui)，工業(ye)制(zhi)(zhi)造越來越多地在(zai)本(ben)地完成，進而(er)導致(zhi)城市的構架(jia)設計(ji)也發生(sheng)變化）、還有醫療(liao)健(jian)康領(ling)域（比如(ru)癌癥檢測(ce)）。
此(ci)外，對于許多(duo)科幻小說里提出的(de)(de)，最終能夠“推翻人類(lei)”、“統(tong)治人類(lei)”的(de)(de)“超級智能”，Yann LeCun認為我們真(zhen)的(de)(de)大可不必太擔(dan)心(xin)。
人(ren)(ren)類(lei)的(de)(de)占領(ling)、統(tong)治、斗(dou)爭(zheng)等(deng)大(da)部分行為(wei)，都(dou)是在(zai)一代代進化(hua)的(de)(de)過(guo)程中，受到“希望獲得資(zi)源”這(zhe)一目的(de)(de)所驅動的(de)(de)。而如(ru)果我(wo)們想(xiang)要(yao)機器做一件事情，則(ze)需(xu)要(yao)給它賦予這(zhe)個(ge)能(neng)(neng)力，朝這(zhe)個(ge)目的(de)(de)去打(da)造機器。如(ru)今我(wo)們已經做出了在(zai)特定領(ling)域比人(ren)(ren)類(lei)更智能(neng)(neng)的(de)(de)機器，但(dan)人(ren)(ren)工智能(neng)(neng)并不會(hui)真正統(tong)治世(shi)界(jie)，因為(wei)我(wo)們并不會(hui)朝這(zhe)個(ge)目的(de)(de)去做。
7、十年之約與兩個小賭
早在(zai)20世(shi)紀80年代末，Yann LeCun就作為貝(bei)爾實驗(yan)(yan)室的研(yan)究員(yuan)，提(ti)出了(le)卷(juan)積網(wang)絡技術，并展示如何使用它來(lai)大(da)幅(fu)度(du)提(ti)高手(shou)寫識別能力。而在(zai)演(yan)講的中(zhong)，他還提(ti)到(dao)了(le)1995年里(li)，來(lai)自貝(bei)爾實驗(yan)(yan)室的兩個有趣的賭約。
對賭雙方分(fen)別是：前貝爾實驗(yan)室負責人Larry Jackel，和支(zhi)持(chi)向量機(ji)（Support Vector Machine）的創建者之一Vladimir Vapnik。
第一個賭約：Larry Jackel認為(wei)，最遲(chi)到2000年，我們就(jiu)會有一個關于(yu)神(shen)經網絡為(wei)什么有效的(de)成(cheng)熟理論解釋。
第二(er)個(ge)賭約(yue)：Vladimir Vapnik則認為，到(dao)了2000年(nian)，大家(jia)不會再使(shi)用(yong)神經網絡(luo)的結構(gou)。（畢竟人家(jia)是支(zhi)持(chi)向(xiang)量(liang)機的創建者(zhe)之一(yi)，自然更加認可支(zhi)持(chi)向(xiang)量(liang)機）
而(er)對賭(du)結(jie)果呢？——兩個人都輸了。我們(men)至今仍舊沒有(you)一個成熟(shu)的解釋，可以告(gao)訴(su)我們(men)為(wei)什么神(shen)經網(wang)絡(luo)的使用效果這么好；與此同時，我們(men)也仍在(zai)使用神(shen)經網(wang)絡(luo)架(jia)構。
最后在2005年，他們吃了一(yi)場(chang)昂貴的賭約變現晚飯，由于兩人都是(shi)各輸一(yi)局(ju)，因此賬單(dan)對半。
結語：
作為Facebook人工智能(neng)實(shi)驗室主任(ren)、卷(juan)(juan)積神(shen)經(jing)網(wang)(wang)絡(luo)之(zhi)父、深度學習三巨頭之(zhi)一，Yann LeCun的(de)(de)演(yan)(yan)講(jiang)比(bi)文(wen)章內(nei)體現(xian)的(de)(de)內(nei)容(rong)要學術得(de)多，除了(le)上文(wen)的(de)(de)亮點梳理外(wai)，Yann LeCun教授(shou)的(de)(de)演(yan)(yan)講(jiang)還涉及到深度學習從1957年至今的(de)(de)發展歷程、在神(shen)經(jing)網(wang)(wang)絡(luo)結構(gou)中引入能(neng)量函(han)數的(de)(de)無監督(du)學習、基(ji)于(yu)能(neng)量的(de)(de)生(sheng)成式對(dui)抗(kang)(kang)網(wang)(wang)絡(luo)（EBGAN）、深層卷(juan)(juan)積生(sheng)成式對(dui)抗(kang)(kang)網(wang)(wang)絡(luo)（DCGAN）、視頻內(nei)容(rong)預測等。在智東西(xi)對(dui)話頁回復“FaceBook”，可以獲得(de)YannLeCun本次清華演(yan)(yan)講(jiang)的(de)(de)全部PPT，此處就不一一展開了(le)。
每日一頭條
趨勢·深度·犀利·干貨，最專業的行業解讀
深(shen)喉爆料、投稿(gao)：guoren@sanyasheying.cn
