智東西（公眾號：zhidxcom）
作者 | 信儀
編輯 | 漠影
智(zhi)(zhi)東西2月3日消息，中(zhong)科(ke)院香(xiang)港創新研究院人(ren)工(gong)智(zhi)(zhi)能(neng)與(yu)機器人(ren)創新中(zhong)心人(ren)工(gong)智(zhi)(zhi)能(neng)前沿(yan)論壇昨日開(kai)幕，在上午(wu)的開(kai)幕及主旨演講環節，來自清(qing)華大學(xue)(xue)、歐(ou)洲科(ke)學(xue)(xue)院、香(xiang)港理工(gong)大學(xue)(xue)和(he)香(xiang)港科(ke)技(ji)大學(xue)(xue)的四位教授分(fen)(fen)別分(fen)(fen)享(xiang)了關于類腦(nao)計算、深度學(xue)(xue)習等人(ren)工(gong)智(zhi)(zhi)能(neng)前沿(yan)領域的最(zui)新見解。
中(zhong)國科(ke)學(xue)院自動化研究(jiu)(jiu)所所長、香(xiang)(xiang)港創新研究(jiu)(jiu)院人(ren)工智能與機器人(ren)研究(jiu)(jiu)中(zhong)心主任徐波研究(jiu)(jiu)員在論壇(tan)致辭中(zhong)說，中(zhong)國科(ke)學(xue)院香(xiang)(xiang)港創新研究(jiu)(jiu)院是(shi)(shi)中(zhong)科(ke)院在香(xiang)(xiang)港設(she)立的(de)(de)首個科(ke)研機構，是(shi)(shi)建(jian)設(she)粵港澳大灣(wan)區(qu)具有全球影(ying)響力(li)國際科(ke)技創新中(zhong)心的(de)(de)重要組成部分。
▲中(zhong)國科學(xue)院自(zi)動化研究(jiu)所(suo)所(suo)長徐波（左(zuo)一） 中(zhong)國科學(xue)院自(zi)動化研究(jiu)所(suo)副(fu)所(suo)長劉成林（右(you)一）
徐波研究員稱(cheng)，創新(xin)中(zhong)心將圍繞新(xin)一代(dai)人(ren)工(gong)智能基礎理(li)論(lun)、新(xin)型(xing)人(ren)機交互技(ji)術(shu)和設備，面向(xiang)健康(kang)和無障礙的智能技(ji)術(shu)、人(ren)工(gong)智能開放平臺及似乎等方面開展研究工(gong)作，充分結合內地和香港在不同領域的優勢，以幫助大灣區進行科創建設。
在論壇中，清(qing)華大學教(jiao)(jiao)授施路平、歐洲科學院外籍院士陶大程、香(xiang)港(gang)(gang)理(li)工大學講席教(jiao)(jiao)授張磊、香(xiang)港(gang)(gang)科技大學教(jiao)(jiao)授James Kwok分(fen)別在線上進行了(le)報告，以分(fen)享他們對各自相關領(ling)域研究最新進展(zhan)的見(jian)解。
一、施路平：計算機和人工智能發展面臨的挑戰呼喚類腦計算
施路平(ping)教(jiao)(jiao)授(shou)是清(qing)華(hua)大學精密儀(yi)器教(jiao)(jiao)授(shou)，清(qing)華(hua)大學類腦計(ji)算研究(jiu)(jiu)中心主任，研究(jiu)(jiu)領域涉及類腦計(ji)算、信息存儲、集成(cheng)光電子、智能儀(yi)器。
▲施路平教授主旨演講
他在2013年(nian)加入清華大學，創建類(lei)腦計算研(yan)究(jiu)中(zhong)心，并(bing)提(ti)出異構融合類(lei)腦計算架(jia)構，研(yan)制(zhi)了全球首款異構融合類(lei)腦計算“天(tian)機芯”，利用一款天(tian)機芯構建了人(ren)工通用智能研(yan)究(jiu)演示平臺(tai)——自動(dong)行(xing)駛自行(xing)車(che)，相關成果(guo)被作為封(feng)面文(wen)章于(yu)2019年(nian)發表(biao)在《Nature》雜志上。
▲全球首款異(yi)構融合類腦計算“天(tian)機芯”
2020年，施路平(ping)教(jiao)授及團(tuan)隊在《Nature》雜志上再(zai)次發(fa)文，借鑒計算機發(fa)展思路，與合(he)作者(zhe)提(ti)出(chu)了類腦計算完備性(xing)基(ji)礎理論及軟硬(ying)件去耦(ou)合(he)的(de)類腦計算系統層次結構。
施路平教授說：“類腦計算是人工通用智能(neng)競爭的基石，可以賦能(neng)各(ge)行各(ge)業。”
在論壇上，施路平(ping)教(jiao)授做了(le)題(ti)為《類腦(nao)計算(suan)研究的(de)挑戰(zhan)與機遇》的(de)報告。他(ta)講道(dao)，量(liang)子計算(suan)和類腦(nao)計算(suan)是國際半導體協(xie)會確(que)定(ding)的(de)后摩爾(er)時代兩個最有(you)前途的(de)新(xin)技術。其中，類腦(nao)計算(suan)是借鑒人腦(nao)存儲處(chu)理信息的(de)方式，面向人工通用智(zhi)能發展的(de)新(xin)型計算(suan)技術。
類腦計算(suan)系統(tong)是能基于神經形(xing)態工程，打破“馮·諾依曼”架構(gou)束(shu)縛，適于實時(shi)處理非架構(gou)化信息(xi)，具有學(xue)習能力的超低功耗新(xin)型(xing)計算(suan)系統(tong)。
但是目(mu)前(qian)類(lei)(lei)(lei)腦(nao)(nao)計算(suan)(suan)仍處于(yu)起步階段，尚未形成公(gong)認技術(shu)方(fang)案。施路平教授從“為(wei)什么要(yao)做(zuo)類(lei)(lei)(lei)腦(nao)(nao)計算(suan)(suan)、類(lei)(lei)(lei)腦(nao)(nao)計算(suan)(suan)主要(yao)做(zuo)什么、怎(zen)樣做(zuo)類(lei)(lei)(lei)腦(nao)(nao)計算(suan)(suan)”三方(fang)面(mian)，闡(chan)述了類(lei)(lei)(lei)腦(nao)(nao)計算(suan)(suan)發展背景和領域內最新進展、面(mian)臨的(de)主要(yao)挑戰和可能(neng)解決(jue)的(de)方(fang)法，并對利用(yong)雙腦(nao)(nao)驅動融(rong)合(he)發展類(lei)(lei)(lei)腦(nao)(nao)計算(suan)(suan)的(de)方(fang)式進行了探討，以(yi)促(cu)進人工通(tong)用(yong)智(zhi)能(neng)的(de)研究(jiu)。
▲什么是類腦計算
施(shi)路平教授提到(dao)，2016年(nian)是(shi)類(lei)腦(nao)計(ji)算元年(nian)，2016年(nian)4月(yue)6日，美國IBM的TrueNorth硬件上線，2016年(nian)3月(yue)21日，德國的BrainScales架構和英國的SpiNNaker架構同時上線，而(er)后續在2020年(nian)2月(yue)，我國研制的全(quan)球首款異構融合類(lei)腦(nao)計(ji)算“天機芯”入選“2019年(nian)度中國科學十大(da)進(jin)展”。
電腦雖(sui)然能完(wan)成(cheng)很多(duo)人腦做不到的事(shi)情(qing)，但在(zai)人能相對容易做到的“感覺(jue)、適應、理解、學習、創新”等方面，電腦的能力卻不及人腦。
▲電腦與大腦的對比
計(ji)(ji)算機(ji)如今面臨著馮·諾依曼架構瓶頸、物理(li)微縮(suo)、大(da)部分數據生命周期短、數據大(da)、多(duo)樣性、變化快的(de)挑(tiao)戰(zhan)，同時又有(you)著更(geng)低成本，更(geng)優(you)能耗、安(an)全和(he)性能的(de)機(ji)遇。2018年圖靈獎得主(zhu)David Patterson和(he)John Hennessy曾說：“計(ji)(ji)算機(ji)體系結構將迎來一個黃金十年。”
再(zai)將目光轉(zhuan)向人工(gong)智(zhi)能領域。人工(gong)智(zhi)能有充(chong)足(zu)的(de)(de)數據，確定的(de)(de)問題(ti)，完(wan)整的(de)(de)知識，靜態，以及單一的(de)(de)問題(ti)五個條件(jian)，同(tong)時(shi)也有不可理解(jie)、不可解(jie)釋，一點(dian)偏差可以產(chan)生巨(ju)大錯誤的(de)(de)缺陷。
▲人工智能的挑戰
目前(qian)，人工智(zhi)能需(xu)要在思想、知識(shi)、算法、算力、數據五(wu)個方面進行突破。
圖靈獎得主(zhu)Geoffrey Hinton曾說：“相信(xin)克服人工智能局限性的關鍵在于搭建‘一(yi)個(ge)連接(jie)計算(suan)機科學(xue)和生(sheng)物(wu)學(xue)的橋梁’。”而(er)類(lei)腦計算(suan)，是將這(zhe)二者聯系起來的方式之一(yi)。
施路平教授說，現在的(de)人(ren)(ren)工智能依托(tuo)傳統(tong)計(ji)算機和馮·諾依曼架構，未來(lai)的(de)人(ren)(ren)工通(tong)用智能將依托(tuo)類腦(nao)(nao)(nao)(nao)計(ji)算機和類腦(nao)(nao)(nao)(nao)架構。而類腦(nao)(nao)(nao)(nao)人(ren)(ren)工通(tong)用智能不是(shi)簡單的(de)人(ren)(ren)工智能升級版，其更多是(shi)人(ren)(ren)腦(nao)(nao)(nao)(nao)和電腦(nao)(nao)(nao)(nao)的(de)融合。
▲類腦計算圖示
施路平教授認為，計(ji)算(suan)機和人工(gong)智能發展面臨的挑戰正在(zai)呼喚類腦計(ji)算(suan)，而雙腦融(rong)合驅動是類腦計(ji)算(suan)發展的關(guan)鍵。同時，類腦計(ji)算(suan)需要理(li)論、芯片、軟件(jian)、系統(tong)和應用(yong)協同發展。
▲主要類腦計算芯片
二、陶大程：對可信深度學習的見解
陶(tao)大程院(yuan)士主要從(cong)事人工(gong)智能領域的(de)研究，并先后當(dang)選IEEE/AAAS/ACM Fellow、歐洲科學院(yuan)（Academia European）外(wai)籍院(yuan)士，以及澳大利亞科學院(yuan)院(yuan)士。
▲陶大成(cheng)院士主旨(zhi)演講(jiang)
在(zai)論壇中，陶(tao)大程院士分享了其團(tuan)隊在(zai)“可信深度學習”這個領域上的進展。
他講到，2016年隨(sui)著AlphaGo戰勝李世(shi)石(shi)，AI的(de)力量讓人(ren)(ren)們(men)震驚，也讓人(ren)(ren)們(men)對AI解(jie)放工作甚(shen)至(zhi)代替(ti)人(ren)(ren)類(lei)的(de)未來充滿(man)擔憂。而(er)從2016年到2020年，科(ke)技不斷發展(zhan)，但人(ren)(ren)們(men)對AI的(de)看法(fa)卻在不斷變得冷靜。
▲三次人工智能浪潮
“第(di)三次人(ren)(ren)工(gong)智(zhi)能熱潮主要(yao)是(shi)由(you)于深度(du)學習引(yin)起的(de)(de)，但有一(yi)些(xie)人(ren)(ren)認為，這其(qi)中(zhong)遇到的(de)(de)一(yi)些(xie)問題逐漸浮現，需要(yao)人(ren)(ren)們(men)進入到人(ren)(ren)工(gong)智(zhi)能熱潮的(de)(de)第(di)四個階段。那時，人(ren)(ren)工(gong)智(zhi)能將寄希望于和人(ren)(ren)的(de)(de)價值(zhi)(zhi)聯系起來，將人(ren)(ren)工(gong)智(zhi)能的(de)(de)方式方法(fa)與(yu)人(ren)(ren)的(de)(de)價值(zhi)(zhi)觀保持一(yi)致(zhi)。” 陶大(da)程(cheng)院士講道。
他在演(yan)講中舉了(le)谷歌“fixed”、“Deepfakes”例(li)子，表明(ming)人們(men)應該控制人工智(zhi)能的使用(yong)范(fan)圍(wei)。
▲“fixed”、“Deepfakes”的案例(li)
目前，人工智能技術在(zai)機器視(shi)覺(jue)上取(qu)得了很大(da)成(cheng)功。陶大(da)程院士展示了其團(tuan)隊最新的一個(ge)機器視(shi)覺(jue)成(cheng)果，可(ke)以估計(ji)人的姿態，理解(jie)(jie)人的表情(qing)和簡單的行為動(dong)作。除了理解(jie)(jie)視(shi)頻(pin)，現在(zai)的人工智能還(huan)能幫助人們進行表情(qing)編(bian)輯和音頻(pin)編(bian)輯，提供效果很好的視(shi)頻(pin)演示效果。此外(wai)，有(you)了超級計(ji)算，研究人員(yuan)可(ke)以更方便有(you)效訓練模型。
▲陶大程院士(shi)團隊最新的一個機器視覺成果
盡管神經網絡仍然存(cun)在一(yi)些問題，但(dan)研究(jiu)人員依舊對(dui)現在的深度學習抱有一(yi)定(ding)期望。他們希望模型的魯棒性更(geng)高，耗(hao)能更(geng)低(di)，可解釋性更(geng)強，能適應動態環境，能注重人的隱私安全(quan)且易于使用。
從神(shen)經網(wang)(wang)絡(luo)(luo)的(de)歷史變化上來看，陶大程(cheng)院(yuan)士稱，網(wang)(wang)絡(luo)(luo)是越來越深(shen)(shen)的(de)，同時(shi)最近研究人員也在思考采用(yong)網(wang)(wang)絡(luo)(luo)模(mo)型的(de)壓縮技術(shu)和機器學習等技術(shu)用(yong)小的(de)網(wang)(wang)絡(luo)(luo)模(mo)型實現更好(hao)的(de)效果。無論如何，要想取得好(hao)的(de)效果，就(jiu)一(yi)定需要達(da)到(dao)一(yi)定深(shen)(shen)度。此外，網(wang)(wang)絡(luo)(luo)越深(shen)(shen)，模(mo)型的(de)泛化能力(li)也會越強，但要想網(wang)(wang)絡(luo)(luo)性能好(hao)，還要保證數據的(de)誤差非(fei)常小。
此外，他還提(ti)到團隊在去年的ICLR（International Conference on Learning Representations）會議工作(zuo)中(zhong)，拓展(zhan)了一些條件(jian)，覆蓋了非線性損害(hai)曲(qu)面(mian)研究中(zhong)幾乎所(suo)有(you)的現實情況，具體(ti)來說擴展(zhan)到了任意深度、任意的可微(wei)損失(shi)函(han)(han)數(shu)(shu)、任意維(wei)輸出和任意線性激活(huo)函(han)(han)數(shu)(shu)。
總之(zhi)，未來(lai)人工智能與人的價值觀更加貼合，在推廣(guang)的同時注重對人的隱私保護。
三、張磊：深度神經網絡學習歸一化方法的兩項最新進展
張磊自(zi)2006年(nian)加入香港理工大學計算(suan)機系，至今已(yi)有(you)15年(nian)。他的研究重點主要集(ji)中在計算(suan)機視覺、圖(tu)像和視頻分析(xi)、模(mo)式識別和生(sheng)物(wu)識別等。
▲張磊教授主題演講
他分享了題(ti)為《Two Recent Advances on Normalization Methods for Deep Neural Network Learning（深(shen)度神經網絡學(xue)習歸一化方法的(de)兩(liang)項最(zui)新(xin)(xin)進展）》的(de)演講，新(xin)(xin)進展可以提(ti)高模型(xing)的(de)優(you)化和泛化。優(you)化在這里是指提(ti)高模型(xing)的(de)準確性(xing)，而泛化則(ze)是指機器學(xue)習算法對(dui)新(xin)(xin)鮮樣(yang)本的(de)適應能力。
他提到，歸一(yi)化(hua)方法對于(yu)有效和高效地優(you)化(hua)深度神經(jing)網絡（DNN）非常重要。諸(zhu)如均值和方差之(zhi)類的(de)統計信(xin)息可(ke)用于(yu)規范化(hua)網絡激活或權重，以使訓練過程(cheng)更加(jia)穩定(ding)。
在激(ji)活歸一化(hua)技術中，批量歸一化(hua)（BN）是最常見的一種。但是，在訓練(lian)中批量較(jiao)小時，BN的性(xing)能較(jiao)差。
張磊教授團隊在(zai)研究(jiu)中發現，在(zai)推(tui)斷(duan)階段BN的(de)公式化存(cun)在(zai)問(wen)題，因此提出了一(yi)種(zhong)更正的(de)方法。在(zai)訓練(lian)階段沒有任何變化的(de)情況下，在(zai)小(xiao)批量訓練(lian)時(shi)，校正后的(de)BN可以顯著(zhu)提高推(tui)理(li)性能(neng)。
另一(yi)種常見的歸一(yi)化(hua)(hua)(hua)方法則是對(dui)權(quan)(quan)重進(jin)行操作，如(ru)權(quan)(quan)重歸一(yi)化(hua)(hua)(hua)（WN）和權(quan)(quan)重標準化(hua)(hua)(hua)（WS）。團隊(dui)也相應提(ti)出(chu)了(le)一(yi)種簡(jian)單(dan)有(you)效的DNN優化(hua)(hua)(hua)技術：即(ji)梯(ti)度中心化(hua)(hua)(hua)（GC）。
▲使用GC的示意圖
這種方(fang)法(fa)直(zhi)接對權重的(de)梯(ti)(ti)度進行操作，簡單地通過梯(ti)(ti)度中心化向量使其集中到零均(jun)值(zhi)，它可以很容易就嵌(qian)入當前基(ji)于梯(ti)(ti)度的(de)優化算法(fa)，而這個(ge)過程只需一系列代碼就可完成。
盡管(guan)簡單，但GC達到(dao)了多個期望(wang)效果，比如加(jia)速訓(xun)練(lian)過程，提高泛化性能，以及對(dui)于微調預訓(xun)練(lian)模型的兼(jian)容(rong)性。
▲GC方法的幾何解(jie)釋
四、James Kwok：自動化機器學習的最新進展
James Kwok是香(xiang)港科技大學(xue)計算(suan)機科學(xue)與工(gong)程學(xue)系(xi)教授，也是IEEE雜(za)志神(shen)經網絡與學(xue)習系(xi)統交易(yi)、神(shen)經網絡工(gong)作(zuo)、神(shen)經計算(suan)、人工(gong)智能方(fang)面的副主編。
▲James Kwok教授的主旨演講
在(zai)論壇中(zhong)，他(ta)對(dui)自動(dong)化機器學習的最新進展進行了分享。
James Kwok觀察到，機(ji)器學(xue)習(xi)很(hen)強大，與此(ci)同(tong)時(shi)，世界各地對機(ji)器學(xue)習(xi)知識(shi)的需求量同(tong)樣很(hen)大。而自動化(hua)機(ji)器學(xue)習(xi)（AutoML）可以(yi)在一(yi)定程度(du)上減(jian)少機(ji)器學(xue)習(xi)的人才缺口。
AutoML旨在從數據中(zhong)自動構建機器學習解決方案。在演講中(zhong)，James Kwok結構了對最新使用AutoML進行有效的(de)神(shen)經網絡設計，搜索(suo)捕獲推(tui)薦系統中(zhong)項目和用戶之間(jian)交互的(de)功能(neng)，以(yi)及在機器學習應用程序中(zhong)有大量(liang)噪聲樣(yang)本時，將樣(yang)本選擇到訓練過程中(zhong)的(de)幾個進展。
經過廣泛實驗表明(ming)，AutoML確實是有效的。因此在很(hen)多不同的場景中(zhong)，AutoML可(ke)以獲(huo)得比最(zui)先進的機(ji)器學(xue)習方法更好的性能。
▲James Kwok教授演(yan)講結論
結語：人工智能學術與日常生活密不可分
除了四(si)場主旨(zhi)演講，論壇還覆蓋了包括(kuo)《自監(jian)督上(shang)下文(wen)建(jian)模及(ji)底層視覺應(ying)用(yong)》《大(da)規模機器學習模型選擇理論研究》等6場學術報(bao)告(gao)，在線(xian)上(shang)為業內人(ren)士提供了一場人(ren)工(gong)智能知識盛(sheng)宴。
伴隨著科技發展突飛猛進，人(ren)工智能(neng)所(suo)引發的技術(shu)革命正(zheng)在深(shen)刻地改變人(ren)類(lei)的生活，也被人(ren)們的生活及需求(qiu)所(suo)影響(xiang)。
包括機器學習、計算機視覺等(deng)領域的(de)人工智能(neng)研(yan)究在性能(neng)、效率上不斷升級的(de)同(tong)時，也(ye)在逐(zhu)漸(jian)與人的(de)價值(zhi)觀相貼合(he)。
