智東西（公眾號：zhidxcom）
作者 | ZeR0
編輯 | 漠影
智東西8月16日(ri)(ri)報(bao)道(dao)，中科院自動(dong)化所聯合清(qing)華(hua)北大的(de)研究團隊提出了具有內生(sheng)復雜(za)性的(de)類腦計(ji)算方法，今日(ri)(ri)相關論文發表于(yu)國(guo)際頂級學術期刊Nature的(de)子刊Nature Computational Science。
人工智能(neng)（AI）領域的最終(zhong)目標(biao)是構建(jian)能(neng)實現(xian)通(tong)用人工智能(neng)的系統，讓模(mo)型具有更(geng)加(jia)廣泛(fan)和通(tong)用的認(ren)知(zhi)能(neng)力。目前流行的大模(mo)型路徑(jing)是基于Scaling Law去構建(jian)更(geng)大、更(geng)深和更(geng)寬(kuan)的神經(jing)網絡，可(ke)稱(cheng)之為“拓展(zhan)外(wai)部(bu)復(fu)雜(za)性”的方法(fa)，復(fu)雜(za)性主要在于神經(jing)網絡的規模(mo)。這一路徑(jing)面臨著(zhu)計算資源及能(neng)源消耗難以(yi)為繼(ji)、可(ke)解釋性不足(zu)等問題。
計算(suan)神(shen)(shen)(shen)經(jing)科學(xue)和(he)AI的交叉為克服這些(xie)障礙提(ti)供了(le)一條有(you)希望的途徑。中國(guo)科學(xue)院自動化研究所李國(guo)齊、徐波(bo)研究團隊聯合清華大學(xue)、北京大學(xue)等借鑒(jian)大腦神(shen)(shen)(shen)經(jing)元復雜動力(li)學(xue)特性，提(ti)出了(le)“具有(you)內生復雜性”的類腦神(shen)(shen)(shen)經(jing)元模型構建方法，改善了(le)傳統模型復雜外部結構帶來的計算(suan)資源消耗問(wen)題，可用(yong)于尋找將豐富屬(shu)性納入(ru)神(shen)(shen)(shen)經(jing)元的合適路(lu)徑，為有(you)效利用(yong)神(shen)(shen)(shen)經(jing)科學(xue)來發展AI提(ti)供了(le)示例。
▲不同內部和(he)外部復雜(za)性的典型(xing)模型(xing)、神(shen)經元和(he)網絡
論(lun)文(wen)共同(tong)通訊作者是中國(guo)科(ke)學(xue)院(yuan)自(zi)動化所李國(guo)齊(qi)研(yan)(yan)究(jiu)員(yuan)、徐波研(yan)(yan)究(jiu)員(yuan)，北(bei)京大學(xue)田永鴻教授。共同(tong)一作是清(qing)華大學(xue)錢學(xue)森班(ban)的本科(ke)生(sheng)何(he)林軒，數理基科(ke)班(ban)本科(ke)生(sheng)徐蘊輝，精(jing)儀系博(bo)士生(sheng)何(he)煒華和(he)林逸晗。
Nature Computational Science期(qi)刊對此評論道：“AI研(yan)(yan)究(jiu)(jiu)更加貼近工程與應用，而神(shen)經(jing)(jing)科學的研(yan)(yan)究(jiu)(jiu)更加具有探索(suo)性。研(yan)(yan)究(jiu)(jiu)團隊挑戰(zhan)了這一傳統觀點，并(bing)表明(ming)更詳細且生物學上更真(zhen)實(shi)的神(shen)經(jing)(jing)元模型可以推動(dong)深度學習取得更大進展。”
論文地址：//www.nature.com/articles/s43588-024-00674-9
模型的(de)表示能力與(yu)其總(zong)復雜(za)性(xing)（包括內生(sheng)復雜(za)性(xing)和外部復雜(za)性(xing)）有關。動態描述更精細、更豐(feng)富(fu)的(de)神經元具有更高的(de)內生(sheng)復雜(za)性(xing)，而連(lian)接更廣、更深(shen)的(de)網絡具有更高的(de)外部復雜(za)性(xing)。
為(wei)了(le)增強(qiang)具有(you)簡單連接的(de)(de)基(ji)本模型的(de)(de)外部復(fu)雜(za)(za)性(xing)，可以擴展拓撲結構，例如通(tong)過擴大模型的(de)(de)寬(kuan)度和深(shen)度；為(wei)了(le)實現更高的(de)(de)內生復(fu)雜(za)(za)性(xing)，可以使(shi)動(dong)態特(te)性(xing)復(fu)雜(za)(za)化，例如通(tong)過向模型中添加離子通(tong)道或將其轉換為(wei)多(duo)房(fang)室模型。兩種方法(fa)都能(neng)達到相(xiang)同的(de)(de)總復(fu)雜(za)(za)性(xing)水平，并獲(huo)得相(xiang)似的(de)(de)表示能(neng)力(li)。
HH（Hodgkin-Huxley）神經元模型是一組描述神經元細胞膜電生理現象的非線(xian)性微(wei)分方(fang)程，直接(jie)反映(ying)了細胞膜上離子通道的開(kai)閉(bi)情況及其與膜電位變(bian)化之間的關系。
作(zuo)為一個案例研究，研究人員構建(jian)了(le)(le)一組相當(dang)于單個HH神經(jing)元的(de)LIF（Leaky?Integrate and Fire）神經(jing)元，這為比較和分析(xi)具(ju)有(you)不同內部和外部復雜性的(de)網(wang)絡提供(gong)了(le)(le)一種嚴(yan)格(ge)的(de)方法。研究團隊進(jin)一步構建(jian)了(le)(le)不同的(de)神經(jing)網(wang)絡，包括HH網(wang)絡、s-LIF2HH網(wang)絡、vanilla LIF網(wang)絡、二值人工神經(jing)網(wang)絡。
▲一(yi)種從(cong)tv-LIF過(guo)渡到HH的方法，它將(jiang)外部連接的復雜性收斂到單(dan)個神經(jing)元(yuan)的內(nei)部。a.?HH神經(jing)元(yuan)結構及相關電路圖；b. 如何(he)將(jiang)有4個tv-LIF2HH神經(jing)元(yuan)的tv-LIF2HH子(zi)網(wang)(wang)絡(luo)(luo)等同于HH神經(jing)元(yuan)；c.?單(dan)個到連接的等效(xiao)性；d.?由HH神經(jing)元(yuan)與(yu)tv-LIF2HH子(zi)網(wang)(wang)絡(luo)(luo)的等效(xiao)連接組成(cheng)的神經(jing)網(wang)(wang)絡(luo)(luo)。
上圖中，LIF2HH網絡(luo)中的(de)每(mei)條線代表了從前一(yi)個子網絡(luo)中的(de)4個LIF神經元到整個后(hou)一(yi)個子網絡(luo)的(de)4個不同連接。
這(zhe)項研究首先(xian)展示(shi)了(le)脈(mo)沖神(shen)經(jing)網絡(luo)神(shen)經(jing)元(yuan)LIF模型和HH模型在(zai)(zai)動力(li)學(xue)特性(xing)上存在(zai)(zai)等(deng)效(xiao)性(xing)，進一步從理(li)論上證明了(le)HH神(shen)經(jing)元(yuan)可以和4個具有特定連接結構的時變(bian)參數(shu)LIF神(shen)經(jing)元(yuan)（tv-LIF）動力(li)學(xue)特性(xing)等(deng)效(xiao)。
基于這種(zhong)等效性，團(tuan)隊通過設計微架構(gou)提升計算單元的(de)內生復雜性，使HH網(wang)絡模型能(neng)夠模擬更(geng)大規模LIF網(wang)絡模型的(de)動(dong)力學(xue)特(te)性，在更(geng)小的(de)網(wang)絡架構(gou)上實(shi)現與之相似的(de)計算功能(neng)。
進一步，團隊將由4個tv-LIF神經元構建的“HH模(mo)型”（tv-LIF2HH）簡(jian)化為s-LIF2HH模(mo)型，通過仿真(zhen)實驗(yan)驗(yan)證(zheng)了這種簡(jian)化模(mo)型在捕(bu)捉復雜動力學(xue)行為方(fang)面的有(you)效性。
▲高精度(du)仿真情(qing)況下(xia)的(de)(de)等(deng)效圖(tu)。a.?相同電(dian)流注入(ru)下(xia)單個(ge)HH模(mo)型和(he)tv-LIF2HH子網(wang)絡的(de)(de)電(dian)位輸出；b. 按網(wang)絡中采(cai)用的(de)(de)模(mo)型分類的(de)(de)三種(zhong)連(lian)接：HH、tv-LIF2HH子網(wang)絡和(he)s-LIF2HH子網(wang)絡連(lian)接；c. 將二進制編碼器和(he)簡化(hua)后的(de)(de)LIF2HH子網(wang)絡的(de)(de)后續實驗；d. HH神經元和(he)s-LIF2HH子網(wang)絡的(de)(de)脈沖(chong)數和(he)相對觸發(fa)時間誤差。
實(shi)驗結果表(biao)明，HH網絡模(mo)型和s-LIF2HH網絡模(mo)型在表(biao)示能力和魯棒性(xing)上，具有相似(si)的性(xing)能，證明了內生復(fu)雜性(xing)模(mo)型在處理復(fu)雜任(ren)務時的有效性(xing)和可靠性(xing)。
同(tong)時，研究發現(xian)HH網絡(luo)模型在計(ji)算資源消耗(hao)上(shang)更(geng)為高(gao)效，顯(xian)著減少了內存和計(ji)算時間的(de)(de)使用，從而提高(gao)了整體(ti)的(de)(de)運算效率。研究團(tuan)隊通過信息瓶頸理論對上(shang)述研究結(jie)果進行了解釋。
▲計(ji)算資源及統計(ji)指標分(fen)析。a. 每個網(wang)絡在推理和(he)反向(xiang)傳播(bo)過程(cheng)中的(de)時間(jian)消耗；b. 相(xiang)同(tong)輸入的(de)各網(wang)絡的(de)加(jia)法(fa)運算和(he)乘法(fa)運算的(de)FLOP；c. 每個網(wang)絡的(de)可訓練參數(shu)；d. 各網(wang)絡互(hu)信息歸一化(hua)值。
這些結(jie)果反駁了(le)HH網絡比LIF網絡消(xiao)耗更(geng)多資源的(de)觀點，并證明了(le)具有內生復雜性(xing)的(de)小型模型方法的(de)優勢。
該研究為將神經科學(xue)的(de)(de)復雜動力學(xue)特性(xing)融入AI提供(gong)了(le)新的(de)(de)方(fang)法和(he)理論(lun)支(zhi)持，為實際(ji)應用中(zhong)的(de)(de)AI模型優化和(he)性(xing)能(neng)提升提供(gong)了(le)可行的(de)(de)解決(jue)方(fang)案。
目前，研究(jiu)團隊(dui)已開(kai)展對更大(da)(da)規模(mo)(mo)HH網絡(luo)以及具(ju)備更大(da)(da)內生復雜性的(de)多房(fang)室神經元的(de)研究(jiu)，有望進一步提升大(da)(da)模(mo)(mo)型計算效率與任(ren)務處理(li)能(neng)力，實現在實際應用(yong)場景(jing)中的(de)快速(su)落地。
