
腦(nao)(nao)科(ke)(ke)學(xue)問題是(shi)人(ren)類社會面臨的(de)基礎科(ke)(ke)學(xue)問題之一,是(shi)人(ren)類理解自然和理解人(ren)類本身的(de)待深入探索領域,而腦(nao)(nao)機(ji)接口(kou)是(shi)有效探索手段之一。在(zai)(zai)國(guo)家戰略的(de)積(ji)極推動下(xia),在(zai)(zai)科(ke)(ke)技創新(xin)不斷更(geng)迭促進(jin)下(xia),在(zai)(zai)人(ren)民(min)大眾(zhong)期待關注下(xia),腦(nao)(nao)機(ji)接口(kou)技術將發揮重要作用。
本(ben)期(qi)的智能內參,我們推薦中國(guo)信通(tong)院的報告《腦(nao)機(ji)接(jie)口總體愿景與關鍵技術研究報告》,勾畫腦(nao)機(ji)接(jie)口產業發展(zhan)的藍圖和(he)愿景期(qi)望。
來源 中國信通院
原標題:
《腦機接口總體愿景與關鍵技術研究報告》
作者:未注明
一、腦機接口系統的總體愿景
大(da)腦(nao)是我們思想、情感、感知、行動和(he)記憶的源泉,大(da)腦(nao)的復雜性賦予(yu)我們人類智慧,同時使我們每個(ge)人都(dou)獨一(yi)無二。近年來(lai),研究大(da)腦(nao)認知的神經(jing)科學已(yi)經(jing)在(zai)分子細胞、關鍵元器(qi)件、軟(ruan)硬件開(kai)發(fa)、應用系統、儀(yi)器(qi)儀(yi)表(biao)等多方面取得(de)進展和(he)突(tu)破,使得(de)腦(nao)機(ji)接口產業的商(shang)業應用逐漸成為可能。
腦(nao)機(ji)接口(kou)是指在(zai)有(you)機(ji)生(sheng)命形式的腦(nao)與具(ju)有(you)處理或計算能(neng)力(li)的設備(bei)之間,創建用于信息交換(huan)(huan)的連接通路,實現(xian)信息交換(huan)(huan)及控制。
腦(nao)機接口已成(cheng)全球(qiu)科技(ji)前沿熱點(dian),在面向未來(lai)的(de)科技(ji)創新發(fa)展(zhan)中(zhong)占有重(zhong)要地位。世界(jie)主(zhu)要國家(jia)和地區(qu)都在加快腦(nao)機接口產業布(bu)局(ju),積極(ji)開展(zhan)相關(guan)技(ji)術研(yan)發(fa)。腦(nao)機接口技(ji)術也將(jiang)帶動和引發(fa)其(qi)他技(ji)術的(de)未來(lai)發(fa)展(zhan)。
腦機接口技(ji)術是人(ren)與(yu)機器(qi)、人(ren)與(yu)人(ren)工智能交(jiao)互的終極(ji)手段(duan),也(ye)是連接數(shu)字虛(xu)擬世界(jie)和現(xian)實(shi)物(wu)理世界(jie)的核心基(ji)礎支(zhi)撐技(ji)術之(zhi)一(yi),同時其與(yu)量(liang)子計算、云計算、大數(shu)據等信(xin)息通信(xin)(ICT)技(ji)術的結合將成為各(ge)領域新的重要研究方向(xiang)。可以確定地說(shuo),受益于技(ji)術的不斷(duan)革(ge)新與(yu)突破,腦機接口將會顯著(zhu)提升人(ren)類生活(huo)質量(liang)。
腦科學(xue)問(wen)題(ti)是(shi)(shi)(shi)人(ren)(ren)類(lei)社會面臨(lin)的基礎科學(xue)問(wen)題(ti)之(zhi)一,是(shi)(shi)(shi)人(ren)(ren)類(lei)理解(jie)自然和(he)人(ren)(ren)類(lei)本身的“終極疆域(yu)”,而(er)腦機(ji)接(jie)(jie)口是(shi)(shi)(shi)破(po)解(jie)該“終極疆域(yu)”的有效手(shou)段之(zhi)一。在(zai)國家戰略的積極推動(dong)下,在(zai)科技(ji)創新不(bu)斷更迭(die)促進下,在(zai)人(ren)(ren)民大眾期待關注下,腦機(ji)接(jie)(jie)口技(ji)術將發(fa)揮重(zhong)要作用。腦機(ji)接(jie)(jie)口技(ji)術涉及腦科學(xue)、人(ren)(ren)工智能技(ji)術、信(xin)息通信(xin)技(ji)術、電子(zi)信(xin)息技(ji)術和(he)材料學(xue)。
未來的(de)腦(nao)機(ji)接口技術,應(ying)實(shi)現(xian)“腦(nao)智(zhi)芯連(lian)(lian)(lian),思(si)行(xing)無(wu)礙(ai)(ai)(ai)”這一(yi)行(xing)業發展總體愿景。其中,“腦(nao)”寓(yu)意(yi)(yi)為(wei)大(da)(da)腦(nao)和(he)思(si)維意(yi)(yi)圖,“智(zhi)”寓(yu)意(yi)(yi)為(wei)人(ren)工智(zhi)能(neng)(neng)和(he)類(lei)腦(nao)智(zhi)能(neng)(neng),“芯”寓(yu)意(yi)(yi)為(wei)以芯片為(wei)代表(biao)的(de)外部設(she)備,“連(lian)(lian)(lian)”有通訊、接口、協同三重(zhong)含(han)義。通過“腦(nao)智(zhi)芯連(lian)(lian)(lian)”的(de)科學融合,實(shi)現(xian)“思(si)行(xing)無(wu)礙(ai)(ai)(ai)”的(de)目(mu)標,即期待大(da)(da)腦(nao)及人(ren)類(lei)智(zhi)能(neng)(neng)和(he)外部設(she)備相互連(lian)(lian)(lian)接后,人(ren)類(lei)的(de)思(si)想和(he)行(xing)為(wei)控制之間(jian)(jian),不再(zai)有疾病(bing)和(he)空間(jian)(jian)的(de)障礙(ai)(ai)(ai);人(ren)類(lei)的(de)能(neng)(neng)力得到顯(xian)著增強(qiang),不再(zai)承受(shou)神經疾病(bing)帶來的(de)痛苦。
為促進“腦(nao)(nao)智芯連,思行(xing)無礙”這(zhe)一愿景目(mu)標的(de)(de)實現,報告提出腦(nao)(nao)機接(jie)口(kou)系統(tong)應(ying)滿足“準確、高效、穩(wen)定(ding)、易用和安全”五大需求。腦(nao)(nao)機接(jie)口(kou)系統(tong)應(ying)具有準確的(de)(de)大腦(nao)(nao)意圖(tu)解碼算(suan)法;高效的(de)(de)信息解碼效率,快速地反饋響(xiang)應(ying)和執行(xing)任務;穩(wen)定(ding)的(de)(de)設備(bei)性能(neng)與抗干擾能(neng)力;易用、輕便、舒(shu)適的(de)(de)使用體驗;安全的(de)(de)植入、采(cai)集和信息傳送(song)保障。
▲腦機接口系統的五大需求(qiu)支(zhi)撐愿景實現(xian)
腦(nao)機接口應(ying)從性能指(zhi)(zhi)標(biao)(biao)與可(ke)用(yong)(yong)(yong)性指(zhi)(zhi)標(biao)(biao)兩個方面有(you)(you)效(xiao)衡量(liang)腦(nao)機接口系統(tong)是否滿足五(wu)大需(xu)求。性能指(zhi)(zhi)標(biao)(biao)主要體現(xian)在響應(ying)時間、識別正確率、可(ke)輸出指(zhi)(zhi)令數(shu)量(liang)和(he)菲茨吞(tun)吐量(liang)四個易量(liang)化指(zhi)(zhi)標(biao)(biao);可(ke)用(yong)(yong)(yong)性指(zhi)(zhi)標(biao)(biao)主要體現(xian)在易用(yong)(yong)(yong)性、長效(xiao)性、魯(lu)棒性、安全性和(he)互(hu)操(cao)作性五(wu)個指(zhi)(zhi)標(biao)(biao)。這些指(zhi)(zhi)標(biao)(biao)在不同(tong)技術路線(xian)下(xia)、不同(tong)應(ying)用(yong)(yong)(yong)場(chang)景(jing)下(xia)的(de)(de)需(xu)求各有(you)(you)差異,但基本涵蓋(gai)了(le)腦(nao)機接口技術和(he)系統(tong)各方面要求。經過分析和(he)產業(ye)調研,報(bao)告也給出了(le)為促進愿景(jing)目標(biao)(biao)實現(xian)的(de)(de)各指(zhi)(zhi)標(biao)(biao)的(de)(de)建(jian)議值(zhi),從而為業(ye)界(jie)的(de)(de)技術創新(xin)和(he)系統(tong)開發提供一(yi)定的(de)(de)參(can)考。
▲腦機(ji)接口系統(tong)的關鍵指(zhi)標(biao)
腦機接口(kou)總體愿景的實現也(ye)離不開核心關(guan)鍵(jian)技術(shu)的支撐(cheng)。關(guan)鍵(jian)技術(shu)包括采(cai)集(ji)技術(shu)、刺激技術(shu)、范式編碼(ma)技術(shu)和解碼(ma)算法(fa)技術(shu)。關(guan)鍵(jian)技術(shu)面向不同(tong)場景衍(yan)生出不同(tong)應(ying)用。本報告(gao)就當前主流應(ying)用場景進行歸(gui)納并分為三類,分別是腦狀態檢測(ce)、神經調控(kong)和對外交(jiao)互(hu)技術(shu)等。
二、腦機接口系統應滿足的需求及關鍵指標
1、腦機接口系統應滿足的需求
準確:在腦疾病診斷(duan)(duan)、行(xing)為輔助決策、外(wai)設交(jiao)互控(kong)制等應用場景下(xia),共性需求(qiu)是系(xi)統能穩定(ding)做出識別正(zheng)確率較高的判斷(duan)(duan),即系(xi)統虛警概率低,識別精(jing)確,這樣外(wai)部計算(suan)設備(bei)才能對大腦的需求(qiu)正(zheng)確反饋。識別正(zheng)確率是系(xi)統核(he)心需求(qiu)之一。
高效:腦(nao)機(ji)接口技術產業發(fa)展和(he)應(ying)(ying)用(yong)一(yi)個重要(yao)前提就是高效(xiao)(xiao),最(zui)好能夠達到和(he)肢體(ti)響(xiang)(xiang)應(ying)(ying)一(yi)樣甚至更快(kuai)(kuai)的(de)效(xiao)(xiao)率,實(shi)現人機(ji)快(kuai)(kuai)速響(xiang)(xiang)應(ying)(ying)。指令交(jiao)互、打字、控制機(ji)械外(wai)骨骼等應(ying)(ying)用(yong)場(chang)景下(xia)如出現秒(miao)級延誤則給用(yong)戶體(ti)驗帶(dai)來較為負面的(de)影響(xiang)(xiang)。這要(yao)求系統快(kuai)(kuai)速解(jie)(jie)碼(ma)識(shi)別(bie)大(da)腦(nao)意圖并做出反饋,響(xiang)(xiang)應(ying)(ying)時間(jian)是衡量快(kuai)(kuai)速響(xiang)(xiang)應(ying)(ying)的(de)核心關鍵指標。系統快(kuai)(kuai)速響(xiang)(xiang)應(ying)(ying)性能,需要(yao)范式編碼(ma)、算法解(jie)(jie)碼(ma)和(he)系統通(tong)信(xin)技術相互配合。在實(shi)際(ji)應(ying)(ying)用(yong)落地過程中,也應(ying)(ying)兼顧“快(kuai)(kuai)”、“準”、“穩”等方(fang)面協(xie)同(tong)發(fa)展。
穩定:腦機接口本質上是(shi)一(yi)套通信系(xi)(xi)統(tong),在(zai)不(bu)同的(de)(de)應(ying)用場景下(xia),都需要(yao)考慮系(xi)(xi)統(tong)各(ge)項指(zhi)(zhi)標的(de)(de)穩定和抗干擾(rao)能力,即系(xi)(xi)統(tong)的(de)(de)長(chang)(chang)(chang)效性(xing)(xing)和魯棒(bang)性(xing)(xing)。長(chang)(chang)(chang)效性(xing)(xing)是(shi)指(zhi)(zhi)系(xi)(xi)統(tong)需要(yao)保持長(chang)(chang)(chang)期性(xing)(xing)能穩定。系(xi)(xi)統(tong)能在(zai)較(jiao)長(chang)(chang)(chang)時間(jian)內(nei)各(ge)項性(xing)(xing)能指(zhi)(zhi)標不(bu)出(chu)現較(jiao)大波動(dong)。魯棒(bang)性(xing)(xing)是(shi)指(zhi)(zhi)系(xi)(xi)統(tong)在(zai)一(yi)定的(de)(de)外部干擾(rao)情況下(xia),依然能夠保持穩定的(de)(de)工(gong)作性(xing)(xing)能指(zhi)(zhi)標。在(zai)植(zhi)入(ru)式腦機接口應(ying)用場景中,由于(yu)(yu)電極易(yi)于(yu)(yu)失(shi)效,系(xi)(xi)統(tong)更側(ce)(ce)重長(chang)(chang)(chang)效性(xing)(xing)指(zhi)(zhi)標;而在(zai)非植(zhi)入(ru)式場景,由于(yu)(yu)信號易(yi)受(shou)干擾(rao),更加側(ce)(ce)重系(xi)(xi)統(tong)魯棒(bang)性(xing)(xing)。
易用:易用(yong)包含“輕便(bian)”與“便(bian)捷”兩個(ge)含義。“輕便(bian)”在非(fei)植入(ru)情形(xing)(xing)下(xia)(xia)指腦機(ji)(ji)接口系(xi)統輕巧便(bian)于(yu)攜(xie)帶,在植入(ru)情形(xing)(xing)下(xia)(xia)指植入(ru)物尺寸小、重量輕。沉重的(de)腦機(ji)(ji)接口系(xi)統一方(fang)面可能導致(zhi)用(yong)戶接觸時(shi)造成身體壓迫(po),產生不適感,不利于(yu)長期使用(yong)。另一方(fang)面不利于(yu)外出攜(xie)帶,難以(yi)采(cai)集大范圍的(de)腦信號,從而難以(yi)實現(xian)更廣泛(fan)的(de)場(chang)景應用(yong)。
“便捷”是(shi)指(zhi)腦機(ji)接口(kou)系統(tong)具(ju)有操(cao)作便捷性(xing)。一(yi)方(fang)(fang)面(mian)需(xu)要(yao)降低(di)使用者的(de)操(cao)作復雜性(xing),避免復雜的(de)調試(shi)和維護等工(gong)作。尤其(qi)是(shi)在(zai)消費場景下,有必(bi)要(yao)盡(jin)(jin)量(liang)縮(suo)短設備(bei)部署(shu)時(shi)(shi)間、人機(ji)適應時(shi)(shi)間,實現(xian)快速交互(hu)。這就需(xu)要(yao)盡(jin)(jin)量(liang)減少和壓縮(suo)模型訓練時(shi)(shi)長,調試(shi)時(shi)(shi)長,從而(er)提(ti)升用戶對(dui)產品的(de)接受度。另一(yi)方(fang)(fang)面(mian)普及(ji)無線(xian)信號(hao)傳輸,擺脫有線(xian)束縛,使用起來更(geng)加方(fang)(fang)便。此外(wai),可(ke)考慮(lv)與智(zhi)能外(wai)設,如智(zhi)能耳機(ji)等終(zhong)端設備(bei)進行(xing)系統(tong)化(hua)設計,提(ti)升使用的(de)舒適性(xing)、便攜性(xing)。
安全:腦機接(jie)口系(xi)(xi)統作為一種人(ren)機交(jiao)互系(xi)(xi)統,在安全(quan)方(fang)面要(yao)考慮的因素包括:系(xi)(xi)統需要(yao)在軟件和硬件方(fang)面,能有效防御外(wai)部(bu)惡意(yi)攻擊,避(bi)免數據被竊(qie)或惡意(yi)篡(cuan)改,系(xi)(xi)統需要(yao)內(nei)置(zhi)一定的安全(quan)自檢機制(zhi);在機制(zhi)和制(zhi)度(du)保障(zhang)方(fang)面,需要(yao)有合(he)法合(he)規(gui)的信息(xi)與科技倫理制(zhi)度(du)、法規(gui)、倡(chang)議、指(zhi)南和標準,確保神(shen)經隱私與神(shen)經權利不(bu)受侵犯,保障(zhang)系(xi)(xi)統用戶的人(ren)身健(jian)康安全(quan)。
對(dui)植(zhi)入(ru)式腦機(ji)接口(kou)系(xi)統(tong)來(lai)說,在電極材料選(xuan)擇上要(yao)(yao)考慮(lv)散(san)熱性(xing)能、要(yao)(yao)確(que)保植(zhi)入(ru)后人(ren)體安(an)(an)(an)全,需要(yao)(yao)對(dui)植(zhi)入(ru)物(wu)的(de)質量、形(xing)狀、功(gong)耗和應(ying)用場(chang)合進行限(xian)定,以避免損害(hai)生(sheng)物(wu)組織。對(dui)于非植(zhi)入(ru)式腦機(ji)接口(kou)技術(shu)來(lai)說,不當的(de)使(shi)用方法可能存在潛在的(de)人(ren)身安(an)(an)(an)全隱(yin)患(huan),需要(yao)(yao)對(dui)腦機(ji)接口(kou)系(xi)統(tong)的(de)使(shi)用安(an)(an)(an)全性(xing)做(zuo)嚴(yan)格(ge)要(yao)(yao)求(qiu)。
2、腦機接口系統的關鍵指標
目前腦機接(jie)口技(ji)術正從“學術科學探索”走向(xiang)“應用(yong)(yong)轉(zhuan)化落地”。為推(tui)進(jin)產業落地工作(zuo)的開展(zhan),本(ben)報告從性(xing)(xing)(xing)能和(he)可用(yong)(yong)性(xing)(xing)(xing)兩方面(mian)提出滿足五大需求的腦機接(jie)口系統關鍵(jian)指標(biao)(biao)。性(xing)(xing)(xing)能指標(biao)(biao)包(bao)括(kuo)響應時間、識別(bie)正確率(lv)、可輸出指令數量和(he)菲(fei)茨吞(tun)吐量,可用(yong)(yong)性(xing)(xing)(xing)指標(biao)(biao)包(bao)括(kuo)易用(yong)(yong)性(xing)(xing)(xing)、長(chang)效性(xing)(xing)(xing)、魯棒性(xing)(xing)(xing)、安全性(xing)(xing)(xing)和(he)互操(cao)作(zuo)性(xing)(xing)(xing)。易用(yong)(yong)性(xing)(xing)(xing)指標(biao)(biao)進(jin)一步通過(guo)準備時長(chang)、輕(qing)便(bian)性(xing)(xing)(xing)和(he)舒適性(xing)(xing)(xing)體現。
目前腦機(ji)接口技術正從(cong)“學術科學探(tan)索”走(zou)向(xiang)“應(ying)(ying)用轉化(hua)落(luo)地”。為推進(jin)產業(ye)落(luo)地工作的開展,本報(bao)告從(cong)性(xing)(xing)(xing)能(neng)和可用性(xing)(xing)(xing)兩方面(mian)提出(chu)滿足五大需(xu)求的腦機(ji)接口系統關鍵指(zhi)(zhi)(zhi)標(biao)。性(xing)(xing)(xing)能(neng)指(zhi)(zhi)(zhi)標(biao)包(bao)括響應(ying)(ying)時(shi)間、識別正確率、可輸出(chu)指(zhi)(zhi)(zhi)令數量(liang)和菲茨吞吐(tu)量(liang),可用性(xing)(xing)(xing)指(zhi)(zhi)(zhi)標(biao)包(bao)括易(yi)用性(xing)(xing)(xing)、長(chang)效(xiao)性(xing)(xing)(xing)、魯棒性(xing)(xing)(xing)、安全性(xing)(xing)(xing)和互(hu)操(cao)作性(xing)(xing)(xing)。易(yi)用性(xing)(xing)(xing)指(zhi)(zhi)(zhi)標(biao)進(jin)一步通過準(zhun)備(bei)時(shi)長(chang)、輕(qing)便性(xing)(xing)(xing)和舒適性(xing)(xing)(xing)體現。
▲腦機接口系統(tong)的關鍵指標
性能指標:在腦(nao)(nao)機接口研究中,往往以信息傳輸(shu)速率(lv)(Information transfer rate,ITR)作(zuo)指(zhi)標評價系(xi)統(tong)的(de)性能(neng)(neng)。ITR 的(de)大小與(yu)系(xi)統(tong)的(de)響應時(shi)間、識(shi)別(bie)(bie)正(zheng)(zheng)確(que)率(lv)與(yu)可(ke)輸(shu)出(chu)指(zhi)令(ling)數量相關(guan),是一項綜合(he)反映腦(nao)(nao)機接口系(xi)統(tong)多方面(mian)性能(neng)(neng)的(de)指(zhi)標。但僅以 ITR 作(zuo)為(wei)性能(neng)(neng)指(zhi)標,很多時(shi)候(hou)無法體現響應時(shi)間、識(shi)別(bie)(bie)正(zheng)(zheng)確(que)率(lv)與(yu)可(ke)輸(shu)出(chu)指(zhi)令(ling)數量分項指(zhi)標各自的(de)重要性,甚(shen)至可(ke)能(neng)(neng)導致(zhi)某項關(guan)鍵指(zhi)標被忽視。因此(ci)本報告在分析系(xi)統(tong)性能(neng)(neng)指(zhi)標時(shi),從響應時(shi)間、識(shi)別(bie)(bie)正(zheng)(zheng)確(que)率(lv)、可(ke)輸(shu)出(chu)指(zhi)令(ling)數量和菲茨吞吐量四個方面(mian),綜合(he)評估描述腦(nao)(nao)機接口系(xi)統(tong)應具(ju)備(bei)的(de)性能(neng)(neng)。
響(xiang)應(ying)(ying)時(shi)(shi)(shi)(shi)間是(shi)指(zhi)(zhi)腦(nao)(nao)(nao)機(ji)(ji)接(jie)(jie)口系(xi)統(tong)對(dui)使(shi)用(yong)(yong)者單次腦(nao)(nao)(nao)意圖響(xiang)應(ying)(ying)所需(xu)(xu)的(de)(de)時(shi)(shi)(shi)(shi)長(chang)(chang)(chang)(chang),具體包括單次響(xiang)應(ying)(ying)所需(xu)(xu)的(de)(de)信(xin)號采(cai)集(ji)時(shi)(shi)(shi)(shi)長(chang)(chang)(chang)(chang)、腦(nao)(nao)(nao)信(xin)息解碼(ma)時(shi)(shi)(shi)(shi)長(chang)(chang)(chang)(chang)(又稱計(ji)算時(shi)(shi)(shi)(shi)長(chang)(chang)(chang)(chang))和系(xi)統(tong)通信(xin)時(shi)(shi)(shi)(shi)長(chang)(chang)(chang)(chang)三部分。其中,所需(xu)(xu)的(de)(de)信(xin)號采(cai)集(ji)時(shi)(shi)(shi)(shi)長(chang)(chang)(chang)(chang)指(zhi)(zhi)腦(nao)(nao)(nao)機(ji)(ji)接(jie)(jie)口系(xi)統(tong)采(cai)集(ji)解碼(ma)用(yong)(yong)生(sheng)理(li)信(xin)號所需(xu)(xu)要的(de)(de)時(shi)(shi)(shi)(shi)長(chang)(chang)(chang)(chang)。腦(nao)(nao)(nao)信(xin)息解碼(ma)時(shi)(shi)(shi)(shi)長(chang)(chang)(chang)(chang)是(shi)指(zhi)(zhi)系(xi)統(tong)對(dui)所采(cai)信(xin)號進(jin)行(xing)解碼(ma)以理(li)解用(yong)(yong)戶(hu)意圖所需(xu)(xu)的(de)(de)時(shi)(shi)(shi)(shi)長(chang)(chang)(chang)(chang)。系(xi)統(tong)通信(xin)時(shi)(shi)(shi)(shi)長(chang)(chang)(chang)(chang)是(shi)數據包在(zai)系(xi)統(tong)各模塊(kuai)間傳遞的(de)(de)時(shi)(shi)(shi)(shi)延(yan)。響(xiang)應(ying)(ying)時(shi)(shi)(shi)(shi)間可(ke)以有效反映腦(nao)(nao)(nao)機(ji)(ji)接(jie)(jie)口系(xi)統(tong)的(de)(de)通信(xin)效率,也是(shi)反映人(ren)機(ji)(ji)交互(hu)順暢與否的(de)(de)核(he)心關鍵(jian)指(zhi)(zhi)標(biao)。在(zai)不同范(fan)式、應(ying)(ying)用(yong)(yong)場景下,系(xi)統(tong)響(xiang)應(ying)(ying)時(shi)(shi)(shi)(shi)間差異較大。對(dui)于(yu)頭(tou)皮(pi)腦(nao)(nao)(nao)電(Electroencephalograph,EEG)、皮(pi)層腦(nao)(nao)(nao)電圖(Electrocorticogram,ECoG)
等實時性較高的電信號采集(ji)(ji)系統(tong)來說(shuo),比較理(li)想(xiang)的響應(ying)時間(jian)是:在腦狀態檢(jian)測場(chang)(chang)景下(xia)建議(yi)(yi)不大于(yu) 10 秒,在神經調控場(chang)(chang)景和對外(wai)交互場(chang)(chang)景下(xia)建議(yi)(yi)不大于(yu) 1 秒。對于(yu)以功能近(jin)紅外(wai)光譜(Functional near-infrared spectroscopy, fNIRS)為(wei)代表的信號采集(ji)(ji)系統(tong)來說(shuo),由于(yu)血流動力學參數變化較觸發事件具(ju)有(you)滯后性,因(yin)此(ci)此(ci)類(lei)系統(tong)的交互響應(ying)時間(jian)較長。
識(shi)(shi)(shi)別(bie)正確率(lv)(lv)是指腦(nao)(nao)機(ji)接(jie)口系(xi)統為(wei)識(shi)(shi)(shi)別(bie)人(ren)腦(nao)(nao)意圖進行解碼的(de)(de)(de)正確率(lv)(lv),該指標是衡量系(xi)統性能的(de)(de)(de)核心指標。在腦(nao)(nao)機(ji)打字(zi)、腦(nao)(nao)控(kong)(kong)機(ji)器人(ren)等特定場(chang)(chang)景(jing)(jing)下,識(shi)(shi)(shi)別(bie)正確率(lv)(lv)經(jing)(jing)常(chang)用任務成(cheng)功率(lv)(lv)表示。任務成(cheng)功率(lv)(lv)是指成(cheng)功完成(cheng)控(kong)(kong)制(zhi)任務的(de)(de)(de)次(ci)數和控(kong)(kong)制(zhi)任務執行總(zong)次(ci)數之間(jian)的(de)(de)(de)比值(zhi)。比較(jiao)理想的(de)(de)(de)識(shi)(shi)(shi)別(bie)正確率(lv)(lv)在腦(nao)(nao)狀態檢測場(chang)(chang)景(jing)(jing)下不應(ying)小于(yu) 85%,在神經(jing)(jing)調控(kong)(kong)場(chang)(chang)景(jing)(jing)下不應(ying)小于(yu) 95%,在對外交互場(chang)(chang)景(jing)(jing)下不應(ying)小于(yu) 95%。對腦(nao)(nao)機(ji)接(jie)口離(li)線數據進行調參時(shi),往往因為(wei)樣本量較(jiao)小而(er)容易造成(cheng)模型的(de)(de)(de)過擬合。為(wei)驗(yan)證腦(nao)(nao)機(ji)接(jie)口系(xi)統的(de)(de)(de)泛化性,本報(bao)告中(zhong)的(de)(de)(de)識(shi)(shi)(shi)別(bie)正確率(lv)(lv)建議由實時(shi)在線驗(yan)證實驗(yan)所(suo)得。
可(ke)輸(shu)出(chu)(chu)指令(ling)數(shu)(shu)量即腦(nao)(nao)機(ji)(ji)接口(kou)系(xi)(xi)統可(ke)以解(jie)碼的(de)(de)腦(nao)(nao)意圖種(zhong)(zhong)類(lei),該指標可(ke)反映系(xi)(xi)統的(de)(de)交(jiao)互(hu)能力。可(ke)輸(shu)出(chu)(chu)的(de)(de)指令(ling)數(shu)(shu)越多反映系(xi)(xi)統可(ke)解(jie)碼的(de)(de)大腦(nao)(nao)意識(shi)越豐富、可(ke)執行任務(wu)的(de)(de)行為越豐富。因此(ci)在睡眠檢(jian)測、情(qing)緒識(shi)別(bie)、腦(nao)(nao)機(ji)(ji)打(da)字(zi)等(deng)場(chang)(chang)(chang)(chang)景下,可(ke)輸(shu)出(chu)(chu)指令(ling)數(shu)(shu)量對評價系(xi)(xi)統性能具(ju)有較高參考價值。從理想(xiang)值看,睡眠檢(jian)測場(chang)(chang)(chang)(chang)景下建議檢(jian)出(chu)(chu)睡眠種(zhong)(zhong)類(lei)不應(ying)小(xiao)于 5 種(zhong)(zhong),情(qing)緒識(shi)別(bie)場(chang)(chang)(chang)(chang)景下建議檢(jian)出(chu)(chu)情(qing)緒種(zhong)(zhong)類(lei)不應(ying)小(xiao)于 4 種(zhong)(zhong),在腦(nao)(nao)機(ji)(ji)打(da)字(zi)場(chang)(chang)(chang)(chang)景下建議輸(shu)出(chu)(chu)字(zi)符種(zhong)(zhong)類(lei)不應(ying)低于 40 種(zhong)(zhong)。在機(ji)(ji)器人(ren)、機(ji)(ji)械臂(bei)、無人(ren)機(ji)(ji)等(deng)復(fu)雜(za)外部(bu)設備控制中,自由度(du)不應(ying)小(xiao)于 6 種(zhong)(zhong)。可(ke)輸(shu)出(chu)(chu)指令(ling)數(shu)(shu)量和實際使用需求(qiu)(qiu)有關,需根據(ju)具(ju)體(ti)場(chang)(chang)(chang)(chang)景需求(qiu)(qiu)確(que)定最佳范圍。
控(kong)(kong)制能(neng)力是指腦機(ji)接口(kou)(kou)系統(tong)將大腦神經活動轉化(hua)為外設在實際場景中完成復雜(za)控(kong)(kong)制操作的(de)能(neng)力,腦機(ji)接口(kou)(kou)系統(tong)的(de)控(kong)(kong)制能(neng)力和(he)工(gong)作效(xiao)率可用菲茨(ci)(ci)吞吐量(liang)(liang)1(Fitts Throughput)指標衡量(liang)(liang)。腦機(ji)接口(kou)(kou)系統(tong)的(de)菲茨(ci)(ci)吞吐量(liang)(liang)定義為:難度(du)系數(shu)與移動到(dao)目(mu)標位置所(suo)需時間(jian)的(de)比值,其中,難度(du)系數(shu)是交互移動距離和(he)目(mu)標尺(chi)寸兩者比值取對數(shu)。
菲茨吞(tun)吐量(liang)(liang)來(lai)源于(yu)菲茨定(ding)律(Fitts Law),這是主要用(yong)于(yu)人機(ji)交互和(he)人體(ti)工程(cheng)學的人體(ti)運動預測(ce)模型,用(yong)難(nan)度(du)系(xi)數和(he)吞(tun)吐量(liang)(liang)來(lai)分(fen)別衡量(liang)(liang)任(ren)務難(nan)度(du)和(he)控制(zhi)效果。在腦機(ji)接口研究中也多(duo)采用(yong)菲茨吞(tun)吐量(liang)(liang)作為(wei)系(xi)統控制(zhi)效果的衡量(liang)(liang)指標(biao)。
以腦(nao)控(kong)(kong)虛(xu)擬鼠標(biao)(biao)(biao)(biao)移動為(wei)例,虛(xu)擬鼠標(biao)(biao)(biao)(biao)從起始物(wu)體 A 移動到(dao)目(mu)(mu)標(biao)(biao)(biao)(biao)物(wu)體 B 的(de)(de)(de)(de)難(nan)度(du)(du)系數由(you) AB 之間(jian)的(de)(de)(de)(de)距離以及目(mu)(mu)標(biao)(biao)(biao)(biao)物(wu)體 B 的(de)(de)(de)(de)尺(chi)寸決定,AB 間(jian)距離越(yue)大(da)(da),目(mu)(mu)標(biao)(biao)(biao)(biao)物(wu)體 B 的(de)(de)(de)(de)尺(chi)寸越(yue)小,難(nan)度(du)(du)系數越(yue)大(da)(da)。不同難(nan)度(du)(du)系數下虛(xu)擬鼠標(biao)(biao)(biao)(biao)到(dao)達(da)目(mu)(mu)標(biao)(biao)(biao)(biao)的(de)(de)(de)(de)所需時間(jian)不同,菲茨(ci)吞(tun)吐量(liang)是同時考慮運動速度(du)(du)和控(kong)(kong)制(zhi)準確度(du)(du)的(de)(de)(de)(de)綜合(he)指標(biao)(biao)(biao)(biao),數值越(yue)高體現腦(nao)機接口系統的(de)(de)(de)(de)控(kong)(kong)制(zhi)效果(guo)越(yue)好(hao)。通常菲茨(ci)吞(tun)吐量(liang)達(da)到(dao) 0.7 bits/s 可實現較為(wei)流暢的(de)(de)(de)(de)控(kong)(kong)制(zhi)效果(guo),1 bits/s 是更為(wei)理想的(de)(de)(de)(de)指標(biao)(biao)(biao)(biao)。
可用性指標:可(ke)用(yong)(yong)性也是腦機接口(kou)系(xi)統走向產業落地的(de)關鍵,是除了性能(neng)指標(biao)(biao)之外的(de)另一系(xi)統評(ping)價維度。系(xi)統可(ke)用(yong)(yong)性的(de)衡量(liang)指標(biao)(biao)包括:易用(yong)(yong)性、長效性、魯棒性、安全性和(he)互操作性。
易用(yong)性又可通過(guo)腦機(ji)(ji)接口系統(tong)的使(shi)(shi)用(yong)準(zhun)備(bei)時長(chang)(chang)、輕便性和舒適(shi)性三個指標反映。準(zhun)備(bei)時長(chang)(chang)是指人(ren)(ren)員在腦機(ji)(ji)接口系統(tong)使(shi)(shi)用(yong)之(zhi)(zhi)前所(suo)需的準(zhun)備(bei)時長(chang)(chang)和人(ren)(ren)機(ji)(ji)協同(tong)訓(xun)練(lian)(lian)時長(chang)(chang)之(zhi)(zhi)和。準(zhun)備(bei)時長(chang)(chang)具體包(bao)括(kuo)調試準(zhun)備(bei)時間、阻抗調整時間等。人(ren)(ren)機(ji)(ji)協同(tong)訓(xun)練(lian)(lian)時長(chang)(chang)與(yu)系統(tong)使(shi)(shi)用(yong)者對(dui)系統(tong)的使(shi)(shi)用(yong)熟練(lian)(lian)度以及(ji)解碼算法是否需要現場采集訓(xun)練(lian)(lian)數據相關。
此(ci)外,部分(fen)(fen)腦(nao)機(ji)(ji)接(jie)口(kou)系(xi)統(tong)需(xu)要針對不(bu)同(tong)(tong)使用者定制不(bu)同(tong)(tong)的(de)(de)解碼算法參數,也會(hui)導致(zhi)人(ren)機(ji)(ji)協(xie)同(tong)(tong)訓練時間較(jiao)(jiao)長(chang)(chang),從而使系(xi)統(tong)的(de)(de)易(yi)用性降低。非(fei)植(zhi)入(ru)腦(nao)機(ji)(ji)接(jie)口(kou)系(xi)統(tong)比(bi)(bi)較(jiao)(jiao)理(li)想的(de)(de)準(zhun)(zhun)備(bei)時長(chang)(chang)建議不(bu)大(da)于 3 分(fen)(fen)鐘(zhong)。植(zhi)入(ru)式(shi)腦(nao)機(ji)(ji)接(jie)口(kou)系(xi)統(tong)由(you)于需(xu)要比(bi)(bi)較(jiao)(jiao)繁瑣的(de)(de)植(zhi)入(ru)過程,因(yin)此(ci)準(zhun)(zhun)備(bei)時長(chang)(chang)較(jiao)(jiao)長(chang)(chang),需(xu)要盡量優化植(zhi)入(ru)手(shou)段,提高系(xi)統(tong)易(yi)用性。
輕便(bian)(bian)性是(shi)(shi)指(zhi)腦機接(jie)口系(xi)統(tong)的輕質(zhi)與便(bian)(bian)攜。輕質(zhi)是(shi)(shi)指(zhi)對使(shi)用者(zhe)而言符合人體工學(xue),且不(bu)(bu)造成明顯傷害(hai)和(he)負擔(dan)。通常以重(zhong)(zhong)量(liang)(liang)指(zhi)標衡(heng)量(liang)(liang)輕便(bian)(bian)性,為確保人體頸(jing)椎以上(shang)部分不(bu)(bu)受傷害(hai)。比(bi)較理(li)想的頭戴(dai)式(shi)腦機接(jie)口系(xi)統(tong)(含(han)外設(she))重(zhong)(zhong)量(liang)(liang)不(bu)(bu)應大(da)于 500 克,不(bu)(bu)超過 200 克將是(shi)(shi)更為理(li)想的目(mu)標。便(bian)(bian)攜是(shi)(shi)指(zhi)易用使(shi)用和(he)攜帶,信號傳輸方式(shi)是(shi)(shi)衡(heng)量(liang)(liang)便(bian)(bian)攜的重(zhong)(zhong)要指(zhi)標之(zhi)一。比(bi)較理(li)想的便(bian)(bian)攜方式(shi)是(shi)(shi)擺脫有(you)線連(lian)接(jie),以藍(lan)牙(ya)、Wi-Fi、超寬帶或其(qi)他(ta)先進(jin)的無線通信方式(shi)進(jin)行(xing)數據傳輸。
舒適性(xing)(xing)同樣(yang)是易用(yong)性(xing)(xing)的(de)(de)重要(yao)指標,體現在范式(shi)設計、外形設計、材料(liao)選取等方面。當前業內廣泛使用(yong)的(de)(de)范式(shi)多源自(zi)二(er)十(shi)世紀九十(shi)年代,歷經三十(shi)余年發展,范式(shi)雖(sui)然(ran)奠定(ding)了(le)實驗研究的(de)(de)基礎,但(dan)其交互方式(shi)普遍存(cun)在不符合人(ren)類自(zi)然(ran)行為(wei)的(de)(de)問(wen)題,由此導致(zhi)面向消(xiao)(xiao)費級產品時(shi)用(yong)戶接受度和配合度較(jiao)低,即便(bian)是在醫(yi)學領域應用(yong)也比較(jiao)受限(xian)。因此舒適性(xing)(xing)以可定(ding)量定(ding)性(xing)(xing)的(de)(de)體驗感(gan)、滿意(yi)度等作為(wei)主要(yao)衡量指標,特(te)別是對腦機(ji)接口消(xiao)(xiao)費級產品的(de)(de)落地具有重要(yao)意(yi)義。
長(chang)效(xiao)(xiao)性(xing)(xing)(xing)(xing)指系(xi)統(tong)(tong)可穩(wen)定(ding)持(chi)續使用(yong)的時間,是用(yong)來衡量(liang)系(xi)統(tong)(tong)穩(wen)定(ding)性(xing)(xing)(xing)(xing)的重要考量(liang)。在非植(zhi)(zhi)(zhi)入(ru)場(chang)(chang)景下(xia)(xia),長(chang)效(xiao)(xiao)性(xing)(xing)(xing)(xing)體現在系(xi)統(tong)(tong)續航(hang)時間長(chang)。例如娛樂游戲(xi)時系(xi)統(tong)(tong)不會(hui)因(yin)用(yong)戶出汗等干擾(rao)導致系(xi)統(tong)(tong)性(xing)(xing)(xing)(xing)能(neng)下(xia)(xia)降(jiang)。在植(zhi)(zhi)(zhi)入(ru)場(chang)(chang)景下(xia)(xia),長(chang)效(xiao)(xiao)性(xing)(xing)(xing)(xing)體現在系(xi)統(tong)(tong)不會(hui)受(shou)生物(wu)組(zu)織分(fen)泌物(wu)和免(mian)疫系(xi)統(tong)(tong)干擾(rao)導致性(xing)(xing)(xing)(xing)能(neng)下(xia)(xia)降(jiang),電池(chi)續航(hang)需要能(neng)夠保證 8 小時以(yi)上的持(chi)續腦電信號傳輸與分(fen)析。因(yin)此建議比較理想的非植(zhi)(zhi)(zhi)入(ru)場(chang)(chang)景下(xia)(xia),單次(ci)的穩(wen)定(ding)可用(yong)時長(chang)不小于3 小時;植(zhi)(zhi)(zhi)入(ru)場(chang)(chang)景下(xia)(xia),有些國家規定(ding)穩(wen)定(ding)可用(yong)時長(chang)不應小于 1 年,常規情況下(xia)(xia),醫療器械的理想植(zhi)(zhi)(zhi)入(ru)時間是 10 年以(yi)上。
魯棒(bang)性(xing)指標(biao)用來衡(heng)量腦機(ji)接(jie)口(kou)系(xi)(xi)統(tong)對抗外(wai)部擾(rao)動變化(hua)的能(neng)力。腦機(ji)接(jie)口(kou)系(xi)(xi)統(tong)需要(yao)在(zai)(zai)各類外(wai)部干(gan)擾(rao)環(huan)(huan)境(jing)(jing)下使(shi)用。正常環(huan)(huan)境(jing)(jing)本身就(jiu)存在(zai)(zai)大量干(gan)擾(rao)信號(hao),此(ci)(ci)外(wai)還(huan)包括強(qiang)磁(ci)環(huan)(huan)境(jing)(jing)、超聲(sheng)波診斷(duan)治療(liao)環(huan)(huan)境(jing)(jing)、放射治療(liao)環(huan)(huan)境(jing)(jing)等。這(zhe)就(jiu)要(yao)求腦機(ji)接(jie)口(kou)系(xi)(xi)統(tong)在(zai)(zai)所(suo)處的環(huan)(huan)境(jing)(jing)中,能(neng)夠有效屏(ping)蔽大部分外(wai)界(jie)干(gan)擾(rao),保(bao)證交互響(xiang)應時(shi)間、識別正確(que)率(lv)等性(xing)能(neng)指標(biao)維持在(zai)(zai)一(yi)個(ge)較高的水平。此(ci)(ci)外(wai),在(zai)(zai)使(shi)用過程中,腦狀態也不(bu)是一(yi)成不(bu)變的,因此(ci)(ci)魯棒(bang)性(xing)還(huan)體現(xian)在(zai)(zai)具有一(yi)定的自適應能(neng)力,可(ke)隨用戶(hu)狀態變化(hua)而自適應調整,確(que)保(bao)系(xi)(xi)統(tong)性(xing)能(neng)指標(biao)在(zai)(zai)較小的范圍內波動。
安(an)(an)(an)(an)全(quan)性是腦(nao)(nao)(nao)機接口(kou)(kou)(kou)系統(tong)可(ke)用性的重要(yao)(yao)(yao)(yao)指標。一是要(yao)(yao)(yao)(yao)保(bao)(bao)(bao)障(zhang)腦(nao)(nao)(nao)機接口(kou)(kou)(kou)系統(tong)整體安(an)(an)(an)(an)全(quan)和數據安(an)(an)(an)(an)全(quan)。硬件(jian)和軟件(jian)具備(bei)基(ji)礎(chu)的安(an)(an)(an)(an)全(quan)防范能力和手段(duan),防護手段(duan)到位,確保(bao)(bao)(bao)能夠有效(xiao)抵御外部攻擊(ji),避免系統(tong)被篡改而做(zuo)出(chu)錯誤指令。同時要(yao)(yao)(yao)(yao)確保(bao)(bao)(bao)使用者的信息不外泄,尤其是需要(yao)(yao)(yao)(yao)聯網使用的設備(bei),例如解碼算法、腦(nao)(nao)(nao)電數據上云的系統(tong)需要(yao)(yao)(yao)(yao)確保(bao)(bao)(bao)信息安(an)(an)(an)(an)全(quan);二是要(yao)(yao)(yao)(yao)確保(bao)(bao)(bao)人身(shen)健康安(an)(an)(an)(an)全(quan)。需要(yao)(yao)(yao)(yao)在符合常規安(an)(an)(an)(an)全(quan)要(yao)(yao)(yao)(yao)求基(ji)礎(chu)之上,做(zuo)出(chu)更適合腦(nao)(nao)(nao)機接口(kou)(kou)(kou)系統(tong)的安(an)(an)(an)(an)全(quan)專用要(yao)(yao)(yao)(yao)求。三是要(yao)(yao)(yao)(yao)符合科技(ji)倫理(li)安(an)(an)(an)(an)全(quan)。需要(yao)(yao)(yao)(yao)制(zhi)定完備(bei)的科技(ji)倫理(li)制(zhi)度,確保(bao)(bao)(bao)隱私(si)信息不外泄、風險(xian)可(ke)控、尊重生命權利(li)、增(zeng)進人類福祉、保(bao)(bao)(bao)障(zhang)公平公正(zheng)。
互(hu)(hu)操(cao)作(zuo)性是腦(nao)(nao)機(ji)接(jie)(jie)口(kou)系(xi)(xi)統(tong)應用落地和(he)廣泛(fan)發(fa)展的(de)(de)(de)重要(yao)指標,體現了(le)腦(nao)(nao)機(ji)接(jie)(jie)口(kou)系(xi)(xi)統(tong)之間(jian)實(shi)現跨系(xi)(xi)統(tong)訪問、雙向連(lian)接(jie)(jie)和(he)交互(hu)(hu)控制的(de)(de)(de)能(neng)力。互(hu)(hu)操(cao)作(zuo)性一(yi)(yi)方面(mian)體現在同類型(xing)系(xi)(xi)統(tong)之間(jian)保持框架一(yi)(yi)致(zhi)和(he)接(jie)(jie)口(kou)一(yi)(yi)致(zhi),另(ling)一(yi)(yi)方面(mian)體現在腦(nao)(nao)機(ji)接(jie)(jie)口(kou)系(xi)(xi)統(tong)能(neng)在電腦(nao)(nao)、手(shou)機(ji)、增強現實(shi)(AR)設(she)備(bei)、虛擬現實(shi)(VR)設(she)備(bei)等其他智能(neng)終端上互(hu)(hu)通互(hu)(hu)用和(he)即插(cha)即用。系(xi)(xi)統(tong)應根據此方面(mian)的(de)(de)(de)技術標準(zhun)要(yao)求(qiu),開發(fa)相關接(jie)(jie)口(kou)和(he)可互(hu)(hu)通的(de)(de)(de)系(xi)(xi)統(tong)平(ping)臺。互(hu)(hu)操(cao)作(zuo)性能(neng)力指標可以通過系(xi)(xi)統(tong)符合互(hu)(hu)操(cao)作(zuo)標準(zhun)的(de)(de)(de)程度來衡(heng)量。
三、腦機接口關鍵技術
腦(nao)機(ji)接口(kou)作為新(xin)(xin)興(xing)技術,為大腦(nao)與(yu)外部直接交互提供了新(xin)(xin)的(de)解決思路,在新(xin)(xin)一輪的(de)技術升(sheng)級中被(bei)給予厚望。腦(nao)機(ji)接口(kou)產業(ye)落地有(you)賴于關鍵技術的(de)突(tu)破和(he)革新(xin)(xin)。目前全球在腦(nao)機(ji)接口(kou)關鍵技術研究(jiu)方(fang)面發(fa)展蓬勃,但依然存在亟需解決的(de)若干問題。對此,業(ye)界也正在嘗試(shi)多種手段(duan)予以突(tu)破。
腦機接口關鍵技(ji)(ji)(ji)(ji)術(shu)(shu)包括(kuo)(kuo)采(cai)(cai)(cai)(cai)(cai)集(ji)技(ji)(ji)(ji)(ji)術(shu)(shu)、刺(ci)激(ji)技(ji)(ji)(ji)(ji)術(shu)(shu)、范式(shi)編(bian)碼技(ji)(ji)(ji)(ji)術(shu)(shu)、解碼算(suan)法技(ji)(ji)(ji)(ji)術(shu)(shu)、外設技(ji)(ji)(ji)(ji)術(shu)(shu)和系統化技(ji)(ji)(ji)(ji)術(shu)(shu)。其中,采(cai)(cai)(cai)(cai)(cai)集(ji)技(ji)(ji)(ji)(ji)術(shu)(shu)研發重(zhong)點包括(kuo)(kuo)采(cai)(cai)(cai)(cai)(cai)集(ji)端和信號處理端。采(cai)(cai)(cai)(cai)(cai)集(ji)端常(chang)規技(ji)(ji)(ji)(ji)術(shu)(shu)手段(duan)包括(kuo)(kuo)電(dian)采(cai)(cai)(cai)(cai)(cai)集(ji)、磁采(cai)(cai)(cai)(cai)(cai)集(ji)、近紅外采(cai)(cai)(cai)(cai)(cai)集(ji)等(deng)手段(duan),其中電(dian)采(cai)(cai)(cai)(cai)(cai)集(ji)為(wei)主流研發方向,磁和近紅外等(deng)采(cai)(cai)(cai)(cai)(cai)集(ji)技(ji)(ji)(ji)(ji)術(shu)(shu)因為(wei)成本和技(ji)(ji)(ji)(ji)術(shu)(shu)成熟度等(deng)制(zhi)約(yue),距離應用(yong)落地相對(dui)更遠。
信(xin)號處(chu)理端涉及模擬芯(xin)片和(he)數(shu)字芯(xin)片。由于當前腦(nao)機接口系(xi)統所用(yong)的(de)數(shu)字芯(xin)片多為(wei)行(xing)業通用(yong)芯(xin)片,所以重點介紹(shao)模擬芯(xin)片的(de)發展(zhan)。刺(ci)激技術(shu)(shu)重點介紹(shao)腦(nao)深部電極刺(ci)激(Deep Brain Stimulation, DBS)閉環控(kong)制的(de)進(jin)展(zhan),以及腦(nao)機接口技術(shu)(shu)在(zai)助盲(mang)領域的(de)最(zui)新(xin)進(jin)展(zhan)。范式編碼和(he)解碼算法技術(shu)(shu)介紹(shao)了當前主流研究進(jin)展(zhan)。由于外(wai)控(kong)技術(shu)(shu)和(he)系(xi)統化技術(shu)(shu)的(de)創新(xin)多在(zai)于工程集(ji)成,因此(ci)(ci)不(bu)在(zai)此(ci)(ci)介紹(shao)。
腦(nao)機接口技術的應用(yong)場景(jing)按照(zhao)信(xin)(xin)息(xi)流向(xiang)分為腦(nao)狀態檢(jian)測、神經調控和對(dui)外(wai)交(jiao)(jiao)互三(san)類。從(cong)信(xin)(xin)息(xi)流向(xiang)來看,腦(nao)狀態檢(jian)測是信(xin)(xin)息(xi)從(cong)大腦(nao)流向(xiang)外(wai)部和外(wai)設(she),神經調控則(ze)是信(xin)(xin)息(xi)從(cong)外(wai)部和外(wai)設(she)流向(xiang)大腦(nao),而對(dui)外(wai)交(jiao)(jiao)互則(ze)是信(xin)(xin)息(xi)的雙向(xiang)流動,因此重點圍繞信(xin)(xin)息(xi)的利用(yong)、交(jiao)(jiao)互和反饋(kui)來介紹腦(nao)機接口系統在(zai)不同(tong)場景(jing)下的典型應用(yong)以及系統在(zai)各(ge)方面性能(neng)上的需求(qiu)。
▲腦機接口關鍵技術
1、采集技術
植(zhi)(zhi)入式(shi)電(dian)(dian)(dian)(dian)極:植(zhi)(zhi)入式(shi)微電(dian)(dian)(dian)(dian)極是腦(nao)機交互的關(guan)鍵基礎(chu),被(bei)廣泛應(ying)用于基礎(chu)神(shen)經科學、腦(nao)疾病的診斷治療(liao)以及腦(nao)機交互通(tong)信等領(ling)域。植(zhi)(zhi)入式(shi)微電(dian)(dian)(dian)(dian)極通(tong)過將(jiang)以離子(zi)為(wei)載(zai)體的神(shen)經電(dian)(dian)(dian)(dian)信號(hao)轉換為(wei)以電(dian)(dian)(dian)(dian)子(zi)為(wei)載(zai)體的電(dian)(dian)(dian)(dian)流或電(dian)(dian)(dian)(dian)壓信號(hao),從(cong)而獲(huo)取(qu)大腦(nao)神(shen)經電(dian)(dian)(dian)(dian)活動(dong)信息(xi)。
植入到大腦中的微電(dian)極可以高空間分辨率(lv)和時(shi)間分辨率(lv)方式,精(jing)確記錄電(dian)極附近單個神經元的動作電(dian)位(wei),從而實時(shi)監測大腦活動。傳統的植入式微電(dian)極由金(jin)屬和硅(gui)等硬質材料(liao)制備而成,形(xing)成了(le)以密(mi)西根(gen)電(dian)極和猶他電(dian)極為主的硬質電(dian)極。隨著微納加(jia)工技術和電(dian)極材料(liao)不斷發展,微電(dian)極趨向于柔(rou)性(xing)(xing)、小型化(hua)、高通(tong)量(liang)和集成化(hua)發展,形(xing)成了(le)以微絲電(dian)極、硅(gui)基(ji)電(dian)極和柔(rou)性(xing)(xing)電(dian)極為主的多(duo)元化(hua)發展局面。
高(gao)(gao)性(xing)(xing)能(neng)柔性(xing)(xing)微(wei)(wei)電極對(dui)長(chang)期穩(wen)定慢(man)性(xing)(xing)記錄(lu)(lu)具(ju)有重要意(yi)義。硬(ying)質微(wei)(wei)電極和腦組織之間(jian)存在機械失配問題,會(hui)對(dui)生物(wu)體的(de)(de)正常活(huo)動造成(cheng)繼(ji)發性(xing)(xing)腦損傷,不適用于(yu)長(chang)時間(jian)的(de)(de)慢(man)性(xing)(xing)實(shi)驗(yan)。具(ju)有高(gao)(gao)生物(wu)相容(rong)性(xing)(xing)的(de)(de)柔性(xing)(xing)微(wei)(wei)電極器件有利(li)于(yu)緩(huan)解免疫反應(ying),提高(gao)(gao)信號質量(liang)(liang),對(dui)實(shi)現大腦活(huo)動長(chang)期穩(wen)定的(de)(de)慢(man)性(xing)(xing)記錄(lu)(lu)具(ju)有重要意(yi)義。利(li)用低楊氏模量(liang)(liang)生物(wu)材料和高(gao)(gao)性(xing)(xing)能(neng)界面材料制備柔性(xing)(xing)電極成(cheng)為該領域的(de)(de)熱(re)點(dian)。
高通量微電極將為拓展全腦神經科學研究奠定重要基礎。為了獲取更豐富的神經元動態,神經微電極被要求同時記錄盡可能多的單個神經元的電活動。現有植入式微電極通量遠小于大腦神經元數目,發展新型高通量微電極,實現批量化的高時空分辨率腦電信號采集,對于追蹤神經環路活動以及解析全腦尺度的神經網絡功能等基礎神經科學研究至關重要。
多功能(neng)微(wei)電極有力(li)促進(jin)多種激(ji)(ji)勵(li)方(fang)式(shi)綜合調(diao)控。通過集成電刺激(ji)(ji)、藥物注射和(he)光刺激(ji)(ji)等功能(neng),植入式(shi)微(wei)電極在讀取生物體(ti)大(da)腦活(huo)動信息的(de)同時(shi),還(huan)能(neng)調(diao)控生物體(ti)生命活(huo)動,實現生物體(ti)和(he)外部設(she)備的(de)雙向(xiang)通信。研究(jiu)多功能(neng)的(de)神經(jing)微(wei)電極器件,搭建閉環系統,可實現癲癇等腦疾病的(de)診治和(he)神經(jing)功能(neng)恢復等應用(yong)。
2、非植入式電極
非(fei)植(zhi)入式(shi)電極應用(yong)場(chang)景廣(guang)泛(fan)。非(fei)植(zhi)入式(shi)電極不(bu)需要進行手術植(zhi)入,直接(jie)放置于頭皮上(shang)即可進行腦電信號(hao)采集,因此也(ye)稱為無創電極,其安(an)全無創特(te)性更易被使用(yong)者接(jie)受,因此在(zai)非(fei)臨床腦疾病(bing)診療、消費級腦科學(xue)應用(yong)等(deng)場(chang)景中得到了廣(guang)泛(fan)的應用(yong)。
改(gai)(gai)進的(de)(de)(de)干(gan)電(dian)(dian)(dian)極(ji)(ji)(ji)是(shi)電(dian)(dian)(dian)極(ji)(ji)(ji)產(chan)業(ye)落地的(de)(de)(de)主流選(xuan)項。隨著基(ji)(ji)于(yu)頭皮(pi)腦電(dian)(dian)(dian)的(de)(de)(de)腦機接(jie)口(kou)系(xi)統在(zai)便攜性、快速應(ying)用(yong)(yong)及舒適(shi)(shi)度等方面的(de)(de)(de)應(ying)用(yong)(yong)需(xu)求增長,電(dian)(dian)(dian)極(ji)(ji)(ji)的(de)(de)(de)改(gai)(gai)進成為(wei)亟(ji)需(xu)解(jie)決的(de)(de)(de)關鍵問題。傳(chuan)統的(de)(de)(de)濕電(dian)(dian)(dian)極(ji)(ji)(ji)盡管信號(hao)質量好(hao),但其專業(ye)的(de)(de)(de)操作需(xu)求,耗時長,用(yong)(yong)后清洗等固(gu)有缺點無法規(gui)避。因此(ci)無膏的(de)(de)(de)干(gan)電(dian)(dian)(dian)極(ji)(ji)(ji)技(ji)術逐(zhu)漸發展起來以適(shi)(shi)應(ying)新的(de)(de)(de)應(ying)用(yong)(yong)場景和需(xu)求。基(ji)(ji)于(yu)金屬材(cai)(cai)料或導電(dian)(dian)(dian)聚合物材(cai)(cai)料的(de)(de)(de)多(duo)腳柱(zhu)式(shi)(shi)(shi)/爪式(shi)(shi)(shi)干(gan)電(dian)(dian)(dian)極(ji)(ji)(ji)、基(ji)(ji)于(yu)導電(dian)(dian)(dian)纖維的(de)(de)(de)刷毛式(shi)(shi)(shi)干(gan)電(dian)(dian)(dian)極(ji)(ji)(ji)、基(ji)(ji)于(yu)微機械加工工藝的(de)(de)(de)微針電(dian)(dian)(dian)極(ji)(ji)(ji)及電(dian)(dian)(dian)容式(shi)(shi)(shi)電(dian)(dian)(dian)極(ji)(ji)(ji)等,在(zai)提高使(shi)用(yong)(yong)便捷性的(de)(de)(de)同時,也通過材(cai)(cai)料改(gai)(gai)進和結構設計優(you)化不斷地降低電(dian)(dian)(dian)極(ji)(ji)(ji)與皮(pi)膚(fu)的(de)(de)(de)接(jie)觸阻抗,提高使(shi)用(yong)(yong)舒適(shi)(shi)度和應(ying)用(yong)(yong)性。
凝膠(jiao)半干電(dian)極(ji)(ji)具有潛在的(de)廣闊應(ying)(ying)用前景。干電(dian)極(ji)(ji)實現了(le)腦機(ji)接(jie)口系(xi)統的(de)便(bian)捷應(ying)(ying)用,但其與(yu)(yu)(yu)頭皮(pi)的(de)電(dian)連接(jie)僅靠(kao)微量(liang)(liang)的(de)汗(han)液,接(jie)觸阻(zu)抗較高,且強(qiang)烈依(yi)賴于壓力,因此(ci)舒適度和(he)信號(hao)質量(liang)(liang)及穩(wen)定性(xing)成為該項技(ji)(ji)術(shu)需要(yao)突破的(de)技(ji)(ji)術(shu)難題。半干電(dian)極(ji)(ji)利用材(cai)料或結構特性(xing),釋放少量(liang)(liang)導電(dian)液到頭皮(pi),以降(jiang)低電(dian)極(ji)(ji)與(yu)(yu)(yu)頭皮(pi)的(de)界(jie)面阻(zu)抗。基(ji)于材(cai)料體系(xi)的(de)凝膠(jiao)半干電(dian)極(ji)(ji)物理化(hua)學特性(xing)可調,通過材(cai)料組(zu)分配比的(de)優化(hua)可兼顧電(dian)化(hua)學特性(xing)和(he)機(ji)械特性(xing),從而得到使用舒適度較好(hao)且信號(hao)質量(liang)(liang)可與(yu)(yu)(yu)濕電(dian)極(ji)(ji)匹(pi)敵的(de)性(xing)能,是(shi)一種(zhong)極(ji)(ji)具應(ying)(ying)用前景的(de)電(dian)極(ji)(ji)技(ji)(ji)術(shu)。
3、芯片
隨(sui)著集(ji)(ji)成(cheng)電路(lu)技術(shu)(shu)的快(kuai)速發展以(yi)及電路(lu)與神(shen)經(jing)科學融合研究的持續探索(suo),腦(nao)(nao)(nao)信(xin)號(hao)采(cai)集(ji)(ji)技術(shu)(shu)朝著微型化(hua)、輕(qing)量(liang)化(hua)、高通量(liang)、分布式采(cai)集(ji)(ji)的方(fang)向(xiang)不斷前(qian)進。針對(dui)腦(nao)(nao)(nao)機(ji)接口的應用、算(suan)法、硬(ying)件(jian)以(yi)及范式的研究內(nei)容也(ye)逐漸豐富,植入式與非(fei)植入式腦(nao)(nao)(nao)機(ji)接口系統通過電極與采(cai)集(ji)(ji)硬(ying)件(jian)對(dui)腦(nao)(nao)(nao)信(xin)號(hao)進行采(cai)集(ji)(ji)、處(chu)理(li)和解碼,從(cong)而實現對(dui)腦(nao)(nao)(nao)科學基(ji)礎理(li)論、腦(nao)(nao)(nao)疾病(bing)以(yi)及腦(nao)(nao)(nao)控外設的探索(suo)與研究。腦(nao)(nao)(nao)信(xin)號(hao)采(cai)集(ji)(ji)芯片(pian)是(shi)將(jiang)腦(nao)(nao)(nao)信(xin)號(hao)直(zhi)接轉(zhuan)化(hua)為數字信(xin)號(hao)的核心硬(ying)件(jian),也(ye)是(shi)腦(nao)(nao)(nao)信(xin)號(hao)讀取(qu)與解碼,腦(nao)(nao)(nao)部(bu)疾病(bing)診斷與調(diao)控所依賴的工具。
針對腦部信號(hao)的(de)(de)(de)生理(li)特性以及應用場景(jing)(jing),在(zai)定(ding)制(zhi)化(hua)(hua)腦信號(hao)采(cai)(cai)集芯片設計過程中(zhong)存(cun)在(zai)諸多(duo)技術挑戰。精密放大器是腦信號(hao)采(cai)(cai)集芯片中(zhong)的(de)(de)(de)核心模塊(kuai)(kuai),在(zai)腦機接口應用場景(jing)(jing)中(zhong)需要滿足多(duo)重技術參數(shu)要求。對于(yu)腦信號(hao)來說(shuo),其幅值微弱(幾十(shi)μV 到(dao)幾個 mV)、頻(pin)率低(di)(0.5 Hz 到(dao)數(shu) kHz),因(yin)此易受(shou)外界(jie)噪聲干擾,從而導致信號(hao)質量不(bu)佳。為了保持最(zui)佳的(de)(de)(de)信號(hao)質量,腦信號(hao)采(cai)(cai)集模塊(kuai)(kuai)的(de)(de)(de)部分關(guan)鍵參數(shu),例如信號(hao)噪聲、共模抑制(zhi)比(CMRR)、電源抑制(zhi)比(PSRR)、增(zeng)益匹配、運動(dong)偽影等需要優化(hua)(hua)。多(duo)個腦信號(hao)采(cai)(cai)集參數(shu)之(zhi)間存(cun)在(zai)相互制(zhi)約的(de)(de)(de)關(guan)系,多(duo)參數(shu)的(de)(de)(de)統籌優化(hua)(hua)是當(dang)前腦信號(hao)采(cai)(cai)集芯片設計的(de)(de)(de)核心問題之(zhi)一。
信(xin)(xin)(xin)號(hao)噪(zao)聲(sheng)是腦(nao)信(xin)(xin)(xin)號(hao)采(cai)(cai)集過程(cheng)中(zhong)最大(da)(da)(da)(da)(da)(da)的(de)(de)(de)(de)干擾源之(zhi)一(yi)。由于前端放(fang)大(da)(da)(da)(da)(da)(da)器的(de)(de)(de)(de)閃(shan)爍噪(zao)聲(sheng)與腦(nao)信(xin)(xin)(xin)號(hao)在頻(pin)(pin)譜上部(bu)分重(zhong)疊,采(cai)(cai)取簡(jian)單的(de)(de)(de)(de)濾(lv)波(bo)(bo)工作難以提取純凈腦(nao)信(xin)(xin)(xin)號(hao),因(yin)此對(dui)(dui)較(jiao)低頻(pin)(pin)率的(de)(de)(de)(de)腦(nao)信(xin)(xin)(xin)號(hao)使用斬波(bo)(bo)放(fang)大(da)(da)(da)(da)(da)(da)技(ji)術,將所采(cai)(cai)集的(de)(de)(de)(de)信(xin)(xin)(xin)號(hao)調(diao)(diao)制(zhi)(zhi)到較(jiao)高頻(pin)(pin)率以避(bi)開(kai)放(fang)大(da)(da)(da)(da)(da)(da)器的(de)(de)(de)(de)閃(shan)爍噪(zao)聲(sheng)。斬波(bo)(bo)技(ji)術在交(jiao)流耦合儀表(biao)放(fang)大(da)(da)(da)(da)(da)(da)器中(zhong)實現(xian)了(le)(le)良好噪(zao)聲(sheng)和功耗(hao)平衡,但(dan)放(fang)大(da)(da)(da)(da)(da)(da)器的(de)(de)(de)(de)輸(shu)(shu)(shu)入(ru)(ru)(ru)阻(zu)抗(kang)(kang)在斬波(bo)(bo)調(diao)(diao)制(zhi)(zhi)過程(cheng)中(zhong)會降(jiang)低到兆歐(ou)范圍(wei)以下,導致(zhi)信(xin)(xin)(xin)號(hao)在進(jin)入(ru)(ru)(ru)放(fang)大(da)(da)(da)(da)(da)(da)器前產(chan)生(sheng)衰(shuai)減。為解(jie)決輸(shu)(shu)(shu)入(ru)(ru)(ru)阻(zu)抗(kang)(kang)降(jiang)低的(de)(de)(de)(de)問題,有團(tuan)隊提升了(le)(le)正反饋回路(lu)的(de)(de)(de)(de)輸(shu)(shu)(shu)入(ru)(ru)(ru)阻(zu)抗(kang)(kang)。還有團(tuan)隊采(cai)(cai)用電(dian)容(rong)組(zu)對(dui)(dui)輸(shu)(shu)(shu)入(ru)(ru)(ru)阻(zu)抗(kang)(kang)升壓(ya)回路(lu)的(de)(de)(de)(de)電(dian)容(rong)進(jin)行校準,也(ye)有團(tuan)隊采(cai)(cai)用調(diao)(diao)整(zheng)電(dian)路(lu)耦合的(de)(de)(de)(de)方式來切換(huan)斬波(bo)(bo)器和輸(shu)(shu)(shu)入(ru)(ru)(ru)電(dian)容(rong)的(de)(de)(de)(de)位置(zhi),避(bi)免因(yin)斬波(bo)(bo)調(diao)(diao)制(zhi)(zhi)導致(zhi)的(de)(de)(de)(de)輸(shu)(shu)(shu)入(ru)(ru)(ru)阻(zu)抗(kang)(kang)降(jiang)低。
共(gong)模抑制比(bi)是衡(heng)量系統(tong)應對環境干擾(rao)的(de)關鍵參數。針對微弱腦信(xin)(xin)號(hao),高(gao)共(gong)模抑制比(bi)可(ke)以(yi)保證(zheng)信(xin)(xin)號(hao)不被(bei)共(gong)模擾(rao)動2掩蓋,從而(er)(er)提(ti)高(gao)信(xin)(xin)號(hao)質量。此外,在多通道(dao)神(shen)經信(xin)(xin)號(hao)采(cai)集(ji)過程中,由(you)于電(dian)極在植(zhi)入大腦后(hou)產生的(de)一系列生物相容(rong)性(xing)問題(ti),導致(zhi)電(dian)極阻抗可(ke)能隨植(zhi)入時間增多而(er)(er)明(ming)顯提(ti)升(數個(ge)月后(hou)可(ke)高(gao)達 100kΩ至數 MΩ),繼而(er)(er)影響腦信(xin)(xin)號(hao)的(de)信(xin)(xin)噪(zao)比(bi)以(yi)及(ji)系統(tong)共(gong)模抑制比(bi)。為保證(zheng)采(cai)集(ji)信(xin)(xin)號(hao)質量,前端放大器電(dian)路采(cai)用共(gong)模反饋技術以(yi)及(ji)共(gong)模前饋技術以(yi)提(ti)高(gao)系統(tong)級共(gong)模抑制比(bi)。
采(cai)(cai)集芯片的(de)(de)微(wei)型化(hua)設計(ji)是(shi)植(zhi)入式腦(nao)機接口系統核心技術挑戰之一(yi)。為(wei)了將(jiang)采(cai)(cai)集芯片縮(suo)小(xiao)至(zhi)可植(zhi)入的(de)(de)尺寸(cun)范(fan)圍(wei),針對片上(shang)有(you)源(yuan)/無(wu)源(yuan)器件的(de)(de)微(wei)型化(hua)是(shi)相關研(yan)究中的(de)(de)技術難題(ti)。具有(you)電(dian)(dian)容耦(ou)合的(de)(de)全差分(fen)放大器結構通過(guo)采(cai)(cai)用晶體管搭建的(de)(de)偽電(dian)(dian)阻(zu)(Pseudo Resistor)結構可大幅縮(suo)小(xiao)片上(shang)無(wu)源(yuan)器件的(de)(de)面(mian)積(ji),同時偽電(dian)(dian)阻(zu)提供了較大的(de)(de)阻(zu)抗(kang)以(yi)及(ji)較低的(de)(de)高通截(jie)止頻率,適合設計(ji)微(wei)型化(hua)的(de)(de)腦(nao)信(xin)號(hao)采(cai)(cai)集芯片。采(cai)(cai)用時分(fen)復(fu)用/正交頻分(fen)復(fu)用等技術通過(guo)固定的(de)(de)采(cai)(cai)集單元對多個(ge)通道的(de)(de)腦(nao)信(xin)號(hao)進(jin)行同步采(cai)(cai)集,也(ye)可明顯降低片上(shang)面(mian)積(ji)。
針(zhen)對(dui)不同(tong)的腦機(ji)接口(kou)應用以及(ji)采集(ji)(ji)芯片(pian)面對(dui)的一些技(ji)術難題,國內(nei)外有許(xu)多(duo)團(tuan)隊(dui)(dui)提(ti)出了解決方案。例(li)如針(zhen)對(dui)采集(ji)(ji)過(guo)程(cheng)中的電極間(jian)直(zhi)流(liu)偏(pian)置(zhi)引起斬(zhan)波放大(da)(da)器(qi)(qi)(qi)輸出飽和的問題,一種直(zhi)流(liu)伺服反(fan)(fan)饋回路技(ji)術通過(guo)積分器(qi)(qi)(qi)將輸出端(duan)的直(zhi)流(liu)分量(liang)提(ti)取并(bing)反(fan)(fan)饋至輸入端(duan),有效(xiao)抑制了電極間(jian)的直(zhi)流(liu)偏(pian)置(zhi)。對(dui)于采集(ji)(ji)芯片(pian)的超低(di)功耗需求,有團(tuan)隊(dui)(dui)設計了基于反(fan)(fan)相器(qi)(qi)(qi)結(jie)構(gou)的超低(di)壓(ya)斬(zhan)波放大(da)(da)器(qi)(qi)(qi),非(fei)常適合植(zhi)入式(shi)場景(jing)。針(zhen)對(dui)芯片(pian)微(wei)型化的問題,放大(da)(da)器(qi)(qi)(qi)與(yu) DAC 結(jie)合的數字-模擬(ni)混合反(fan)(fan)饋技(ji)術可大(da)(da)幅縮小采集(ji)(ji)芯片(pian)的片(pian)上面積。
針對(dui)腦信(xin)號采(cai)(cai)集(ji)過程中(zhong)的(de)共(gong)(gong)模干擾問題(ti),基于電(dian)荷泵(charge pump)的(de)共(gong)(gong)模反饋(kui)技(ji)術通過對(dui)輸入(ru)(ru)端的(de)共(gong)(gong)模擾動信(xin)號進行(xing)動態反饋(kui),能有(you)效(xiao)抵(di)抗(kang)高達(da) 15V 的(de)共(gong)(gong)模擾動。對(dui)于采(cai)(cai)集(ji)芯片(pian)的(de)無線(xian)(xian)供電(dian)問題(ti),線(xian)(xian)圈的(de)無線(xian)(xian)電(dian)感傳輸技(ji)術被應用(yong)在植入(ru)(ru)式腦機接口芯片(pian)中(zhong),通過外部傳輸線(xian)(xian)圈以(yi)及(ji)中(zhong)繼線(xian)(xian)圈和片(pian)上耦合線(xian)(xian)圈,實現了(le)對(dui)體內采(cai)(cai)集(ji)芯片(pian)的(de)無線(xian)(xian)供電(dian)以(yi)及(ji)采(cai)(cai)集(ji)到的(de)腦電(dian)信(xin)號無線(xian)(xian)傳輸。
體表(biao)網(wang)絡無線(xian)(xian)傳輸(shu)技術(Body area network,BAN)解決了(le)(le)無線(xian)(xian)供(gong)電(dian)時(shi)線(xian)(xian)圈難對準(zhun)的(de)(de)(de)(de)問題,利用(yong)(yong)被試者的(de)(de)(de)(de)身體表(biao)面對采(cai)集到(dao)的(de)(de)(de)(de)信(xin)號(hao)(hao)以(yi)及能量(liang)(liang)進行無線(xian)(xian)傳輸(shu),適(shi)用(yong)(yong)于可穿戴的(de)(de)(de)(de)腦(nao)機(ji)接(jie)口場景。在提升(sheng)系(xi)(xi)統集成(cheng)度(du)方面,目(mu)前已有(you)將信(xin)號(hao)(hao)采(cai)集、存(cun)儲、以(yi)及基(ji)于 AI 的(de)(de)(de)(de)信(xin)號(hao)(hao)歸類識(shi)別(bie)等模塊(kuai)集成(cheng)在一起的(de)(de)(de)(de)腦(nao)機(ji)接(jie)口片(pian)上(shang)系(xi)(xi)統,實現(xian)了(le)(le)較高(gao)(gao)的(de)(de)(de)(de)系(xi)(xi)統集成(cheng)度(du)。針對于高(gao)(gao)通(tong)量(liang)(liang)植入(ru)式(shi)腦(nao)機(ji)接(jie)口芯片(pian),有(you)些公司(si)設計了(le)(le)帶有(you)動作電(dian)位(wei)識(shi)別(bie)的(de)(de)(de)(de)高(gao)(gao)集成(cheng)度(du)采(cai)集芯片(pian),該芯片(pian)與數千個柔性電(dian)極(ji)相結合,實現(xian)了(le)(le)對高(gao)(gao)通(tong)量(liang)(liang)腦(nao)信(xin)號(hao)(hao)的(de)(de)(de)(de)采(cai)集。
2、刺激技術
腦(nao)深部電(dian)(dian)極刺(ci)(ci)激(Deep Brain Stimulation, DBS)一種非常具有(you)代表性的植(zhi)入式電(dian)(dian)極刺(ci)(ci)激技術。DBS 通過植(zhi)入體內(nei)的腦(nao)起搏器發放弱(ruo)電(dian)(dian)脈沖,刺(ci)(ci)激癲癇(xian)、帕(pa)金(jin)森的病(bing)灶腦(nao)區,抑制病(bing)灶區神經(jing)元的異常無規則放電(dian)(dian),進而抑制相關癥狀,使患者恢復自如活動和自理能力。
傳統的 DBS 調(diao)參需(xu)要基(ji)于微電(dian)極信(xin)號分析、刺激(ji)效果分析、影(ying)像(xiang)定位、核磁分析等多技術手(shou)段選擇治療觸(chu)點(dian)。借助腦機接口技術,腦內電(dian)極不僅具有單向(xiang)刺激(ji)功能,還可進(jin)行周(zhou)圍(wei)神經元信(xin)號采集(ji),以(yi)做(zuo)到(dao)精準觸(chu)點(dian)選擇。就技術發(fa)展進(jin)度看,目前(qian)可以(yi)做(zuo)到(dao)信(xin)號采集(ji)之后由醫(yi)生(sheng)根據生(sheng)物標志物和與患者的交互反饋進(jin)行觸(chu)點(dian)選擇,未來(lai)還將向(xiang)自適應角度發(fa)展,自適應技術研發(fa)方(fang)向(xiang)包括:
通(tong)過優化的(de)信號處理方法實現自(zi)適應調(diao)(diao)控。如在機器學習、深度(du)(du)學習基礎(chu)上對患(huan)者腦電數(shu)據進行預測分類,為醫(yi)生(sheng)提供分類結果(guo)以(yi)助(zhu)于診斷,提升觸點(dian)選擇的(de)精準度(du)(du)。另(ling)外(wai),在患(huan)者體(ti)態姿(zi)勢(shi)發(fa)(fa)生(sheng)變化導致(zhi)電極與(yu)靶(ba)組織之間距離改變時(shi),例如咳嗽、打噴嚏、深呼吸(xi)時(shi),可根據誘發(fa)(fa)復合動作電位調(diao)(diao)控刺(ci)激以(yi)避(bi)免發(fa)(fa)生(sheng)瞬時(shi)過度(du)(du)刺(ci)激。
通過刺激參(can)數(shu)空(kong)(kong)間(jian)(jian)拓展(zhan)改(gai)善自(zi)適應(ying)調控。刺激參(can)數(shu)空(kong)(kong)間(jian)(jian)包括觸(chu)點(dian)、幅度、頻率、脈寬的選(xuan)擇。目前在常(chang)用單(dan)極恒頻刺激的基(ji)礎上已開發交(jiao)叉電脈沖模式、變頻刺激及多觸(chu)電不同(tong)頻刺激技術,極大地拓寬了刺激參(can)數(shu)空(kong)(kong)間(jian)(jian),實現更(geng)好的癥(zheng)狀調控。
依(yi)托(tuo)多(duo)樣生物(wu)標(biao)志物(wu)實現自適應刺(ci)激(ji)(ji)調(diao)控(kong)(kong)。當(dang)前(qian)國(guo)內外(wai)知名(ming) DBS廠(chang)商正(zheng)在嘗試基于生物(wu)標(biao)志物(wu)實現自適應刺(ci)激(ji)(ji)調(diao)控(kong)(kong),例如檢測神經遞質濃度(du),通過血清素(su)、去甲腎上(shang)腺素(su)、多(duo)巴胺脫氧血紅(hong)蛋(dan)白度(du)、氧合血紅(hong)蛋(dan)白的濃度(du)識別治療(liao)效果并(bing)作為(wei)依(yi)據(ju)來(lai)動態調(diao)整刺(ci)激(ji)(ji)幅度(du)。也有基于血流(liu)(liu)(liu)水(shui)平、范圍或預定(ding)血流(liu)(liu)(liu)值(zhi)矩陣等(deng)血流(liu)(liu)(liu)信息(xi)調(diao)節刺(ci)激(ji)(ji)幅度(du)、脈(mo)沖(chong)寬度(du)、脈(mo)沖(chong)率和占空比等(deng)指標(biao)。
通過磁共振相融 DBS 技術實現自適應(ying)調控下(xia)的(de)腦網(wang)絡(luo)探(tan)(tan)索。現有磁共振兼(jian)容 DBS 技術解決(jue)了在強磁場下(xia)電極發熱、移位及(ji)(ji)感應(ying)電流等安(an)全隱患,使植入 DBS 的(de)患者能在 3.0T 磁共振下(xia)進行長(chang)時(shi)間(jian)的(de)同步刺(ci)激(ji)及(ji)(ji)掃描。在解決(jue)臨(lin)床需求的(de)同時(shi),也使 DBS 成為探(tan)(tan)索刺(ci)激(ji)相關腦網(wang)絡(luo)變化(hua)的(de)直接媒介,通過功能磁共振解析(xi)刺(ci)激(ji)相關局部及(ji)(ji)整體腦網(wang)絡(luo)改變,為新靶(ba)點(dian)的(de)發現及(ji)(ji)適應(ying)癥(zheng)的(de)拓展提供(gong)依據。
植(zhi)(zhi)入式(shi)視覺(jue)(jue)(jue)調(diao)控技(ji)術對(dui)盲人(ren)群體提(ti)高生活質量具(ju)有重大意義,相關研究已經(jing)開展。全球絕大多(duo)數研究團隊在(zai)開環視覺(jue)(jue)(jue)重建的(de)(de)研究中(zhong),研究方向逐漸(jian)從(cong)視網膜刺(ci)激向皮層(ceng)刺(ci)激轉(zhuan)移。目前主要(yao)集(ji)中(zhong)在(zai)電刺(ci)激初級視覺(jue)(jue)(jue)皮層(ceng)(V1)以(yi)獲得人(ren)工(gong)視覺(jue)(jue)(jue)感知(zhi)。這就需要(yao)進行刺(ci)激電極(ji)的(de)(de)植(zhi)(zhi)入。最新(xin)的(de)(de)實驗(yan)已經(jing)植(zhi)(zhi)入了(le)超過 10 塊(kuai)猶(you)他陣列(lie),通(tong)道數達(da)到(dao) 1024。該系(xi)統還包括采(cai)集(ji)視頻的(de)(de)攝像頭(tou),采(cai)集(ji)到(dao)的(de)(de)圖(tu)像信息通(tong)過信號處理(li)獲得簡單的(de)(de)二維灰度圖(tu)像(目前還沒有具(ju)有色彩的(de)(de)植(zhi)(zhi)入式(shi)人(ren)工(gong)視知(zhi)覺(jue)(jue)(jue)輸(shu)入),并據(ju)此(ci)刺(ci)激初級視覺(jue)(jue)(jue)皮層(ceng)神(shen)經(jing)元。受試者通(tong)過植(zhi)(zhi)入電極(ji)可以(yi)在(zai)有限的(de)(de)視野范(fan)圍內看到(dao)一些灰度調(diao)制的(de)(de)低(di)分(fen)辨(bian)率點陣圖(tu)像。
目(mu)前(qian)的(de)(de)研究結果表明(ming),用小(xiao)電(dian)流(liu)電(dian)刺(ci)激初(chu)級視(shi)覺皮(pi)層(ceng)神經(jing)元(V1 neurons)會激活(huo)直(zhi)徑數(shu)百(bai)微米的(de)(de)皮(pi)層(ceng)區域(yu),從而獲得(de)簡單(dan)的(de)(de)視(shi)覺知(zhi)覺,稱為光幻(huan)視(shi)(phosphenes)。電(dian)刺(ci)激可以(yi)改變大腦皮(pi)層(ceng)的(de)(de)信息流(liu),影響到(dao)(dao)正常(chang)視(shi)覺觀測內(nei)容。由于電(dian)刺(ci)激是相(xiang)對粗糙的(de)(de)刺(ci)激方式(shi),因此獲得(de)的(de)(de)視(shi)覺感(gan)知(zhi)也相(xiang)對粗糙。目(mu)前(qian)研究致力(li)于通過(guo)多(duo)個電(dian)極同時刺(ci)激,讓受試者感(gan)知(zhi)到(dao)(dao)具體圖像或連貫動作。2020 年發(fa)表在 Science 上的(de)(de)研究結果表明(ming),通過(guo)植入大規模(mo) 1024 通道電(dian)極并進(jin)行訓(xun)練,可以(yi)使非人靈長類正確識別字(zi)母,辨識運動方向(xiang)等。如何通過(guo)不同模(mo)式(shi)刺(ci)激增強受試者感(gan)知(zhi)連貫形狀(zhuang)的(de)(de)能力(li),并最大限(xian)度向(xiang)其(qi)傳遞視(shi)覺信息依然是未來研究重點。
目前的植入(ru)式視(shi)覺(jue)調控研究多為開(kai)環(huan)腦機(ji)接(jie)口系(xi)(xi)統,開(kai)環(huan)腦機(ji)接(jie)口系(xi)(xi)統難以(yi)實(shi)現(xian)精確刺激(ji)(ji)模(mo)型,且(qie)電(dian)刺激(ji)(ji)也難以(yi)與(yu)真實(shi)的視(shi)覺(jue)刺激(ji)(ji)保持(chi)一(yi)致(zhi),因(yin)此(ci)存在(zai)不可控風險且(qie)難以(yi)實(shi)現(xian)精細視(shi)覺(jue)輸(shu)入(ru)。因(yin)此(ci)閉環(huan)視(shi)覺(jue)調控是未來重要的技術探索方(fang)向。
3、范式編碼技術
大(da)腦(nao)(nao)的(de)各種(zhong)思維與響應活(huo)動千變萬化,且同時發生,因此很難直接(jie)從中(zhong)(zhong)準確解碼特定類型的(de)活(huo)動。在腦(nao)(nao)機(ji)(ji)接(jie)口系統中(zhong)(zhong),用范(fan)式(shi)(shi)來表征對預(yu)定義的(de)大(da)腦(nao)(nao)意(yi)圖的(de)編(bian)碼方案(an)。范(fan)式(shi)(shi)定義為:在編(bian)碼任務中(zhong)(zhong),對希(xi)望識別(bie)的(de)大(da)腦(nao)(nao)意(yi)圖用可(ke)檢測、可(ke)區(qu)分(fen)、可(ke)采集(ji)的(de)腦(nao)(nao)信號予以對應,從而實現對大(da)腦(nao)(nao)意(yi)圖的(de)可(ke)識別(bie)輸出。在過去(qu)的(de)幾(ji)十年中(zhong)(zhong),出現了許多腦(nao)(nao)機(ji)(ji)接(jie)口范(fan)式(shi)(shi),常見典型的(de)有運(yun)動想(xiang)象范(fan)式(shi)(shi)、穩(wen)態視覺誘(you)發電位范(fan)式(shi)(shi)、P300 范(fan)式(shi)(shi)。這些范(fan)式(shi)(shi)往往根據是否有外部(bu)刺激和輔助(zhu)而分(fen)為被動式(shi)(shi)和主動式(shi)(shi)范(fan)式(shi)(shi)。
視(shi)覺誘(you)發電位(wei)刺(ci)激(ji)范(fan)(fan)式(shi) P300 朝(chao)向界面(mian)(mian)布局優化(hua)、人臉圖像(xiang)拼寫(xie)和融合物理刺(ci)激(ji)方向發展(zhan)。傳統的(de)視(shi)覺 P300 電位(wei)刺(ci)激(ji)范(fan)(fan)式(shi)下,拼寫(xie)器允許受試(shi)者通過閃(shan)爍(shuo)不同(tong)的(de)行和列來選擇目標(biao),但沒有(you)(you)考慮(lv)兩個相(xiang)鄰(lin)(lin)符號(hao)連續閃(shan)爍(shuo)對結(jie)果的(de)影(ying)響。近年有(you)(you)大(da)量(liang)研究針對 P300 電位(wei)刺(ci)激(ji)范(fan)(fan)式(shi)的(de)拼寫(xie)界面(mian)(mian)布局開展(zhan)優化(hua)工(gong)作,有(you)(you)效消除了相(xiang)鄰(lin)(lin)符號(hao)閃(shan)爍(shuo)帶來的(de)影(ying)響。一些研究發現面(mian)(mian)部符號(hao)可以比(bi)傳統 P300 字符拼寫(xie)范(fan)(fan)式(shi)誘(you)導更高的(de) P300 電位(wei)。
因(yin)(yin)此許(xu)多研究(jiu)嘗試用(yong)人臉圖像代替數(shu)字或字母(mu)符號(hao),使(shi)(shi)每個符號(hao)在(zai)以(yi)一定(ding)頻率閃爍時都(dou)會變成人臉圖像,而不是簡單的(de)顏色(se)或大小變化,實現(xian)了 P300 電位(wei)刺(ci)激(ji)范(fan)式(shi)的(de)解碼(ma)性能(neng)提升。最(zui)近也(ye)有研究(jiu)發現(xian),在(zai)視(shi)覺 P300 電位(wei)刺(ci)激(ji)范(fan)式(shi)中添加(jia)其他形(xing)式(shi)的(de)物理刺(ci)激(ji)可以(yi)提高使(shi)(shi)用(yong)者的(de)表現(xian),例如使(shi)(shi)用(yong)偏光鏡增強刺(ci)激(ji)、基(ji)于積極情(qing)緒的(de)視(shi)聽組合(he)刺(ci)激(ji)、引入聲音和視(shi)頻刺(ci)激(ji)等(deng)方式(shi)。因(yin)(yin)此將 P300 電位(wei)與其他物理刺(ci)激(ji)融(rong)合(he)的(de)范(fan)式(shi)研究(jiu)也(ye)是近年(nian)的(de)熱點。
穩態視(shi)覺誘發電位(Steady-state visual evoked potentials,SSVEP)刺激范(fan)式朝向(xiang)更高(gao)效、更舒適和更自然發展(zhan)。SSVEP 范(fan)式腦(nao)機接口主(zhu)要應用方向(xiang)包括:高(gao)速率腦(nao)機接口打字交互系統(tong)、特(te)殊群體(ti)腦(nao)機報警系統(tong)、自然場景的(de)腦(nao)機目標選擇系統(tong)等(deng)。為支(zhi)撐上述三大應用場景,SSVEP 范(fan)式的(de)主(zhu)要發展(zhan)趨勢包括:
更(geng)高效:SSVEP 范(fan)式編(bian)碼(ma)(ma)從最初 4 目(mu)標(biao)編(bian)碼(ma)(ma)已發展(zhan)至 160 目(mu)標(biao)編(bian)碼(ma)(ma),且編(bian)碼(ma)(ma)的識別響應性(xing)能也在持(chi)續提升(sheng),因而實現(xian)的高速率SSVEP-BCI 系統的性(xing)能也在不斷提升(sheng)。后續 SSVEP 會持(chi)續研究更(geng)高效、可分性(xing)更(geng)好的范(fan)式編(bian)碼(ma)(ma)。
更舒適:SSVEP 范式(shi)刺(ci)激(ji)的(de)(de)最佳頻帶(dai)為 8~15Hz,該頻帶(dai)的(de)(de)多目(mu)標閃爍刺(ci)激(ji)雖然實現的(de)(de)系(xi)統性能優(you)異,但也容易誘發(fa)視覺疲勞,因而在(zai)實際(ji)落地應用中(zhong)受到了(le)一定的(de)(de)阻(zu)力。目(mu)前 SSVEP 舒適刺(ci)激(ji)的(de)(de)方式(shi)主要包(bao)括降低亮(liang)度變化率(lv)、提高(gao)刺(ci)激(ji)頻率(lv)、減小刺(ci)激(ji)目(mu)標面積以及(ji)采用空間編碼(外(wai)周視野)刺(ci)激(ji)等(deng)。上述(shu)研究已取得了(le)較大的(de)(de)進(jin)展,并不斷繼續推進(jin)中(zhong)。
更自然:SSVEP 刺激范式(shi)(shi)的(de)每個(ge)刺激塊需要按固定頻率進行閃爍(shuo)且(qie)具有(you)一定的(de)面(mian)積,因而在(zai)實際應(ying)用(yong)過程中僅與(yu)腦(nao)機打字場景最(zui)為(wei)貼合,即(ji)將字符繪(hui)于對應(ying)的(de)閃爍(shuo)目標塊上即(ji)可(ke)。目前已有(you)部分(fen) SSVEP范式(shi)(shi)采(cai)用(yong)空間(jian)編碼(ma)的(de)方式(shi)(shi)將中央視(shi)野區域空出,在(zai)視(shi)野外周進行刺激編碼(ma),進而實現更貼近(jin)自然應(ying)用(yong)場景的(de)應(ying)用(yong)。
也有適(shi)當降低 SSVEP 閃(shan)爍塊面積并與生活場景(jing)結合的(de)(de)(de)編(bian)碼思路(lu),受限于刺激(ji)面積變小對響(xiang)應(ying)強(qiang)度的(de)(de)(de)影(ying)響(xiang),為(wei)保障系統的(de)(de)(de)識別正確(que)率(lv)與響(xiang)應(ying)速度,此(ci)類應(ying)用的(de)(de)(de)SSVEP 編(bian)碼目(mu)標數較少。此(ci)外,SSVEP 的(de)(de)(de)主要響(xiang)應(ying)腦(nao)區位(wei)于后(hou)腦(nao)枕(zhen)葉,因而往往需要佩戴腦(nao)電帽,不利于生活自然場景(jing)使用。為(wei)解(jie)決(jue)該(gai)問(wen)題(ti),部分研究采用時(shi)頻(pin)混合或時(shi)空(kong)頻(pin)融合的(de)(de)(de)編(bian)碼方式(shi),嘗(chang)試提升無(wu)毛發(fa)區的(de)(de)(de) SSVEP 響(xiang)應(ying)強(qiang)度,取得了一定的(de)(de)(de)進展。為(wei)了 SSVEP 腦(nao)機接口在(zai)生活場景(jing)落地,上(shang)述研究仍(reng)在(zai)持續推進中。
運動想象(xiang)(Motor Imagery, MI)范式(shi)(shi)朝(chao)向(xiang)更(geng)精細發(fa)展。運動想象(xiang)是一種非(fei)常(chang)重要的主動式(shi)(shi)腦機(ji)接口(kou)范式(shi)(shi),用(yong)于識別大腦對四肢和(he)舌(she)頭的運動意圖。其無需(xu)外界條件刺激和(he)明顯的動作輸出就能誘發(fa)大腦感(gan)覺運動皮層(ceng)的特(te)定響應。現(xian)已廣泛應用(yong)于基于腦機(ji)接口(kou)的假肢、機(ji)械臂和(he)輪椅等(deng)設備(bei)控(kong)制、字符拼(pin)寫及臨床中風康復治療等(deng)場景。
基于運動想象范式(shi)的(de)(de)腦機接口已(yi)經發(fa)展多年,經過數(shu)十(shi)年的(de)(de)研究,大肢體部位的(de)(de) MI 控制已(yi)經基本(ben)發(fa)展成熟(shu),而對更細(xi)微運動做(zuo)出(chu)想象并(bing)有效識(shi)別(bie)(例如不同手指的(de)(de)伸縮、握拳(quan)、不同手勢(shi)的(de)(de)運動想象等)是運動想象范式(shi)編碼的(de)(de)發(fa)展方向。
運(yun)(yun)動(dong)(dong)(dong)(dong)(dong)(dong)相(xiang)(xiang)關(guan)(guan)(guan)皮層電(dian)(dian)(dian)位(wei)范式朝向多肢體(ti)運(yun)(yun)動(dong)(dong)(dong)(dong)(dong)(dong)意圖解碼和連續運(yun)(yun)動(dong)(dong)(dong)(dong)(dong)(dong)解碼發展。運(yun)(yun)動(dong)(dong)(dong)(dong)(dong)(dong)相(xiang)(xiang)關(guan)(guan)(guan)皮層電(dian)(dian)(dian)位(wei)(Movement-related cortical potential, MRCP)是一種(zhong)可以從低頻頭皮腦電(dian)(dian)(dian)中(zhong)捕捉到的(de)(de)與(yu)運(yun)(yun)動(dong)(dong)(dong)(dong)(dong)(dong)規劃、執(zhi)行相(xiang)(xiang)關(guan)(guan)(guan)的(de)(de)神(shen)經活動(dong)(dong)(dong)(dong)(dong)(dong)信號。MRCP 主要由三(san)部分(fen)組成,即與(yu)運(yun)(yun)動(dong)(dong)(dong)(dong)(dong)(dong)準(zhun)備(bei)相(xiang)(xiang)關(guan)(guan)(guan)的(de)(de)準(zhun)備(bei)電(dian)(dian)(dian)位(wei)(Readiness potential, RP)、與(yu)運(yun)(yun)動(dong)(dong)(dong)(dong)(dong)(dong)發生、起始相(xiang)(xiang)關(guan)(guan)(guan)的(de)(de)運(yun)(yun)動(dong)(dong)(dong)(dong)(dong)(dong)電(dian)(dian)(dian)位(wei)(Motorpotential, MP)以及與(yu)運(yun)(yun)動(dong)(dong)(dong)(dong)(dong)(dong)執(zhi)行、運(yun)(yun)動(dong)(dong)(dong)(dong)(dong)(dong)性能相(xiang)(xiang)關(guan)(guan)(guan)的(de)(de)運(yun)(yun)動(dong)(dong)(dong)(dong)(dong)(dong)監(jian)測電(dian)(dian)(dian)位(wei)(Movement-monitoring potential,MMP)。
相較于 SSVEP 和(he) P300 等(deng)(deng)被動(dong)(dong)(dong)式(shi)(shi)腦(nao)機接口(kou)范(fan)式(shi)(shi),MRCP 和(he)運(yun)動(dong)(dong)(dong)想(xiang)象(xiang)是不依賴于外部刺(ci)激的(de)(de)(de)(de)、由人(ren)體真實運(yun)動(dong)(dong)(dong)意圖誘發(fa)的(de)(de)(de)(de)主動(dong)(dong)(dong)式(shi)(shi)腦(nao)機接口(kou)范(fan)式(shi)(shi)。而相較于運(yun)動(dong)(dong)(dong)想(xiang)象(xiang),MRCP 不依賴于重復的(de)(de)(de)(de)運(yun)動(dong)(dong)(dong)想(xiang)象(xiang)。因此,MRCP 具有自然、真實、可(ke)以反映(ying)人(ren)的(de)(de)(de)(de)實際(ji)運(yun)動(dong)(dong)(dong)意圖等(deng)(deng)優(you)點。典型的(de)(de)(de)(de) MRCP 范(fan)式(shi)(shi)包括點到(dao)點的(de)(de)(de)(de)上肢運(yun)動(dong)(dong)(dong)(如 center-out)、連續運(yun)動(dong)(dong)(dong)追(zhui)蹤式(shi)(shi)的(de)(de)(de)(de)上肢運(yun)動(dong)(dong)(dong)(如 PTT)、指定動(dong)(dong)(dong)作類型的(de)(de)(de)(de)上肢或(huo)下肢運(yun)動(dong)(dong)(dong)(如手腕(wan)內旋/外旋)等(deng)(deng)。
由于 MRCP 具有可反映運(yun)(yun)動(dong)(dong)(dong)意圖的特性,其(qi)對(dui)發展與運(yun)(yun)動(dong)(dong)(dong)康(kang)復、運(yun)(yun)動(dong)(dong)(dong)功(gong)能診斷(duan)、日常生活輔(fu)助等(deng)(deng)相關的運(yun)(yun)動(dong)(dong)(dong)腦機接口具有重要價值。目前,MRCP 主要發展趨勢包(bao)括從單肢(zhi)體(ti)(ti)到(dao)多肢(zhi)體(ti)(ti)的運(yun)(yun)動(dong)(dong)(dong)意圖解(jie)(jie)碼、從離散分(fen)類問題(ti)到(dao)連(lian)續回(hui)歸問題(ti)的連(lian)續運(yun)(yun)動(dong)(dong)(dong)參數解(jie)(jie)析、與神經(jing)假肢(zhi)、外骨骼、機械臂等(deng)(deng)外設結(jie)合的人(ren)體(ti)(ti)運(yun)(yun)動(dong)(dong)(dong)增(zeng)強(qiang)和康(kang)復治(zhi)療等(deng)(deng)。
4、解碼算法技術
卡爾曼濾波(bo)器成為當前主流(liu)解(jie)碼(ma)(ma)(ma)方法。以運(yun)動控制為例,早期的(de)(de)植入式腦機接(jie)口解(jie)碼(ma)(ma)(ma)大都(dou)使用(yong)維納濾波(bo)器線性(xing)解(jie)碼(ma)(ma)(ma)系(xi)統。此類解(jie)碼(ma)(ma)(ma)系(xi)統不包含運(yun)動學過(guo)程(cheng)模型,而是將(jiang)群體(ti)神經(jing)元的(de)(de)反(fan)應作為輸(shu)入,將(jiang)空間坐(zuo)標內的(de)(de)運(yun)動速(su)率(lv)作為輸(shu)出,通過(guo)最優線性(xing)估計的(de)(de)方法進行解(jie)碼(ma)(ma)(ma)。早期很多腦機接(jie)口實驗室都(dou)用(yong)該方法進行解(jie)碼(ma)(ma)(ma)。
后來,為(wei)(wei)滿足(zu)控制過程中的(de)解(jie)(jie)碼(ma)(ma)(ma)連續(xu)性需(xu)求,需(xu)要有(you)運(yun)動(dong)模型作參考以修正和優(you)化(hua)解(jie)(jie)碼(ma)(ma)(ma)器輸出,卡爾(er)曼濾波器成(cheng)為(wei)(wei)當前的(de)主流(liu)解(jie)(jie)碼(ma)(ma)(ma)方(fang)(fang)法,其在(zai)(zai)離(li)線、實(shi)時以及臨床試驗(yan)中都得到(dao)了(le)廣泛的(de)應用。卡爾(er)曼濾波的(de)優(you)點是(shi)算法簡單,而且(qie)可(ke)以不(bu)需(xu)考慮神經元具體編碼(ma)(ma)(ma)內容即(ji)可(ke)解(jie)(jie)碼(ma)(ma)(ma),因此可(ke)以實(shi)時快(kuai)速解(jie)(jie)碼(ma)(ma)(ma)。其缺點在(zai)(zai)于解(jie)(jie)碼(ma)(ma)(ma)效果(guo)一般,且(qie)每次實(shi)驗(yan)之前都需(xu)較長的(de)校(xiao)準時間,另外,卡爾(er)曼濾波解(jie)(jie)碼(ma)(ma)(ma)的(de)系統(tong)魯棒性相對較差(cha)。為(wei)(wei)解(jie)(jie)決這些問題(ti),國際上提出了(le)很多方(fang)(fang)法,其中最具前景的(de)方(fang)(fang)法主要包括(kuo)類腦解(jie)(jie)碼(ma)(ma)(ma)器設計和神經學習(xi)。
類腦解(jie)碼(ma)(ma)器成(cheng)為(wei)新(xin)一(yi)代解(jie)碼(ma)(ma)方法。最近一(yi)些皮層神(shen)(shen)(shen)經(jing)元(yuan)(yuan)群體編碼(ma)(ma)特(te)性研究結果表(biao)明,雖然大(da)量的(de)(de)(de)神(shen)(shen)(shen)經(jing)元(yuan)(yuan)被記錄并用于(yu)(yu)腦機接(jie)口的(de)(de)(de)解(jie)碼(ma)(ma),但(dan)因大(da)腦神(shen)(shen)(shen)經(jing)元(yuan)(yuan)的(de)(de)(de)信息編碼(ma)(ma)相對于(yu)(yu)運動是(shi)冗余的(de)(de)(de),用于(yu)(yu)控(kong)制(zhi)的(de)(de)(de)神(shen)(shen)(shen)經(jing)元(yuan)(yuan)群體反應(ying)維(wei)度要低于(yu)(yu)神(shen)(shen)(shen)經(jing)元(yuan)(yuan)數量。因此在理論上可以找到一(yi)個(ge)隱藏或潛在的(de)(de)(de)低維(wei)狀態(tai)(tai)空間來(lai)描述在該(gai)控(kong)制(zhi)條件下的(de)(de)(de)有(you)效神(shen)(shen)(shen)經(jing)元(yuan)(yuan)群體反應(ying),并將(jiang)這個(ge)狀態(tai)(tai)空間中的(de)(de)(de)潛變量映射(she)到相關行(xing)為(wei)或運動控(kong)制(zhi)變量用于(yu)(yu)運動控(kong)制(zhi)。
將這些(xie)編(bian)碼(ma)(ma)(ma)特性應用于解(jie)碼(ma)(ma)(ma)器(qi)設(she)計,得(de)到類(lei)腦(nao)的(de)解(jie)碼(ma)(ma)(ma)器(qi)可(ke)用于腦(nao)機(ji)接(jie)口控制(zhi)。目前學(xue)術研究結(jie)果(guo)表(biao)明,此(ci)類(lei)穩定子空間是存在的(de)。此(ci)方(fang)法的(de)優勢是雖然記錄到的(de)神經(jing)元(yuan)群體信號有(you)高(gao)噪聲且會發(fa)生變(bian)化,但(dan)其(qi)在子空間上(shang)的(de)動(dong)力(li)學(xue)過程一直穩定,因(yin)此(ci)可(ke)以(yi)有(you)效去除不穩定記錄以(yi)及神經(jing)元(yuan)發(fa)放變(bian)化帶(dai)來的(de)干擾(rao),從而(er)獲得(de)更為魯(lu)棒(bang)的(de)腦(nao)機(ji)接(jie)口系統(tong)。
神經(jing)(jing)學(xue)習(xi)(xi)提供新(xin)的(de)(de)解(jie)碼思路。當前(qian)還有(you)一種前(qian)沿(yan)的(de)(de)腦(nao)(nao)(nao)機(ji)接口解(jie)碼方(fang)法是(shi)通過訓練大腦(nao)(nao)(nao)進行(xing)學(xue)習(xi)(xi)來(lai)使(shi)用(yong)腦(nao)(nao)(nao)機(ji)接口,即(ji)神經(jing)(jing)學(xue)習(xi)(xi)(也稱腦(nao)(nao)(nao)機(ji)學(xue)習(xi)(xi))。腦(nao)(nao)(nao)機(ji)接口系(xi)統中存(cun)在兩個學(xue)習(xi)(xi)系(xi)統,一個是(shi)解(jie)碼器的(de)(de)機(ji)器學(xue)習(xi)(xi),另外一個就是(shi)具有(you)強大學(xue)習(xi)(xi)能力的(de)(de)神經(jing)(jing)系(xi)統。腦(nao)(nao)(nao)機(ji)接口初期的(de)(de)實(shi)驗都體現了大腦(nao)(nao)(nao)學(xue)習(xi)(xi)本身的(de)(de)重(zhong)要意義,但如(ru)何(he)讓大腦(nao)(nao)(nao)學(xue)會使(shi)用(yong)腦(nao)(nao)(nao)機(ji)接口的(de)(de)解(jie)決方(fang)案尚不(bu)完善(shan)。
腦機接口系(xi)統在使(shi)用(yong)過(guo)程中(zhong),閉環(huan)控(kong)制的(de)練習可以(yi)導致(zhi)神經元為(wei)適應(ying)用(yong)戶(hu)的(de)運動(dong)系(xi)統而發生(sheng)(sheng)變化(hua)。因此,閉環(huan)過(guo)程中(zhong)的(de)解碼(ma)器與開(kai)環(huan)時(shi)的(de)解碼(ma)器可能完全不(bu)同,結果表明提供快速的(de)反饋比過(guo)濾錯誤更(geng)為(wei)重要(yao),因此誕(dan)生(sheng)(sheng)了改進閉環(huan)性(xing)(xing)能的(de)技術,一般被稱為(wei)閉環(huan)解碼(ma)器適應(ying)(Closed-Loop decoder Adaptation,CLDA)。此類方法(fa)根據(ju)閉環(huan)腦機接口使(shi)用(yong)期間記錄的(de)數據(ju)實時(shi)改進解碼(ma)器,讓(rang)解碼(ma)器根據(ju)用(yong)戶(hu)當前神經信號的(de)性(xing)(xing)質來決定(ding)解碼(ma)器的(de)結構。
此外,用戶的神經(jing)系(xi)統也(ye)在實時(shi)學(xue)習(xi)如何應用這個解碼(ma)器。兩(liang)者的相(xiang)互結(jie)合(he)以(yi)(yi)及相(xiang)互促進得到(dao)了(le)一(yi)個“腦機(ji)雙學(xue)習(xi)”的融(rong)合(he)式腦機(ji)接口系(xi)統。此系(xi)統可(ke)以(yi)(yi)在神經(jing)信號(hao)不穩定時(shi)依然(ran)輸(shu)出穩定的表現,且僅需(xu)少量校(xiao)準即(ji)可(ke)即(ji)插即(ji)用,同(tong)時(shi)魯(lu)棒性(xing)極(ji)高(gao),在適應新的應用場景時(shi)有同(tong)時(shi)保留已學(xue)控制技巧并探(tan)索新控制方式的特性(xing),因此極(ji)大的提高(gao)了(le)腦機(ji)接口系(xi)統在實際(ji)應用中的可(ke)能性(xing)。
分(fen)(fen)(fen)解(jie)(jie)(jie)算(suan)(suan)(suan)法是非植入式(shi)腦機(ji)接(jie)(jie)口(kou)系統的(de)主流解(jie)(jie)(jie)碼(ma)算(suan)(suan)(suan)法。分(fen)(fen)(fen)解(jie)(jie)(jie)算(suan)(suan)(suan)法廣泛(fan)應(ying)用(yong)于腦機(ji)接(jie)(jie)口(kou)系統的(de)去(qu)噪與意圖(tu)解(jie)(jie)(jie)碼(ma)。分(fen)(fen)(fen)解(jie)(jie)(jie)算(suan)(suan)(suan)法通常使(shi)用(yong)矩陣分(fen)(fen)(fen)解(jie)(jie)(jie)或提(ti)(ti)取空間濾波(bo)器來增加不(bu)(bu)同類(lei)別意圖(tu)的(de)解(jie)(jie)(jie)碼(ma)可(ke)分(fen)(fen)(fen)離性。大多數分(fen)(fen)(fen)解(jie)(jie)(jie)算(suan)(suan)(suan)法都是為特征(zheng)(zheng)提(ti)(ti)取而設計的(de),矩陣特征(zheng)(zheng)分(fen)(fen)(fen)解(jie)(jie)(jie)后通常需要(yao)連接(jie)(jie)到(dao)分(fen)(fen)(fen)類(lei)器。獨(du)立成(cheng)分(fen)(fen)(fen)分(fen)(fen)(fen)析(ICA)是使(shi)用(yong)廣泛(fan)的(de)分(fen)(fen)(fen)解(jie)(jie)(jie)算(suan)(suan)(suan)法之一(yi)。ICA 一(yi)方面(mian)可(ke)對不(bu)(bu)同源信(xin)號進(jin)行特征(zheng)(zheng)分(fen)(fen)(fen)析,另一(yi)方面(mian)還可(ke)用(yong)于去(qu)噪(例如去(qu)除眨眼(yan)成(cheng)分(fen)(fen)(fen)、偽影信(xin)號等(deng))。在解(jie)(jie)(jie)碼(ma)腦意圖(tu)時,不(bu)(bu)同腦機(ji)接(jie)(jie)口(kou)范(fan)(fan)式(shi)的(de)分(fen)(fen)(fen)解(jie)(jie)(jie)算(suan)(suan)(suan)法存在差異。運動想象范(fan)(fan)式(shi)解(jie)(jie)(jie)碼(ma)多采用(yong)通用(yong)空間模式(shi)(CSP)及衍(yan)生算(suan)(suan)(suan)法。
CSP 可最(zui)大化不同分(fen)布的方差信號,例如(ru)對左右手運動想象進行分(fen)類(lei)。在 CSP 基礎上逐漸衍生出濾波(bo)器(qi)組(zu)(zu) CSP(FBCSP)、提議判(pan)別濾波(bo)器(qi)組(zu)(zu) CSP(DFBCSP)、臨(lin)時約束(shu)的稀疏組(zu)(zu)空間模式(TSGSP)等(deng)。穩態視覺誘發電(dian)位(SSVEP)解(jie)(jie)碼多(duo)采用(yong)典型相(xiang)關分(fen)析(CCA)及(ji)衍生算(suan)法(fa)(fa)(fa)。CCA 算(suan)法(fa)(fa)(fa)有效解(jie)(jie)決(jue)了以往(wang)非空域分(fen)解(jie)(jie)算(suan)法(fa)(fa)(fa)難于處(chu)理的導聯挑選(xuan)問(wen)題(ti)。近十年(nian)學者提出諸多(duo) CCA 改進算(suan)法(fa)(fa)(fa),例如(ru)濾波(bo)器(qi)組(zu)(zu)CCA(FBCCA)、任務相(xiang)關成(cheng)(cheng)分(fen)分(fen)析(TRCA)、集成(cheng)(cheng) TRCA(eTRCA)、任務相(xiang)關成(cheng)(cheng)分(fen)分(fen)析算(suan)法(fa)(fa)(fa)(mTRCA、TDCA 等(deng))。視覺 P300 電(dian)位解(jie)(jie)碼算(suan)法(fa)(fa)(fa)依(yi)托 xDAWN 算(suan)法(fa)(fa)(fa)和 DCPM 算(suan)法(fa)(fa)(fa)。目前有增強 P300 誘發電(dian)位的xDAWN 算(suan)法(fa)(fa)(fa)以及(ji)將空間模式提取和模式匹(pi)配結合的 DCPM 算(suan)法(fa)(fa)(fa)。
近十(shi)年以(yi)黎曼幾(ji)何為代表的(de)流形算法在腦機接口系(xi)統中廣泛應(ying)用(yong)(yong)。黎曼幾(ji)何算法通常可以(yi)用(yong)(yong)于對稱正定(SPD)矩陣(zhen)的(de)空(kong)間上應(ying)用(yong)(yong)運算,進(jin)(jin)而提(ti)供一個(ge)統一的(de)框(kuang)架來(lai)處理不(bu)同的(de)腦機接口范式。例如基于最(zui)(zui)小均值距離(li)(MDM)和帶(dai)有測(ce)地線濾波(FgMDM)算法對 MI任務進(jin)(jin)行分(fen)(fen)類(lei)(lei)。MDM 類(lei)(lei)似(si)于使用(yong)(yong)歐式距離(li)而不(bu)是黎曼距離(li)的(de)最(zui)(zui)近鄰算法。FgMDM 將協(xie)方(fang)差投影(ying)到切(qie)線空(kong)間,將線性判別分(fen)(fen)析(LDA)應(ying)用(yong)(yong)于切(qie)線向(xiang)量(liang),然(ran)后將它們投影(ying)回帶(dai)有選定分(fen)(fen)量(liang)的(de) SPD 空(kong)間。黎曼框(kuang)架由于具有擴展(zhan)性,因此易于多(duo)場景(jing)應(ying)用(yong)(yong)并與(yu)機器學習方(fang)法結合。
深度學(xue)習算(suan)法(fa)在近(jin)年被引入腦(nao)機(ji)接口(kou)解(jie)碼(ma)研究。基于 CNN 網絡結構(gou)設計的(de) Shal-lowConvNet 和 DeepConvNet 模仿(fang)了(le) FBCSP 中(zhong)的(de)時間(jian)和空(kong)間(jian)濾(lv)波器,性能接近(jin) FBCSP。進一(yi)(yi)步利(li)用深度可(ke)(ke)分離(li)卷(juan)積(ji)代替普(pu)通卷(juan)積(ji)提(ti)出的(de) EEGNet 在 SSVEP 范(fan)式應(ying)用中(zhong)取(qu)得了(le)很好的(de)效(xiao)果。CNN網絡模型具有(you)(you)(you)的(de)批(pi)處(chu)理歸一(yi)(yi)化功能也可(ke)(ke)用于視覺 P300 范(fan)式的(de)解(jie)碼(ma)。進一(yi)(yi)步還有(you)(you)(you)諸多深度學(xue)習的(de)改進模型,例如 CNN-RNN 架構(gou)、CNN-LSTM 架構(gou)。還有(you)(you)(you)一(yi)(yi)些研究側重(zhong)于腦(nao)機(ji)接口(kou)的(de)數據(ju)(ju)擴(kuo)增(zeng),進而得到更(geng)多的(de)訓練數據(ju)(ju),提(ti)升解(jie)碼(ma)效(xiao)果。典型的(de)數據(ju)(ju)擴(kuo)增(zeng)網絡模型包括循環(huan)的(de)對抗網絡(RGAN)、增(zeng)強 MI 數據(ju)(ju)的(de) C-LSTM 模型等。
遷移學習算法(fa)的(de)(de)進步(bu)是腦機(ji)接口走向應(ying)用落地(di)的(de)(de)關鍵。許多機(ji)器學習算法(fa)的(de)(de)訓練(lian)數據與測試(shi)(shi)數據來自(zi)相同的(de)(de)特(te)征(zheng)分(fen)布(bu)。此類算法(fa)在(zai)(zai)(zai)腦機(ji)接口應(ying)用中(zhong),雖(sui)然面向單個(ge)被(bei)試(shi)(shi)在(zai)(zai)(zai)短(duan)時(shi)(shi)間(jian)(jian)內可(ke)以(yi)取得(de)良好(hao)性能(neng),但在(zai)(zai)(zai)不同被(bei)試(shi)(shi)或相同被(bei)試(shi)(shi)不同時(shi)(shi)間(jian)(jian)的(de)(de)情況下性能(neng)則大幅下降。這(zhe)些(xie)問(wen)題(ti)被(bei)稱為跨被(bei)試(shi)(shi)和跨時(shi)(shi)間(jian)(jian)的(de)(de)可(ke)變性問(wen)題(ti)。為了減輕這(zhe)兩個(ge)問(wen)題(ti)的(de)(de)影響,通常需要一個(ge)校準(zhun)階段來在(zai)(zai)(zai)每個(ge)會話開始時(shi)(shi)收集足(zu)夠的(de)(de)訓練(lian)數據,但這(zhe)會明顯增加(jia)系統使用的(de)(de)準(zhun)備時(shi)(shi)間(jian)(jian)。
遷移(yi)(yi)學(xue)習(xi)(xi)旨在利用源(yuan)域(yu)中(zhong)(zhong)的(de)先驗信(xin)(xin)息(xi)改(gai)進目(mu)標域(yu)中(zhong)(zhong)預測函數(shu)的(de)學(xue)習(xi)(xi)過程(cheng),解決跨會話和跨主(zhu)體的(de)可變性問題。腦(nao)機接(jie)口(kou)的(de)早(zao)期遷移(yi)(yi)學(xue)習(xi)(xi)算(suan)(suan)法(fa)(fa)(fa)(fa)側重(zhong)于分(fen)解算(suan)(suan)法(fa)(fa)(fa)(fa)的(de)改(gai)進。而后(hou)黎曼幾何法(fa)(fa)(fa)(fa)進一步(bu)促(cu)進了腦(nao)機接(jie)口(kou)的(de)遷移(yi)(yi)學(xue)習(xi)(xi)算(suan)(suan)法(fa)(fa)(fa)(fa)進步(bu)。近年來,深度學(xue)習(xi)(xi)算(suan)(suan)法(fa)(fa)(fa)(fa)也開始應(ying)用于遷移(yi)(yi)學(xue)習(xi)(xi)領域(yu)。此外,其他領域(yu)的(de)遷移(yi)(yi)學(xue)習(xi)(xi)方(fang)法(fa)(fa)(fa)(fa)也在腦(nao)機接(jie)口(kou)研(yan)究(jiu)中(zhong)(zhong)有一定的(de)借鑒(jian),例如信(xin)(xin)息(xi)幾何(STIG)的(de)光譜傳輸算(suan)(suan)法(fa)(fa)(fa)(fa)在快速序列視(shi)覺(jue)呈現(xian)范式(RSVP)的(de)驗證;融合轉(zhuan)移(yi)(yi)分(fen)量分(fen)析(TCA)和聯合分(fen)布適應(ying)(JDA)提出的(de)用于腦(nao)機接(jie)口(kou)的(de)流形嵌入知識轉(zhuan)移(yi)(yi)(MEKT)方(fang)法(fa)(fa)(fa)(fa)。
智東西認為,經過數(shu)十年(nian)的(de)科學(xue)探索與技術(shu)論證(zheng),腦(nao)機接(jie)(jie)口已(yi)從(cong)科幻成為科學(xue),并處于從(cong)科學(xue)研究(jiu)到產業落地的(de)關鍵時期。就腦(nao)機接(jie)(jie)口目前的(de)發展情況(kuang),在今后一段時間(jian),腦(nao)機接(jie)(jie)口的(de)基(ji)礎(chu)學(xue)科研究(jiu)和(he)應用落地都將得到長足(zu)發展,從(cong)而有(you)望促進腦(nao)機接(jie)(jie)口市場(chang)規模不斷擴(kuo)大。