智東西（公眾號：zhidxcom）
作者 | 王涵
編輯 | 漠影
智東(dong)西7月(yue)25日消息，7月(yue)23日，Meta現實實驗室（Reality Labs）在Nature上發表最新(xin)論文《A generic non-invasive neuromotor interface for human-computer interaction》（用于人機(ji)交互的通(tong)用非侵(qin)入(ru)式(shi)神經(jing)運(yun)動接口）。
這項創新主要推出了基于表面肌電圖（sEMG）的通用型非侵入性神經運動接口。該接口以腕帶形式呈(cheng)現(xian)，無需通過侵入(ru)性手(shou)術，就能(neng)夠精準捕捉手(shou)腕部(bu)位的(de)神經信號，識別包括點擊、滑(hua)動和捏合(he)在內的(de)多種手(shou)勢意圖，甚(shen)至在手(shou)部(bu)自然下(xia)垂的(de)狀(zhuang)態(tai)下(xia)也能(neng)實現(xian)隱蔽操作。
與傳統的鍵盤、鼠標、觸摸屏等輸入設備不同，它擺脫了對中間設備的依賴。并且，相較于基于攝像頭或慣性傳感器的手勢系統，它不受動作遮擋的影響。而與侵入性的腦機接口相比，它也無需定制解碼器，且能在(zai)不同(tong)人(ren)群(qun)中實現(xian)通用(yong)化應(ying)用(yong)。
基于300多名受試者提供的超過100小時肌電數據，研究團隊還開發出具有高度適應性的機器學習模型。該模型最顯著的特點是無需個人校準即可實現高精度手勢識別，而僅需少量個性化數據就能將筆跡識別準確率提升16%。
Meta在2023年通(tong)過Orion AR眼鏡原型完(wan)成該成果(guo)的(de)早期技術驗證。
一、高靈敏度腕帶+通用解碼模型
為實現這(zhe)一突破，研究團隊從硬件和模型兩(liang)方(fang)面著手。?
硬件方面：該(gai)團隊研發了一款(kuan)高靈敏度(du)、易佩戴(dai)的sEMG腕帶（sEMG-RD）。
該腕帶(dai)采用干電(dian)極、多(duo)通道記錄設計，采樣率達2kHz，噪(zao)音低至2.46μVrms，續航超過4小(xiao)時，且有四種尺寸以適應不同(tong)腕圍。其電(dian)極布局經過優化(hua)，能精準捕(bu)捉手腕、手部和前(qian)臂肌(ji)肉的(de)電(dian)信號，甚至可檢測(ce)到單個運動單位(wei)動作電(dian)位(wei)（MUAPs）。
在研發過程中，團隊經過多次材料測試與(yu)結構優化，才確定了?最終的腕(wan)帶設計，以確保其佩戴舒適性與(yu)信號(hao)采集穩定性的平衡。?
數據收集與模型訓練方面：該團隊(dui)構(gou)建了可擴展的數(shu)據收集基礎設施，從數(shu)千參與者獲取訓練數(shu)據。
基于(yu)這些數據，團隊(dui)開(kai)發出通用(yong)的(de)sEMG解(jie)碼(ma)模型。模型采用(yong)了多種深度學(xue)習架構(gou)，如(ru)用(yong)于(yu)手腕(wan)任(ren)務的(de)長短期記憶（LSTM）層(ceng)、用(yong)于(yu)離散手勢任(ren)務的(de)1D卷積層(ceng)加LSTM層(ceng)，以及用(yong)于(yu)手寫(xie)任(ren)務的(de)Conformer架構(gou)等，以適應不(bu)同交互場景(jing)的(de)需求。
在模型訓練階段，研究人員還(huan)運用了(le)遷移(yi)學習等先進技術，加(jia)速模型收斂，并通過不斷調整超(chao)參(can)數(shu)，提升(sheng)模型的泛化能力與(yu)準(zhun)確性(xing)。?
二、0.88次/秒手勢識別，手寫輸入達20.9字/分鐘
在連續導航任務中，sEMG的閉環手勢解碼中位數性能為0.66次/秒；這意味著用戶在進行連續的手勢操作以控制光標等對象在屏幕上導航時，平均每秒能夠實現0.66次精準的目標獲取，大大提(ti)升了操作效率。
在離散手勢任務中，其手勢檢測速率達0.88次/秒，即用戶做出如握拳、伸指等離散的特定手勢時，系統能夠以每秒0.88次的速(su)度快速(su)識別并做出響應。
?戴sEMG腕帶的測試者，手寫輸入速度可達20.9字/分鐘，且通過個性化調整sEMG解碼模型，手寫模型的解碼性能可進一步提升16%。?
值得一提的是，這些模型在無需針對個人進行訓練或校準的情況下，就能在不同人群中表現良好。其在離線評估中，對未參與訓練的參與者，手寫和手勢檢測的分類準確率超過90%，手腕角度速度解碼誤差小于13°s?1。
研究團隊在不同(tong)年(nian)齡(ling)、性(xing)別、身體(ti)狀況的志愿者(zhe)群(qun)體(ti)中進(jin)行(xing)了(le)廣泛測試，均得到(dao)了(le)上述(shu)穩定且(qie)優(you)異的結果，驗證了(le)該神經運(yun)動接(jie)口(kou)的通(tong)用性(xing)與可靠(kao)性(xing)。?
三、未來應用：潛力廣泛，前景可觀?
這一技術在多個領域都(dou)有著廣(guang)闊的應用前景(jing)。?
日常交互：可應用(yong)于智能手(shou)機(ji)、智能手(shou)表(biao)、智能眼(yan)鏡等(deng)移動設備(bei)，實(shi)現無(wu)縫輸(shu)入，尤其適(shi)合在移動場景中使(shi)用(yong)，解(jie)決傳(chuan)統輸(shu)入方式(shi)在該(gai)場景下的(de)局限性。
比如，用戶在行走、乘(cheng)車時，無需(xu)再依賴屏幕觸摸(mo)或(huo)鍵(jian)盤輸入，僅通過簡單的手部肌肉(rou)活動，就能完成文字輸入、指令下達等(deng)操作，讓信息交互更加便捷高效。?
輔助技術：為行動(dong)不便者提供新的交互(hu)方(fang)式(shi)，例如那些因肌肉無力或肢(zhi)體缺失而難以(yi)使用傳統設備的人群，通過細(xi)微的肌肉活動(dong)就能實(shi)現與計(ji)算機的交互(hu)。
對于(yu)肢(zhi)體(ti)殘(can)疾(ji)人(ren)士，他(ta)們可以借(jie)助(zhu)該接(jie)口，以自身(shen)獨(du)特的肌肉運動模式控制(zhi)輪椅、假肢(zhi)等輔(fu)助(zhu)設備，獲得(de)更(geng)高的生活自主(zhu)性(xing)。?
醫療康復：可用于臨床診斷和康復(fu)(fu)治療，如監測患者(zhe)的肌肉活動情況，輔(fu)助制定個性化康復(fu)(fu)方(fang)案，或(huo)作(zuo)為閉環(huan)神經(jing)康復(fu)(fu)范式的一部分(fen)。
醫生能夠通(tong)過分析(xi)患者使用該接口時的肌肉電信(xin)號數據，更精準(zhun)地了(le)解患者的肌肉恢(hui)復(fu)狀態(tai)，及時調(diao)整康復(fu)訓練計劃，提高(gao)康復(fu)效果。?
新型控制方式探索：有望(wang)實現對(dui)意圖手(shou)勢力量的(de)直(zhi)接檢(jian)測，開發多自由(you)度聯合控(kong)制(zhi)，以及低(di)做功(gong)的(de)控(kong)制(zhi)方(fang)式，甚(shen)至可能催生(sheng)出基于神經運動信號(hao)空間的(de)全新交(jiao)互形式。
例如(ru)，在工業控(kong)制領域，工人可以通(tong)過佩戴該接(jie)口，以更自然的方式遠程操控(kong)復雜設備，減少操作失(shi)誤，提高生產效率。?
此外，該技術(shu)還為(wei)腦機(ji)接口等相關領(ling)域提供(gong)了(le)借鑒(jian)，其大規模(mo)數據收(shou)集和模(mo)型(xing)訓練(lian)方(fang)法(fa)可能為(wei)解決其他接口的校準問題提供(gong)方(fang)向。
結語：下一代人機交互范式或將被重新定義
Meta在2023年通過(guo)Orion AR眼鏡原型完成了技(ji)術的前期(qi)驗證，2025年核心研究(jiu)成果(guo)正式被頂級學術期(qi)刊Nature收錄發表。
這項技(ji)術(shu)有望從專業AR設備(bei)逐步(bu)拓展(zhan)成為通用電(dian)子(zi)設備(bei)的交(jiao)互標準，最終(zhong)實(shi)現“讓計算機理解人(ren)類手勢”的技(ji)術(shu)愿景。
這種以人為(wei)中心的交互(hu)(hu)理念(nian)，或將重新定(ding)義下一(yi)代人機交互(hu)(hu)范(fan)式(shi)。
