
機器人前瞻(公眾號:robot_pro)
作者?|??許麗思
編輯?|??漠影
一臺(tai)在(zai)仿(fang)真(zhen)環境中表現(xian)完(wan)美的機器人,進(jin)入真(zhen)實(shi)(shi)場景后卻容易各種(zhong)水土(tu)不服:仿(fang)真(zhen)里剛(gang)好(hao)能抓起東西的力度(du),到了現(xian)實(shi)(shi)中可能直接把物體(ti)捏壞;仿(fang)真(zhen)環境中若存(cun)在(zai)物體(ti)穿透等非物理(li)現(xian)象(xiang),即便視(shi)覺渲染高(gao)度(du)還(huan)原,也難以(yi)遷移至真(zhen)實(shi)(shi)場景之(zhi)中。
這是當前(qian)具(ju)身智能行業普遍面臨的尷尬現實(shi)(shi)。數據(ju),作(zuo)為(wei)具(ju)身智能落(luo)地(di)的核心燃料,正以兩種看似矛盾的形態橫(heng)亙在(zai)企(qi)業面前(qian):真實(shi)(shi)數據(ju)太貴、環境(jing)不(bu)可控,仿真數據(ju)與現實(shi)(shi)差距過(guo)大,容易讓優異算法在(zai)落(luo)地(di)的時候(hou)淪為(wei)實(shi)(shi)驗室(shi)玩(wan)具(ju)。
但這樣的困局也藏著破局的可能,近日,RoboScience新推出了通用物理仿真平臺RoboMirage。RoboMirage以遠超傳(chuan)統物(wu)理引擎的高精度,適配(pei)機器人領域的復雜(za)仿真(zhen)需求,試(shi)圖跨(kua)越仿真(zhen)與(yu)現實的鴻(hong)溝,讓具身智能真(zhen)正(zheng)走(zou)出實驗(yan)室。
一、GPU 算力+算法進步,正在破解海量高質量數據獲取難題
在(zai)具身智能行(xing)業(ye)的(de)(de)快速發展中,獲取(qu)海量(liang)(liang)高質(zhi)量(liang)(liang)數(shu)據已成為制約其(qi)實(shi)現規模(mo)化落地的(de)(de)核心挑戰(zhan)。業(ye)內普遍面(mian)臨的(de)(de)關鍵難(nan)題在(zai)于:如何高效、低成本地構建能夠準確反映(ying)真(zhen)實(shi)世界(jie)復雜性(xing)的(de)(de)訓練(lian)數(shu)據集?仿真(zhen)技(ji)術正是應對(dui)這一挑戰(zhan)的(de)(de)重要路(lu)徑,但其(qi)有效性(xing)長(chang)期(qi)受限于仿真(zhen)與現實(shi)之間的(de)(de)不一致性(xing)。
RoboScience工程師在接受采訪時解釋,Sim-to-Real Gap之所以過大且難以產生足以支撐現實應用的高質量數據,是因為過去沒有針對具身智能特點來專門開發高性能通用的物理仿真平臺。
具體(ti)來(lai)說(shuo),為了(le)在有限的算(suan)力(li)下(xia)提升(sheng)仿(fang)(fang)(fang)真(zhen)效(xiao)率,過去的研發者(zhe)不得不犧(xi)牲精度,采(cai)用過度簡(jian)化(hua)的物理模型(xing),所以導(dao)致實時仿(fang)(fang)(fang)真(zhen)器(qi)精度太低,無法還(huan)原(yuan)現實中的物理細節;離線仿(fang)(fang)(fang)真(zhen)器(qi)速度太慢,難(nan)以支撐(cheng)大規(gui)模訓練,算(suan)力(li)和算(suan)法的雙重(zhong)限制共同導(dao)致了(le)“仿(fang)(fang)(fang)真(zhen)數(shu)據不可(ke)信”這樣(yang)的刻板印(yin)象。
但這并(bing)不意味(wei)著Sim-to-Real Gap無法逾越。“這種(zhong)Gap是可以通過(guo)使(shi)用正確(que)的(de)(de)(de)仿(fang)真模型(xing)(xing)和對仿(fang)真模型(xing)(xing)正確(que)的(de)(de)(de)‘標定(ding)’而被不斷縮小的(de)(de)(de),現在(zai)我們能夠高效生(sheng)成與真實世界保持高度一致的(de)(de)(de)海量數據。”工程師提到。
更重(zhong)要的是,仿真(zhen)與(yu)真(zhen)實數據并(bing)不是非此即彼的對(dui)立關系,而(er)是可以(yi)互補的。
真實數(shu)據雖然能(neng)(neng)提供最貼(tie)合現(xian)實的反(fan)饋(kui),但獲取成本很高(gao),機械臂單次碰撞(zhuang)可能(neng)(neng)會帶來數(shu)萬(wan)元損失(shi),溫度(du)、濕度(du)等環境變量的不(bu)可控(kong)性,還會導(dao)致數(shu)據噪(zao)音大、學習效率低。
而仿真(zhen)數據剛好能(neng)補(bu)上這(zhe)些短板,它既能(neng)用(yong)極(ji)低成本生(sheng)成海(hai)量訓練樣本,還能(neng)模(mo)擬真(zhen)實世界里少見的極(ji)端場景,相當于(yu)給機器人建了個“虛擬訓練營”。
具體來看(kan),仿真引擎的優(you)勢(shi)集中在三個方面(mian):
環境可控性:仿真(zhen)可(ke)以在(zai)一個可(ke)控(kong)的(de)環境中(zhong)(zhong)進(jin)行大量(liang)的(de)實(shi)驗和(he)迭代,無需反復(fu)應對現實(shi)中(zhong)(zhong)的(de)意外干擾,而(er)在(zai)真(zhen)實(shi)世界中(zhong)(zhong)環境的(de)噪聲和(he)設備磨損(sun)是(shi)不可(ke)避免的(de);
數據可獲取性:仿真(zhen)(zhen)器(qi)(qi)就(jiu)像(xiang)一個“全知的(de)(de)(de)世(shi)界”,研發(fa)人(ren)員(yuan)能實(shi)時(shi)獲取(qu)任(ren)意(yi)時(shi)間點、任(ren)意(yi)空間位置的(de)(de)(de)物理信息,比如機械臂(bei)指尖與物體接觸的(de)(de)(de)瞬時(shi)壓力分布、軟體變(bian)形的(de)(de)(de)內部應(ying)力變(bian)化,這(zhe)些(xie)數(shu)據在真(zhen)(zhen)實(shi)世(shi)界中需要部署大(da)量傳感器(qi)(qi),花上大(da)量的(de)(de)(de)時(shi)間、人(ren)力和(he)資(zi)金才能勉強采集,且精度往往受限;
模型可微性:依托可微物理模(mo)型,仿(fang)真器能夠自(zi)我(wo)學習,通過反向(xiang)傳播自(zi)動優化模(mo)型里的(de)參數。
隨著(zhu)GPU算力(li)的(de)(de)爆發式增長(chang)與仿真算法的(de)(de)持(chi)續迭(die)代,Sim-to-Real Gap的(de)(de)縮(suo)小正從(cong)理論走向(xiang)實踐(jian)。可(ke)以(yi)說,仿真的(de)(de)價(jia)值(zhi)正隨著(zhu)鴻溝的(de)(de)縮(suo)小而(er)持(chi)續提升,逐漸成(cheng)為具身(shen)智能研發中不(bu)可(ke)替(ti)代的(de)(de)基礎設施。
二、剛體、軟體、變形體等全類型兼容,接觸高精度、不穿透
面對Sim-to-Real Gap,傳(chuan)統(tong)仿(fang)(fang)真引擎的(de)解(jie)決(jue)方(fang)案往往力(li)不從心。大部分(fen)仿(fang)(fang)真引擎還在沿(yan)用位置(zhi)動(dong)力(li)學(xue)(Position-Based Dynamics)等傳(chuan)統(tong)技術,這種(zhong)方(fang)法簡單高效但精(jing)度(du)有(you)限,不支(zhi)持準確的(de)接觸力(li)仿(fang)(fang)真。
而RoboMirage的出現,正以“無損加速”的(de)理念,重(zhong)構仿真(zhen)(zhen)引擎的(de)精(jing)度與(yu)效(xiao)(xiao)(xiao)率(lv)平衡。“無損加(jia)速”,就(jiu)是把仿真(zhen)(zhen)精(jing)度與(yu)收(shou)斂(lian)性放(fang)在第一優(you)先(xian)級,在保證高(gao)精(jing)度的(de)前(qian)提下(xia),通過高(gao)效(xiao)(xiao)(xiao)的(de)數值(zhi)算(suan)法與(yu)GPU并行(xing)計算(suan)提升效(xiao)(xiao)(xiao)率(lv)。
RoboMirage實現了全類型兼容(rong)的可擴展接觸建(jian)模(mo)框架(jia),無論是剛體(ti)(如金屬零件)還(huan)是1D/2D/3D可形變體(ti)(如布料、繩(sheng)索、橡膠、薄膜(mo)、彈(dan)性部件),甚至(zhi)多關節機(ji)器人的末端執(zhi)行器,都(dou)能在(zai)引擎中實現高精(jing)度(du)的接觸仿真(zhen)。RoboMirage還(huan)具備強耦合仿真(zhen)能力(li),兼容未來可微仿真(zhen)與高精(jing)度(du)訓練需求,且允許用戶自(zi)定義擴展功(gong)能,為多樣化場景提(ti)供(gong)靈活適配的底層架構。
RoboMirage把接觸現象建模為物體近距離相互作用勢能,能夠做到“符合物理的永不穿模”,物體(ti)(ti)(ti)在接觸時不會出現穿透現象,接觸力的計算符(fu)合物理規律(lv),并且(qie)可以捕捉動靜摩擦、細微(wei)力變化(hua)等微(wei)觀動力學細節。這個方法(fa)具有(you)很強的泛(fan)用性,適用于(yu)剛(gang)體(ti)(ti)(ti)/軟體(ti)(ti)(ti)/布料/流體(ti)(ti)(ti)等等形體(ti)(ti)(ti)的仿真。
為了確保仿真的穩定性,RoboMirage具備工業級穩定(ding)算(suan)法保障。RoboMirage依托隱式積分,凸(tu)優(you)化方法等嚴格數學理論準確(que)求(qiu)解介質力學問題,從(cong)算法層面(mian)確(que)保(bao)仿真過(guo)程的(de)穩定性(xing)(xing)與(yu)時間一致性(xing)(xing),捕捉每一個(ge)動(dong)力學細(xi)節。這種穩定性(xing)(xing),讓RoboMirage能滿足工業裝配、精密抓取等對可(ke)靠性(xing)(xing)要求(qiu)極高的(de)任務需求(qiu)。
RoboMirage還采用了先進的GPU驅動異(yi)構加速技術,充分(fen)利(li)用 GPU 大(da)規模(mo)并行計算能(neng)力,結合數(shu)據導(dao)向編程,實(shi)現(xian)工業級精度(du)下的高性能(neng)快速仿真(zhen),顯(xian)著優于傳(chuan)統有限元分(fen)析及現(xian)有機器人(ren)仿真(zhen)平臺(tai)。
Roboscience的研(yan)(yan)發團隊(dui)既懂具身智(zhi)能又懂物理引擎,在RoboMirage平臺的研(yan)(yan)發過程中,團隊(dui)圍(wei)繞物理仿(fang)真器設計優化、具身智(zhi)能機(ji)器人仿(fang)真需求兩大核心(xin)方向,開展了多年的技術攻堅(jian)。
為(wei)了(le)提高(gao)(gao)(gao)大量剛體環(huan)境(jing)下的(de)高(gao)(gao)(gao)效碰(peng)撞計算,團隊針對剛體碰(peng)撞的(de)特性進(jin)(jin)(jin)行了(le)深(shen)入研究(jiu),在GPU上開(kai)發了(le)高(gao)(gao)(gao)效的(de)碰(peng)撞剔(ti)除算法。此外(wai),他們還進(jin)(jin)(jin)行了(le)相當(dang)多(duo)數值(zhi)計算方法上的(de)探(tan)索和改(gai)進(jin)(jin)(jin),大到高(gao)(gao)(gao)自由度線性系統的(de)高(gao)(gao)(gao)效并(bing)行求解加速,小到本構特征值(zhi)系統的(de)求解優化(hua)。
RoboMirage的目標遠不止于成為一款強大的物理解算器,更致力于構建專業、開放、包容的仿真生態。
在易用性上,RoboMirage同樣做了針對性優化。其采用Pythonic設計,注重用戶體(ti)驗(yan),接(jie)口友(you)好,易(yi)于上手,方(fang)便(bian)開(kai)發者快速集成與定制,助力(li)高效仿真(zhen)開(kai)發。目(mu)前,團隊正在(zai)努力(li)打通(tong)生產流(liu)程的全環節,使該平臺能夠適配多款不同工具的工作流(liu),實(shi)現無壁(bi)壘協同。
三、精準復刻魔術的奇妙時刻
RoboMirage到底有多強?看(kan)看(kan)它能完成的各種復雜操作就知道了。
以(yi)魔術(shu)為例,想(xiang)要(yao)在物(wu)(wu)理引擎里復刻魔術(shu)的(de)奇妙(miao)時刻,對接觸力、彈性體(ti)(ti)變形、剛(gang)體(ti)(ti)軟體(ti)(ti)耦合的(de)準確仿(fang)真提出(chu)了非常高的(de)要(yao)求。RoboMirage依托(tuo)精準計(ji)算(suan)模型與百微米級控制能力,把現實(shi)中(zhong)的(de)細微互(hu)動轉化為可計(ji)算(suan)的(de)物(wu)(wu)理過程。
經典魔術“明日環”,一(yi)根(gen)細繩(sheng)垂著(zhu),上端懸掛著(zhu)一(yi)個金屬環,手指一(yi)松,金屬環順著(zhu)繩(sheng)子往下滑(hua),眼看就要(yao)掉落,它卻突(tu)然穩穩懸在繩(sheng)索(suo)中(zhong)間。
在這(zhe)(zhe)個(ge)過程(cheng)中,RoboMirage模擬了金屬環與柔(rou)性繩索間復雜的接觸纏繞(rao),其(qi)中涉(she)及摩擦滑(hua)動與剛柔(rou)體耦合,這(zhe)(zhe)要(yao)求(qiu)引擎穩定處理動態接觸,避免了穿(chuan)模或解算失敗。
橡(xiang)皮(pi)(pi)筋穿越(yue)魔術,兩根橡(xiang)皮(pi)(pi)筋分別被雙手兩指撐起后(hou)(hou)交錯,左右(you)摩(mo)擦(ca)后(hou)(hou)一拉(la),原本纏在一起的皮(pi)(pi)筋,居(ju)然穿越(yue)了彼此。
這個魔術涉及兩個彈(dan)性體的相互纏繞、拉伸與形變,需(xu)精準(zhun)模擬(ni)其粘滯(zhi)阻尼、張力變化及自碰撞特性。
紙牌(pai)魔(mo)術,需要將紙牌(pai)分成兩疊,手指發力使其(qi)從兩側依次均勻從中間落下。
RoboMirage要(yao)模(mo)擬(ni)多(duo)張(zhang)紙牌以(yi)極小時間步交錯插(cha)入時的接(jie)觸力與摩擦細節,要(yao)維持接(jie)觸連續性(xing)、防(fang)止穿透。
抽(chou)(chou)桌(zhuo)(zhuo)布(bu)魔術,機器(qi)人(ren)需(xu)要快(kuai)速將桌(zhuo)(zhuo)布(bu)抽(chou)(chou)拽出,并且避免(mian)上方的(de)(de)(de)香檳(bin)塔因(yin)受力產(chan)生傾斜。這(zhe)就(jiu)需(xu)要高(gao)精度捕捉布(bu)料瞬時滑動,以及布(bu)料移(yi)除瞬間物體的(de)(de)(de)摩擦(ca)慣性與受力響應,同時兼顧(gu)快(kuai)速拉拽的(de)(de)(de)非平(ping)衡動態與上方物體的(de)(de)(de)穩定性模擬。
四、以RoboMirage作為核心基礎設施,構建起完整的數據生態
除了推出RoboMirage外,此前,RoboScience還成(cheng)功(gong)實(shi)現了家具(ju)拼裝這一極考驗復雜長程任務處理能力的操(cao)作任務。
家(jia)具(ju)拼(pin)裝被認為(wei)是迄今最復雜、精度最高(gao)、步(bu)驟最多的(de)具(ju)身操作任務,要求仿(fang)真引擎不(bu)僅要具(ju)備(bei)高(gao)精度的(de)物理(li)模型,以(yi)準確模擬不(bu)同材料和形狀的(de)物體在(zai)拼(pin)裝過程中的(de)行為(wei),還(huan)要有良好的(de)實時性(xing)能(neng),以(yi)支持動態場景下(xia)的(de)交互和反饋。
RoboScience 讓家(jia)具拼裝(zhuang)的(de)全流程實現(xian)(xian)了自主化與高精(jing)度的(de)統一。模(mo)型會先讀取(qu)說明書,理解(jie)零(ling)件結構邏輯,實現(xian)(xian)多(duo)部件的(de)檢測、感知(zhi)、插拔與旋轉配合(he),還能(neng)自主分(fen)解(jie)多(duo)步驟任務,完成多(duo)關節雙臂協同運動。
依托(tuo)自適應插接(jie)路徑(jing)規劃和精細接(jie)觸力(li)調(diao)控策略(lve),系統在零(ling)部件定(ding)位和微(wei)小運動(dong)控制上都(dou)表(biao)現出色。通過(guo)實時獲取插接(jie)產生的反(fan)饋力(li),模(mo)型還(huan)能動(dong)態調(diao)整操作策略(lve)。即便拼裝(zhuang)過(guo)程中遭用戶拆(chai)解干(gan)擾,模(mo)型也能自動(dong)恢復狀態,繼續進行拼裝(zhuang)任(ren)務。
通過這個框架,系統可以用標準化方法分析不同(tong)場景(jing)下的物(wu)理接(jie)觸,例如機(ji)(ji)器(qi)人(ren)抓取物(wu)體(ti)時的力反饋、變形(xing)預測(ce)或運動規劃,無需為每(mei)種對象或機(ji)(ji)器(qi)人(ren)單獨(du)開發算法,給開發者省了大量重復工(gong)作。
從攻(gong)克家具拼裝(zhuang)這(zhe)一(yi)具體挑戰,到發(fa)布RoboMirage這(zhe)一(yi)通用物(wu)理仿真平臺,RoboScience始終致(zhi)力于將前沿的(de)具身智能研究(jiu)轉化為可(ke)復用的(de)強大技術基(ji)座(zuo)。
當RoboMirage精準復刻魔術場景時,它所展(zhan)現的不僅是一款仿真引擎的技術實(shi)力,也是RoboScience對具身智能發展(zhan)路徑(jing)的深刻思考。RoboMirage是RoboScience打通(tong) Sim-to-Real 路徑(jing)的核心(xin)基礎設施,但(dan)并不構(gou)成其數據生態的全(quan)部。
目前,RoboScience已構建起“高(gao)精度仿真(zhen)(zhen)基座(zuo)+多源數據(ju)研發(fa)與(yu)(yu)驗(yan)(yan)(yan)證(zheng)體系”的完(wan)整生(sheng)態:除了RoboMirage生(sheng)成的海(hai)量訓(xun)練與(yu)(yu)驗(yan)(yan)(yan)證(zheng)樣本(ben)(ben),研發(fa)與(yu)(yu)驗(yan)(yan)(yan)證(zheng)流程(cheng)還(huan)融合(he)了來(lai)自(zi)互聯網語料與(yu)(yu)知(zhi)識庫、結構化(hua)技術文檔、說明書(產品手冊、CAD、規格表(biao)等(deng))等(deng)以及(ji)少量真(zhen)(zhen)機實(shi)驗(yan)(yan)(yan)的多模態傳感(gan)(gan)數據(ju)與(yu)(yu)操(cao)作日志(zhi)(力、位姿、觸覺、視頻等(deng))。這些(xie)現實(shi)世界(jie)與(yu)(yu)文本(ben)(ben)類數據(ju)為仿真(zhen)(zhen)結果提供驗(yan)(yan)(yan)證(zheng)依據(ju),幫(bang)助(zhu)微調(diao)感(gan)(gan)知(zhi)與(yu)(yu)策略模型,增加語義約束(shu),并構建真(zhen)(zhen)實(shi)場景的基線測試。
正(zheng)如RoboScience工程師(shi)所(suo)說(shuo):“真(zhen)實數(shu)據(ju)和仿真(zhen)數(shu)據(ju)不(bu)是(shi)非此(ci)即彼的(de)選(xuan)擇,兩者會相輔相成,最(zui)終帶領具身智能駛向新大陸。”
致謝(xie)(xie):RoboScience感(gan)謝(xie)(xie)圖(tu)形學與機(ji)器人領域(yu)的(de)開(kai)源社區和學術(shu)機(ji)構(gou),包括但不限于Lins lab,HKU CGVU lab,以及OpenUSD, softmac, libuipc, diffclothai等優秀開(kai)源項目(mu),衷心致謝(xie)(xie)每一位具身行業推(tui)動者(zhe)。