控制人(ren)(ren)(ren)形(xing)(xing)機器人(ren)(ren)(ren)執(zhi)行(xing)(xing)復雜的全身動作是機器人(ren)(ren)(ren)學(xue)領域的一(yi)個(ge)重大(da)挑戰。盡管，在(zai)人(ren)(ren)(ren)形(xing)(xing)機器人(ren)(ren)(ren)元(yuan)年，一(yi)些研究推(tui)動人(ren)(ren)(ren)形(xing)(xing)機器人(ren)(ren)(ren)在(zai)全身控制方(fang)面取得了顯著進展，但在(zai)執(zhi)行(xing)(xing)復雜任務和(he)適(shi)應(ying)性(xing)方(fang)面仍然面臨諸多問題。
為(wei)此(ci)，意(yi)大利技術研(yan)究院(iit)博(bo)士生研(yan)究員王進等(deng)提出用于不同場景中基于任務學(xue)習、選擇和規劃行為(wei)的框(kuang)架HYPERmotion。相關論文成果(guo)收錄(lu)于CoRL 2024。
該框(kuang)架能(neng)夠結合(he)強化(hua)學習與全身(shen)模型預測控制生成(cheng)人(ren)形(xing)機(ji)器(qi)人(ren)全身(shen)動作，并(bing)將(jiang)其開發為運(yun)(yun)動庫中的(de)一種技(ji)能(neng)。此外，通過將(jiang)LLMs的(de)在線規劃(hua)和推理功能(neng)應用(yong)于(yu)復雜的(de)移動操(cao)作任務，還形(xing)成(cheng)了(le)一個包(bao)含一系列基本行為的(de)層次化(hua)任務圖，以橋接低級執行和高階自動化(hua)規劃(hua)。通過利用(yong)提(ti)煉的(de)空間幾何和2D觀測與VLM的(de)交互，將(jiang)知識嵌入構建(jian)的(de)機(ji)器(qi)人(ren)形(xing)態選擇器(qi)中，從(cong)而選擇單臂或雙臂、腿式或輪式運(yun)(yun)動的(de)適當動作。
通過在仿(fang)真(zhen)和現(xian)實環境中(zhong)進(jin)(jin)行(xing)大規(gui)模實驗(yan)，HYPERmotion展示了機器人(ren)所(suo)學的全身技能可以(yi)高(gao)效(xiao)適應新(xin)任務(wu)，表現(xian)出從自由文本指令中(zhong)獲得的高(gao)自主(zhu)性(xing)，并在非結構化場景中(zhong)進(jin)(jin)行(xing)規(gui)劃。
此外，王(wang)進博士等研(yan)究(jiu)人(ren)員又提出基于(yu)LLM的(de)人(ren)形機(ji)器(qi)人(ren)自主行(xing)為(wei)(wei)規劃框架，機(ji)器(qi)人(ren)能(neng)夠根據(ju)文本指令(ling)自主規劃行(xing)為(wei)(wei)和(he)低級執(zhi)行(xing)，并觀察和(he)糾正(zheng)任務執(zhi)行(xing)中(zhong)(zhong)的(de)失(shi)敗。該框架提高了機(ji)器(qi)人(ren)在非結構化環境中(zhong)(zhong)的(de)行(xing)動規劃能(neng)力(li)。王(wang)進博士等研(yan)究(jiu)人(ren)員還設(she)計了包含動作行(xing)為(wei)(wei)和(he)感知行(xing)為(wei)(wei)的(de)機(ji)器(qi)人(ren)行(xing)為(wei)(wei)庫，將(jiang)復(fu)雜任務分解為(wei)(wei)可執(zhi)行(xing)的(de)子(zi)任務，提高了任務執(zhi)行(xing)的(de)可靠(kao)性(xing)和(he)可解釋(shi)性(xing)。相關論文成果收錄于(yu)IROS 2024。
10月24日晚(wan)7點，智猩(xing)(xing)猩(xing)(xing)邀請(qing)到意(yi)大(da)利(li)技術研(yan)究(jiu)(jiu)院(iit)博士生研(yan)究(jiu)(jiu)員王進參與「智猩(xing)(xing)猩(xing)(xing)具身智能前沿講(jiang)座(zuo)」第14講(jiang)，主講(jiang)《HYPERmotion：結合(he)語言模型實現人形機器人自主行為(wei)規劃》。
講者
王進
意大利技術研(yan)究(jiu)院(iit)博士生研(yan)究(jiu)員(yuan)
師從(cong)Nikos Tsagarakis,是HHCM實(shi)驗室(shi)的(de)一員。其主(zhu)要研究興趣為機器(qi)人(ren)(ren)學習、具(ju)(ju)身智能以及仿人(ren)(ren)機器(qi)，具(ju)(ju)體為人(ren)(ren)形機器(qi)人(ren)(ren)的(de)自主(zhu)移動操作，在(zai)機器(qi)人(ren)(ren)任務中融合(he)基礎(chu)模型(xing)并通(tong)過學習的(de)方式(shi)提高機器(qi)人(ren)(ren)的(de)自主(zhu)性。部分研究發(fa)表在(zai)IROS、ICRA、CoRL等機器(qi)人(ren)(ren)相(xiang)關會議(yi)。
第 14 講?
主 題?
《HYPERmotion：結(jie)合(he)語(yu)言模型實現人形機(ji)器人自主行(xing)為規劃》
提 綱?
1、利用RL與全身模型預測控制生成人形機器人全身動作
2、基于LLM分解復雜操作任務構建層次化任務圖
3、結合VLM選擇機器人形態和相應動作
4、在仿(fang)真和真實環境的實驗中(zhong)效(xiao)果展(zhan)示(shi)及分析
?直 播 信 息?
直(zhi)播時間：10月24日19:00
成果
論文標題
《HYPERmotion: Learning Hybrid Behavior Planning for Autonomous Loco-manipulation》
《Autonomous Behavior Planning For Humanoid Loco-manipulation Through Grounded Language Model》
論文鏈接
//arxiv.org/abs/2406.14655
//arxiv.org/abs/2408.08282v1
項目地址
//hy-motion.github.io/
如何報名
有(you)講座直(zhi)播觀(guan)看需求(qiu)的朋(peng)友(you)，可(ke)以(yi)添加小助手“莓莓”進行報名。已添加過“莓莓”的老(lao)朋(peng)友(you)，可(ke)以(yi)給“莓莓”私信，發(fa)送“具身(shen)智能(neng)14”進行報名。對于(yu)通過報名的朋(peng)友(you)，之后將邀請(qing)入(ru)群進行觀(guan)看和交流。
