近年來，基于人類(lei)示范數據的(de)機器(qi)人模(mo)仿學習(xi)技術(shu)取得(de)了顯著(zhu)進展(zhan)，展(zhan)現出了巨大(da)的(de)應用(yong)前(qian)景和發展(zhan)潛力(li)。然(ran)而，如何使(shi)這(zhe)一過程更加(jia)(jia)高效(xiao)，并得(de)到更加(jia)(jia)通用(yong)的(de)機器(qi)人操控(kong)策略，目(mu)前(qian)依(yi)然(ran)是一個挑(tiao)戰。提(ti)高真(zhen)實(shi)世界中(zhong)人類(lei)示范數據收(shou)集的(de)效(xiao)率，對于實(shi)現高效(xiao)的(de)模(mo)仿學習(xi)至關重要。
為此，上海交通大學盧策吾教授團隊提出了大規模真實世界機器人操控數據集RH20T，包含超過11萬個接觸豐富的機器人操控軌跡，涵蓋多種技能、場景、機器人和攝像機視角。這些軌跡通過人類遙操作收集，為模仿學習算法提供了豐富多樣的資源。與RH20T相關的論文成果收錄于RSS 2023和 ICRA 2024。
為了降低規模化雙臂數據采集的成本，上交大盧策吾教授團隊聯合上海AI Lab引入了低成本的外骨骼系統AirExo。與AirExo相關的論文收錄于ICRA 2024，其中上海交通大學與上海AI Lab聯培博士生方泓杰為(wei)論文一(yi)作。
AirExo旨在采集野(ye)外(wai)環境(jing)中的(de)雙臂(bei)操(cao)(cao)作(zuo)數(shu)據，減少機(ji)器人(ren)操(cao)(cao)控(kong)(kong)策略(lve)對于遙(yao)操(cao)(cao)作(zuo)數(shu)據的(de)需求，使(shi)低成(cheng)本規模(mo)化雙臂(bei)數(shu)據采集成(cheng)為(wei)可能。該(gai)系統使(shi)機(ji)器人(ren)僅通過3分鐘(zhong)的(de)遙(yao)控(kong)(kong)演示和(he)收集到的(de)野(ye)外(wai)數(shu)據學習的(de)效果，超越了(le)從(cong)20多分鐘(zhong)遙(yao)控(kong)(kong)演示中的(de)學習效果。
在模仿學習方面，穹徹智能聯合上交大盧策吾教授團隊提出了基于3D感知的真實世界機器人操控策略RISE，顯著提升了機器人操控策略對物體位置以及相機視角變化的泛化能力。與RISE相關的論文收錄于IROS 2024。
RISE通(tong)過3D感(gan)知，能夠有(you)效地提取空(kong)間信(xin)息，并在(zai)(zai)多(duo)個機器人操(cao)作任務中取得了(le)優于2D和3D基(ji)線方法的(de)(de)性能。并且，在(zai)(zai)不同(tong)物體位置、新工作空(kong)間和新相機視角下都表現(xian)出良(liang)好的(de)(de)泛化能力，增強了(le)其在(zai)(zai)真實世界部署中的(de)(de)魯棒性。
為進一步提高(gao)人(ren)類示范數據的(de)(de)利用(yong)(yong)效率(lv)，上(shang)(shang)交大盧策吾教授(shou)團隊(dui)聯合上(shang)(shang)海AI Lab又提出了具有極強泛(fan)化性的(de)(de)操控策略CAGE。該策略能(neng)利用(yong)(yong)僅50條(tiao)單(dan)平臺單(dan)相機(ji)視角采集的(de)(de)數據，無需任何預訓練(lian)，即可將(jiang)技能(neng)遷(qian)移至不同(tong)機(ji)械臂、不同(tong)相機(ji)視角和(he)背(bei)景(jing)環(huan)境中。CAGE能(neng)夠(gou)使機(ji)器(qi)人(ren)實現更加高(gao)效且(qie)通用(yong)(yong)的(de)(de)模(mo)仿學習，為機(ji)器(qi)人(ren)操控策略在復(fu)雜多變的(de)(de)真實環(huan)境中的(de)(de)應用(yong)(yong)提供了有力支持。
11月26日晚7點，智猩猩邀請到上海交通大學與上海AI Lab聯培博士生方泓杰參與「智猩猩具身智能前沿講座」第16講，主講《基于人類示范數據的高效機器人模仿學習》。
講者
方泓杰，上海交通大學與上海 AI Lab聯培博士生
方泓杰，上海交(jiao)通大學計(ji)算機科(ke)學與工(gong)程系(xi)與上海人(ren)工(gong)智能(neng)實驗室聯培博(bo)士(shi)(shi)生，師(shi)從盧策吾教授。他于2022年獲得(de)上海交(jiao)通大學計(ji)算機科(ke)學與工(gong)程學士(shi)(shi)學位，其研究興趣主(zhu)要集中在機器人(ren)操控與抓取(qu)領域，尤其關注基(ji)于人(ren)類示范的模仿學習技術，致力于提(ti)升(sheng)機器人(ren)在復雜環(huan)境中的通用操作能(neng)力，使機器人(ren)能(neng)夠更加(jia)精準(zhun)和高效地(di)完成多(duo)樣化任務。
曾參與通(tong)用(yong)抓取算(suan)法AnyGrasp以及(ji)Open X-Embodiment大型數據集等項目（ICRA 2024最(zui)佳論文）。在(zai)ICRA、IROS等機器(qi)人領(ling)域會(hui)議以及(ji)T-RO、RA-L等期刊上發表近10篇(pian)論文
第 16 講
?主 題
?《基于人類示范數據的高效機器人模仿學習》
?提 綱?
1、基于人類示范數據的機器人模仿學習面臨的挑戰
2、大規模真實世界機器人操控數據集RH20T
3、使用外骨骼系統實現低成本規模化的雙臂數據采集
4、基于3D感知的真實世界機器人操控策略RISE
5、利用(yong)CAGE實現機(ji)器人高效且通用(yong)的模仿(fang)學習(xi)
?直 播 信 息?
直播時間：11月26日19:00
成果
論文成果1
標題：《RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in One-Shot》
鏈接：//arxiv.org/abs/2307.00595
項目地址：//rh20t.github.io/
收錄情況：RSS 2023、ICRA 2024
論文成果2
標題：《AirExo: Low-Cost Exoskeletons for Learning Whole-Arm Manipulation in the Wild》
鏈接：//arxiv.org/abs/2309.14975
項目地址：//airexo.github.io/
收(shou)錄情況：ICRA 2024
論文成果3
標題：《RISE: 3D Perception Makes?Real-World Robot?Imitation?Simple and?Effective》
鏈接：//arxiv.org/abs/2404.12281
項目地址：//rise-policy.github.io/
收(shou)錄情(qing)況：IROS 2024
論文成果4
標題：《CAGE: Causal Attention Enables Data-Efficient Generalizable Robotic Manipulation》
鏈接：//arxiv.org/abs/2410.14974
項目(mu)地(di)址：//cage-policy.github.io/
入群申請
有講座直播觀看需求的朋友，可以添加小助手“莓莓”進行報名。已添加過“莓莓”的老朋友，可以給“莓莓”私信，發送“具身智能16”進行報(bao)名(ming)。對于(yu)通過報(bao)名(ming)的朋友(you)，之后將邀請入群進行觀看和交(jiao)流。
