在(zai)具身(shen)智(zhi)能和機器(qi)人操作實(shi)驗室中，往往會(hui)選擇固定的(de)setting進行實(shi)驗。但在(zai)現(xian)實(shi)環境中，實(shi)現(xian)機器(qi)人的(de)空間泛化，以應對多(duo)樣化的(de)物體(ti)位置和復雜的(de)場景(jing)布(bu)置，一(yi)直是個艱難的(de)挑戰(zhan)。
近日，來自清華和NUS的團隊，發現了具身智能空間泛化Scaling Law。在此基礎上，提出了一個創新的機器人操作算法框架ManiBox。其中，清華大學計算機系TSAIL實驗室博士生譚恒楷為論文一作。
ManiBox深入探索(suo)了具身智能的(de)空(kong)間泛(fan)化(hua)性 Scaling Law，并通過大量(liang)模(mo)擬器數據和Bounding Box這樣的(de)視覺低維特征引導(dao)，成功實現(xian)了空(kong)間泛(fan)化(hua)、背(bei)景泛(fan)化(hua)和物(wu)體泛(fan)化(hua)的(de)抓取(qu)任務，能夠從固定點(dian)到34440cm3最大操作(zuo)空(kong)間范圍的(de)高效(xiao)覆蓋(gai)，抓取(qu)成功率高達90%。
此外，ManiBox 不僅能(neng)夠完成(cheng)常規抓取(qu)(qu)，還擴展(zhan)到更復雜(za)的任務，如倒(dao)水，抓取(qu)(qu)杯子把(ba)手(shou)，雜(za)亂桌面抓取(qu)(qu)等等精(jing)細操(cao)(cao)作場景，展(zhan)現了出色的 Sim2Real 能(neng)力(li)。更為引人注(zhu)目的是，用戶(hu)只需輸(shu)入一個物體的prompt，ManiBox 即可自動執(zhi)行(xing)對應物體的抓取(qu)(qu)、傾倒(dao)等操(cao)(cao)作，顯著提(ti)升了機器人操(cao)(cao)作任務的魯棒性與靈活性。
1月(yue)16日晚7點，智猩(xing)(xing)猩(xing)(xing)邀請到論(lun)文一(yi)作(zuo)、清華(hua)大學計(ji)算機系TSAIL實驗室(shi)譚恒楷(kai)參(can)與(yu)「智猩(xing)(xing)猩(xing)(xing)新青年講座具(ju)身智能專題」第19講，以《探索具(ju)身智能空(kong)間泛化(hua)性(xing)的Scaling Law》為主題帶(dai)來直播講解(jie)。
講者
譚恒楷，清華大學計(ji)算機系TSAIL實驗室博士生
清華大學計(ji)算機(ji)(ji)系TSAIL實驗室的(de)二年(nian)級博(bo)士生譚(tan)恒楷（Hengkai Tan），本科畢業(ye)于清華計(ji)算機(ji)(ji)系，師從朱(zhu)軍教授。主要研(yan)究方向是具身智能和強化學習，此前一作(zuo)(zuo)論(lun)文FCNet發表在ICML 2024，ManiBox一作(zuo)(zuo)，也(ye)是清華 RDT 大模型的(de)作(zuo)(zuo)者之一。還曾是全(quan)國青少年(nian)信息學奧(ao)林(lin)匹克競賽（NOI）的(de)銀牌，全(quan)國84名(ming)。
第 19 講?
主 題
《探索具身智能空間泛化性的Scaling Law》
提 綱
1、什么是空間泛化性
2、利用模擬器從視覺泛化轉移到策略泛化
3、機器人操作算法框架ManiBox
4、sim2real經驗分享
5、具身智能的空間泛化性Scaling Law
-空間泛化性、成功率和數據量的冪律
-Michaelis-Menten 動力學曲線
?直 播 信 息
直播時(shi)間：1月16日19點
成果
論文成果1
標題：《ManiBox: Enhancing Spatial Grasping Generalization via Scalable Simulation Data Generation》
鏈接：//arxiv.org/abs/2411.01850
項目地址：//thkkk.github.io/manibox
收(shou)錄情況：ICLR 2025在投
論文成果2
標題：《Fourier Controller Networks for Real-Time Decision-Making in Embodied Learning》
鏈接：//arxiv.org/abs/2405.19885
項目地址：//thkkk.github.io/fcnet
收錄(lu)情(qing)況：ICML 2024
論文成果3
標題：《RDT-1B: A DIFFUSION FOUNDATION MODEL FOR BIMANUAL MANIPULATION》
鏈接：//arxiv.org/abs/2410.07864
項目地址：//rdt-robotics.github.io/rdt-robotics/
收錄情況：ICLR 2025在投
如何報名
有講座直播觀看需求的朋友，可以添加小助手“莓莓”進行報(bao)名。已添加(jia)過(guo)“莓(mei)莓(mei)”的老朋友(you)，可以給(gei)“莓(mei)莓(mei)”私信，發送“具身智能(neng)19”進行報(bao)名。對于通過(guo)報(bao)名的朋友(you)，之后將邀請入群進行觀看和交(jiao)流。
