2024年已行進尾聲，但對于生成式AI而言，這又是波瀾壯闊(kuo)的(de)(de)一年。Sora掀起(qi)視頻生(sheng)成(cheng)熱(re)(re)潮(chao)，多(duo)模態世界(jie)模型(xing)的(de)(de)研究熱(re)(re)度漸起(qi)。更具革命性的(de)(de)推(tui)理(li)模型(xing)o1悄然出世，帶來的(de)(de)思維鏈CoT+強化學習這一新范式，正推(tui)動(dong)生(sheng)成(cheng)式AI邁入(ru)新的(de)(de)階段。

大(da)語言模(mo)型(xing)(xing)仍(reng)在狂飆，但價格戰、營銷(xiao)戰硝煙燃起，融(rong)資(zi)熱度(du)正在降溫。不過行(xing)業賦能(neng)持續(xu)進行(xing)，應用層(ceng)的(de)(de)(de)興(xing)起更加受(shou)到(dao)期待。同(tong)時，大(da)模(mo)型(xing)(xing)向(xiang)邊端(duan)下(xia)沉(chen)的(de)(de)(de)趨(qu)勢日趨(qu)明顯，AI手機、AI PC等AI硬件紛紛站上風(feng)口(kou)。GPT-4o的(de)(de)(de)出(chu)現，將輕量(liang)化(hua)模(mo)型(xing)(xing)和(he)端(duan)側大(da)模(mo)型(xing)(xing)推向(xiang)新(xin)高度(du)之余，端(duan)側設備的(de)(de)(de)交互革新(xin)也有了前進方向(xiang)。不止AI硬件，大(da)模(mo)型(xing)(xing)驅(qu)動下(xia)的(de)(de)(de)具身(shen)智(zhi)能(neng)更是熱度(du)空前，人(ren)形(xing)機器人(ren)正開啟星(xing)辰大(da)海。

作為(wei)支撐大模型運行以及生成(cheng)式AI應(ying)用開發的關鍵，AI Infra走到(dao)了臺前，從智算(suan)集群(qun)到(dao)基礎軟件，發展(zhan)勢頭強勁(jing)，但(dan)挑戰不少(shao)。

在上述背景下，2024中國生成式AI大會（上海站）「GenAICon 2024」將于12月5-6日在上海中星鉑爾曼大酒店盛大舉(ju)辦。中國(guo)生(sheng)成(cheng)(cheng)式AI大會已(yi)成(cheng)(cheng)功舉(ju)辦兩屆，迅速成(cheng)(cheng)長為國(guo)內生(sheng)成(cheng)(cheng)式AI領(ling)域最具影響力的產業峰(feng)會之(zhi)一。

此次也是中國生成式AI大會首次登陸上海舉辦。大會由智一科技旗下智能產業第一媒體智東西、AI與硬科技知識分享社區智猩猩共同發起主辦。上海市人工智能行業協會為大會的指導單位。

大會上海(hai)站以“智(zhi)能躍(yue)進(jin) 創造無限(xian)”為(wei)主(zhu)題，50+位嘉賓將帶來致辭、演講(jiang)、報告和(he)對(dui)話討(tao)論，基(ji)于前瞻性視角解構(gou)和(he)把(ba)脈生成(cheng)式AI的技術(shu)產品創新、商(shang)業落地解法、未(wei)來趨勢走向與前沿研(yan)究(jiu)焦(jiao)點。

上海站由“主會場峰會+分會場研討會+展覽區”組成。主(zhu)會場將(jiang)(jiang)進行大模型(xing)峰會、AI Infra峰會，分(fen)會場將(jiang)(jiang)進行端側(ce)生(sheng)(sheng)成式AI技(ji)術(shu)(shu)研(yan)討(tao)(tao)會、AI視頻(pin)生(sheng)(sheng)成技(ji)術(shu)(shu)研(yan)討(tao)(tao)會和具(ju)身智能(neng)技(ji)術(shu)(shu)研(yan)討(tao)(tao)會。展覽區則(ze)緊(jin)鄰會場門口設置，14家企(qi)業將(jiang)(jiang)進行技(ji)術(shu)(shu)產品(pin)展示。

作為大會上海站的三場技術研討會之一，具身智能技術研討會將(jiang)在第二(er)日下午的分會場進行，由主題報告和圓桌Panel兩個環節組成。

一、研討會完整議程公布

目(mu)前(qian)，具身智能技(ji)(ji)術(shu)研討會邀請到(dao)上海人(ren)工(gong)智能實(shi)驗室青年科(ke)(ke)學(xue)家(jia)王(wang)泰，上海科(ke)(ke)技(ji)(ji)大(da)學(xue)信息(xi)科(ke)(ke)學(xue)與技(ji)(ji)術(shu)學(xue)院助(zhu)(zhu)理教授、博(bo)士(shi)生導(dao)師顧家(jia)遠，上海交通大(da)學(xue)在(zai)讀(du)博(bo)士(shi)、穹(qiong)徹智能實(shi)習研究員(yuan)呂峻，國地共(gong)建(jian)具身智能機器(qi)人(ren)創(chuang)新(xin)中心(xin)數據智能負責人(ren)李廣宇，哈(ha)爾濱工(gong)業大(da)學(xue)計算學(xue)部在(zai)讀(du)博(bo)士(shi)王(wang)雪松(song)，中國科(ke)(ke)學(xue)院空(kong)天信息(xi)創(chuang)新(xin)研究院特別研究助(zhu)(zhu)理姚方(fang)龍6位青年學(xue)者(zhe)和(he)技(ji)(ji)術(shu)專家(jia)帶來報告。

近年來，具身智能在大模型、強化學習等技術的推動下快速發展，但還面臨著數據匱乏的核心問題，大規模訓練和評測仍存在客觀瓶頸。上海人工智能實驗室青年科學家王泰將圍繞《大規模具身多模態三維感知》這一主題帶來報(bao)告。報(bao)告聚焦(jiao)于三維(wei)場(chang)景中具(ju)身多(duo)(duo)模(mo)(mo)(mo)(mo)態感(gan)知(zhi)(zhi)(zhi)相關的具(ju)體任務，詳細介紹利(li)(li)用(yong)多(duo)(duo)模(mo)(mo)(mo)(mo)態大模(mo)(mo)(mo)(mo)型的生(sheng)成能(neng)力(li)設計三維(wei)多(duo)(duo)模(mo)(mo)(mo)(mo)態數據的自動化標注管線，構建(jian)帶有顯式三維(wei)建(jian)模(mo)(mo)(mo)(mo)和空(kong)間感(gan)知(zhi)(zhi)(zhi)能(neng)力(li)的具(ju)身感(gan)知(zhi)(zhi)(zhi)基礎模(mo)(mo)(mo)(mo)型，并(bing)最終(zhong)利(li)(li)用(yong)大模(mo)(mo)(mo)(mo)型實現(xian)更符合人(ren)類判斷的自動化評測。

在具身智能領域，通用機器人決策模型的開發取得了顯著進展，但收集真實世界的訓練數據，和在真實環境下對這些模型評估仍需高昂的成本。仿真技術提供了一種可行的替代方案，但其有效性高度依賴多樣且逼真的數字資產。上海科技大學信息科學與技術學院助理教授、博士生導師顧家遠將帶來主題為《服務于具身智能的仿真評估平臺和數字資產》的(de)(de)報告，詳解專為評估(gu)基(ji)于真實世界數據訓練的(de)(de)決(jue)策模型而開(kai)發的(de)(de)仿真環境平(ping)臺(tai)SimplerEnv，和用于理(li)解物體功能性部件的(de)(de)3D原生(sheng)工具(ju)Point-SAM。

如何利用來自不同信息源的數據共同實現具身操作技巧開發，降低對真實機器人數據的依賴與成本已成為領域內的關注重點。上海交通大學在讀博士、穹徹智能實習研究員呂峻將以《Real2Sim2Real：一種基于多信息源的具身操作技能開發系統》為主題(ti)，解讀包含Real2Sim、Learn@Sim、Sim2Real模塊在(zai)內(nei)的具身智能系統(tong)，旨在(zai)通過各類感知技(ji)術對現實(shi)物理世(shi)界進行建模，在(zai)仿真(zhen)(zhen)環境中學(xue)習開發特定(ding)的機器人(ren)操作技(ji)巧，并將仿真(zhen)(zhen)中學(xue)習到的技(ji)能遷移到真(zhen)(zhen)實(shi)環境中。

數據稀缺是目前困擾具身操作研究的共識。國地共建具身智能機器人創新中心數據智能負責人李廣宇將分享具身智能國創中心在數據方面的進展，包括數據采集和訓練基地建設情況、數據集開源開放情況，以及圍繞數據融合方向的探索和嘗試，主題為《數據視角下的具身操作》。

哈爾濱工業大學計算學部在讀博士王雪松將以《具身智能大模型研究的關鍵問題與展望》為主題帶(dai)來報告。報告將從(cong)大(da)模型(xing)技(ji)術和人(ren)形機器人(ren)技(ji)術是如何推動具(ju)(ju)身智能發展(zhan)的(de)角度進行切(qie)入，闡述當前大(da)模型(xing)技(ji)術在解(jie)決具(ju)(ju)身智能問題時的(de)諸多不(bu)足，詳解(jie)具(ju)(ju)身智能大(da)模型(xing)在感知、規(gui)劃、導航(hang)、和機器人(ren)操控方(fang)面待研究的(de)關鍵問題，同時也將對具(ju)(ju)身智能未來發展(zhan)做出(chu)展(zhan)望。

空間智能與具身智能兩者既有區別又相互補充。中國科學院空天信息創新研究院特別研究助理姚方龍以《萬物具身：耦合空間智能與具身智能的復空間具身體系》為主題帶來報(bao)告。該(gai)報(bao)告旨在嘗試聯(lian)結空間智能(neng)與具身智能(neng)，構思出“萬物具身”這(zhe)一概念，設計了(le)復空間具身體(ti)系計算范式，探索了(le)“超圖+空天(tian)世(shi)(shi)界模(mo)擬器+空天(tian)世(shi)(shi)界模(mo)型”的研究(jiu)路線，推動(dong)從單體(ti)智能(neng)向(xiang)空天(tian)地海任務、環境、場景(jing)耦合(he)的體(ti)系智能(neng)演進。

主題報告環節結束后的圓桌Panel，將由上海人(ren)工智(zhi)能實驗室青年科(ke)(ke)學(xue)家(jia)王泰，上海科(ke)(ke)技大(da)(da)學(xue)信(xin)(xin)息(xi)科(ke)(ke)學(xue)與技術學(xue)院助理(li)教授、博士生導(dao)師顧(gu)家(jia)遠，上海交通大(da)(da)學(xue)在讀博士、穹(qiong)徹(che)智(zhi)能實習研(yan)究員呂峻(jun)，國(guo)地共(gong)建具(ju)身智(zhi)能機器(qi)人(ren)創新中(zhong)心數據智(zhi)能負責人(ren)李廣宇、哈爾濱工業大(da)(da)學(xue)計算學(xue)部在讀博士王雪松以及中(zhong)國(guo)科(ke)(ke)學(xue)院空(kong)天(tian)信(xin)(xin)息(xi)創新研(yan)究院特(te)別(bie)研(yan)究助理(li)姚方(fang)龍一起帶(dai)來。

二、報告嘉賓及內容介紹

1、上海人工智能實驗室青年科學家 王泰

王泰博士畢業于香港(gang)中文(wen)(wen)大學(xue)(xue)MMLab，研(yan)究方向為具(ju)身智能和(he)(he)三維視覺。過往(wang)工作(zuo)有(you)近三十篇論文(wen)(wen)在頂級會(hui)議和(he)(he)期(qi)刊上(shang)發表，谷(gu)歌學(xue)(xue)術引用 2900 余次(ci)，多(duo)篇被選(xuan)中做(zuo)口頭報告或(huo)獲得滿分評審，并多(duo)次(ci)在國際頂級競(jing)賽中獲得冠(guan)軍。代(dai)表工作(zuo)包括早(zao)期(qi) FCOS3D 系列工作(zuo)和(he)(he)近期(qi) EmbodiedScan, GRUtopia 和(he)(he) PointLLM 等(deng)，相關(guan)開源工作(zuo)如(ru) MMDetection3D 在學(xue)(xue)界和(he)(he)業界有(you)廣(guang)泛影響。曾獲得 ECCV 最(zui)佳論文(wen)(wen)提(ti)名、ICCV 研(yan)討會(hui)最(zui)佳論文(wen)(wen)、港(gang)府(fu)獎學(xue)(xue)金。

報告主題：《大規模具身多模態三維感知》

內容概要：近年來，大(da)模型的成功以及模仿(fang)學習(xi)、強(qiang)化學習(xi)等方法的突破(po)持續推動著具身智(zhi)能的快速(su)發展。但這一領域仍然面臨著數(shu)據(ju)匱乏(fa)的核心問題，大(da)規模訓(xun)練和評測仍存在客觀瓶頸。生成式 AI 的進展為解決(jue)這一問題提供(gong)了重(zhong)要路徑(jing)。

本報告(gao)將(jiang)聚焦于三(san)(san)維場景中(zhong)具身多(duo)模(mo)(mo)態(tai)感(gan)知相關的具體(ti)(ti)任務，詳細(xi)介紹(shao)團隊利(li)用多(duo)模(mo)(mo)態(tai)大(da)模(mo)(mo)型的生成能力(li)設(she)計三(san)(san)維多(duo)模(mo)(mo)態(tai)數據(ju)的自動(dong)化標注(zhu)管線，從而形成大(da)規(gui)模(mo)(mo)三(san)(san)維物體(ti)(ti)、場景在(zai)不同(tong)(tong)粒度全方位的語(yu)料標注(zhu)，構建帶有顯式三(san)(san)維建模(mo)(mo)和(he)空間感(gan)知能力(li)的具身感(gan)知基(ji)礎模(mo)(mo)型，并最(zui)終利(li)用大(da)模(mo)(mo)型實現更符合(he)人(ren)類判斷的自動(dong)化評測(ce)。最(zui)后，報告(gao)將(jiang)展望(wang)生成式 AI 在(zai)機器人(ren)交互數據(ju)方面(mian)的巨大(da)潛力(li)，同(tong)(tong)時探(tan)討其潛在(zai)的局限性。

2、上海科技大學信息科學與技術學院助理教授、博士生導師 顧家遠

報告主題：《服務于具身智能的仿真評估平臺和數字資產》

內容概要：在具(ju)身智能(neng)領域(yu)，通用(yong)機器人決策模(mo)型的(de)(de)(de)開(kai)發(fa)(fa)取得了(le)顯著進展。然(ran)而，收集(ji)真(zhen)實世界的(de)(de)(de)訓練數據(ju)和(he)(he)對這(zhe)些(xie)模(mo)型進行真(zhen)實環境(jing)(jing)下的(de)(de)(de)評估仍然(ran)成本高昂。仿(fang)真(zhen)技術提(ti)供了(le)一種可(ke)行的(de)(de)(de)替代方案(an)，但(dan)其有(you)(you)效性高度(du)依賴于多樣且逼真(zhen)的(de)(de)(de)數字資(zi)(zi)產(chan)(chan)。傳統上，這(zhe)些(xie)資(zi)(zi)產(chan)(chan)主要由游戲產(chan)(chan)業創(chuang)建(jian)，但(dan)隨著具(ju)身智能(neng)的(de)(de)(de)發(fa)(fa)展，對高質(zhi)量(liang)數字資(zi)(zi)產(chan)(chan)的(de)(de)(de)需求激增，以提(ti)高仿(fang)真(zhen)環境(jing)(jing)的(de)(de)(de)多樣性和(he)(he)逼真(zhen)度(du)。這(zhe)引發(fa)(fa)了(le)一系列關鍵問題(ti)：這(zhe)些(xie)資(zi)(zi)產(chan)(chan)的(de)(de)(de)真(zhen)實程度(du)應達到何種水平？我(wo)們如(ru)何有(you)(you)效地創(chuang)建(jian)這(zhe)些(xie)仿(fang)真(zhen)環境(jing)(jing)？在此過程中，哪些(xie)工具(ju)是(shi)必不可(ke)少(shao)的(de)(de)(de)？

在本次報告中，我將介紹最近的(de)(de)工(gong)作SimplerEnv，一(yi)(yi)個專為評估(gu)基于真(zhen)實世界(jie)數據訓練的(de)(de)決策模型而(er)開發的(de)(de)仿真(zhen)環境平臺(tai)。該(gai)平臺(tai)支持對(dui)多(duo)種(zhong)通(tong)用機器人操作模型的(de)(de)評估(gu)，如(ru)RT-1和(he)Octo。此(ci)外，我還(huan)將討論另一(yi)(yi)個研(yan)究(jiu)成果(guo)Point-SAM，一(yi)(yi)個3D原(yuan)生工(gong)具(ju)，能夠對(dui)三(san)維部件(jian)和(he)物體(ti)進(jin)行交互式分割。理解物體(ti)的(de)(de)功能性(xing)部件(jian)對(dui)具(ju)身智能的(de)(de)研(yan)究(jiu)至關重要，這一(yi)(yi)工(gong)具(ju)為此(ci)提供了(le)重要支持。

3、上海交通大學在讀博士、穹徹智能實習研究員 呂峻

呂(lv)峻博士就讀(du)于(yu)上海(hai)交通大學，師從盧策吾教授，入選上海(hai)交通大學吳(wu)文俊人(ren)工智能榮譽博士班，目前是穹徹智能實(shi)習研究員(yuan)。研究方向為具身(shen)智能，曾在IJRR、RSS、CoRL、ICRA、CVPR等(deng)具身(shen)智能頂級期刊與學術會(hui)議發表論(lun)(lun)文，曾以(yi)第一(yi)作者身(shen)份(fen)獲得2023年RSS最(zui)佳(jia)系(xi)統論(lun)(lun)文獎提名。

報告主題：《Real2Sim2Real：一種基于多信息源的具身操作技能開發系統》

內容概要：數(shu)(shu)據是具身智(zhi)能在今天面臨的(de)核(he)心問(wen)題(ti)(ti)之一。如何(he)利用來自不同(tong)信息源的(de)數(shu)(shu)據，例(li)如仿真數(shu)(shu)據、人(ren)類演示數(shu)(shu)據、靜(jing)態視覺數(shu)(shu)據等，構(gou)建(jian)數(shu)(shu)據金字塔(ta)，共同(tong)實(shi)現具身操(cao)作技巧(qiao)(qiao)開發，降低對真實(shi)機(ji)器人(ren)數(shu)(shu)據的(de)依賴與數(shu)(shu)據成(cheng)本成(cheng)為值得(de)關注的(de)課題(ti)(ti)。過去(qu)幾(ji)年(nian)，我們構(gou)建(jian)了包含Real2Sim、Learn@Sim、Sim2Real模(mo)塊的(de)具身智(zhi)能系統，旨(zhi)在通過各類感知技術對現實(shi)物理世界進行建(jian)模(mo)，基于建(jian)模(mo)在人(ren)類演示數(shu)(shu)據、自然語言提示詞等的(de)指導下于仿真環境中(zhong)(zhong)學習(xi)(xi)開發特定(ding)的(de)機(ji)器人(ren)操(cao)作技巧(qiao)(qiao)，并將仿真中(zhong)(zhong)學習(xi)(xi)到技能遷移(yi)到真實(shi)環境中(zhong)(zhong)。相關成(cheng)果發表在IJRR、RSS、CoRL、ICRA等期刊與會(hui)議上，曾(ceng)獲(huo)選RSS 2023 Best System Finalist。

4、國地共建具身智能機器人創新中心數據智能負責人 李廣宇

李廣宇，國地(di)共建具(ju)身智(zhi)(zhi)能機器人(ren)創(chuang)新中心(xin)(xin)數(shu)據智(zhi)(zhi)能負責人(ren)，美(mei)國南加州(zhou)大學(xue)電子工程系(xi)博士，具(ju)身智(zhi)(zhi)能和(he)自動(dong)駕駛(shi)(shi)行(xing)業從業多年，主導構建了多家企業的(de)數(shu)據驅動(dong)系(xi)統(tong)，包括滴滴出行(xing)多模(mo)態駕駛(shi)(shi)數(shu)據挖掘(jue)系(xi)統(tong)，覆蓋滴滴百(bai)萬(wan)量(liang)級網約車(che)(che)數(shu)據，輕舟智(zhi)(zhi)航(hang)數(shu)據驅動(dong)系(xi)統(tong)，支持超40萬(wan)臺(tai)乘用車(che)(che)，日均超百(bai)萬(wan)公里的(de)智(zhi)(zhi)能駕駛(shi)(shi)，以及(ji)國地(di)共建具(ju)身智(zhi)(zhi)能創(chuang)新中心(xin)(xin)數(shu)據閉(bi)環鏈路，并(bing)率(lv)(lv)先將多頭注意力機制引入多智(zhi)(zhi)能體學(xue)習領域(yu)，大幅提(ti)升(sheng)了數(shu)據驅動(dong)效率(lv)(lv)。

報告主題：《數據視角下的具身操作》

內容概要：數(shu)據(ju)稀缺是目前(qian)困擾具身操(cao)(cao)作(zuo)研(yan)究(jiu)的(de)(de)共識。從各(ge)種機器人(ren)整機、機械臂、靈(ling)巧手等本(ben)體廠家紛紛推出的(de)(de)遙(yao)操(cao)(cao)作(zuo)采(cai)集(ji)系統，到以UMI為代表的(de)(de)低成(cheng)本(ben)采(cai)集(ji)設備(bei)，再到各(ge)類人(ren)類操(cao)(cao)作(zuo)動作(zuo)捕捉方案，以及各(ge)種仿真(zhen)數(shu)據(ju)合成(cheng)方法(fa)。如何高效的(de)(de)獲取具身操(cao)(cao)作(zuo)數(shu)據(ju)，已(yi)經成(cheng)為學術(shu)界和產業界的(de)(de)研(yan)究(jiu)重點。

另一方面，針對不(bu)同途徑(jing)獲取的(de)數(shu)(shu)(shu)據(ju)(ju)，具身數(shu)(shu)(shu)據(ju)(ju)金字塔的(de)概(gai)念已(yi)經廣為傳(chuan)播(bo)：下層(ceng)是(shi)(shi)數(shu)(shu)(shu)據(ju)(ju)量大、獲取成本低，但(dan)單位價值(zhi)較(jiao)低的(de)互(hu)聯網數(shu)(shu)(shu)據(ju)(ju)和仿真(zhen)(zhen)(zhen)(zhen)合成數(shu)(shu)(shu)據(ju)(ju)；頂層(ceng)是(shi)(shi)采集成本昂貴(gui)，單位價值(zhi)高的(de)真(zhen)(zhen)(zhen)(zhen)機(ji)遙(yao)操作(zuo)(zuo)(zuo)數(shu)(shu)(shu)據(ju)(ju)；而中(zhong)間(jian)層(ceng)是(shi)(shi)介(jie)于真(zhen)(zhen)(zhen)(zhen)機(ji)遙(yao)操作(zuo)(zuo)(zuo)和仿真(zhen)(zhen)(zhen)(zhen)合成之(zhi)間(jian)的(de)，人類動作(zuo)(zuo)(zuo)捕捉數(shu)(shu)(shu)據(ju)(ju)和仿真(zhen)(zhen)(zhen)(zhen)遙(yao)操作(zuo)(zuo)(zuo)數(shu)(shu)(shu)據(ju)(ju)。同時當(dang)前(qian)的(de)機(ji)器人數(shu)(shu)(shu)據(ju)(ju)中(zhong)，本體(ti)構型豐富多(duo)樣，傳(chuan)感器配(pei)置(zhi)各(ge)異。如何有效(xiao)融合多(duo)種來源，多(duo)種本體(ti)的(de)具身數(shu)(shu)(shu)據(ju)(ju)，也是(shi)(shi)研究(jiu)者和工(gong)程師的(de)關注點。

本次報告中，我(wo)將梳理具身(shen)數(shu)據方(fang)向的(de)各種(zhong)技術(shu)路線(xian)，并(bing)介(jie)紹具身(shen)智能(neng)國創(chuang)中心在數(shu)據方(fang)面的(de)進展，包括數(shu)據采集(ji)和訓(xun)練基地建設情況(kuang)、數(shu)據集(ji)開(kai)源(yuan)開(kai)放(fang)情況(kuang)，以及一些圍繞數(shu)據融合方(fang)向的(de)探索和嘗試(shi)。

5、哈爾濱工業大學計算學部在讀博士 王雪松

王雪松，哈爾濱工(gong)業大(da)學(xue)(xue)計算(suan)學(xue)(xue)部在(zai)讀博士研究(jiu)生(sheng)(sheng)，師從劉挺教授(shou)、張偉男教授(shou)。曾擔任中(zhong)國中(zhong)文(wen)信息學(xue)(xue)會青工(gong)委學(xue)(xue)生(sheng)(sheng)執委，研究(jiu)方向為(wei)多模(mo)態大(da)模(mo)型和具(ju)身智(zhi)能，參與研發哈工(gong)大(da)“活(huo)字”大(da)模(mo)型，帶頭(tou)研發了哈工(gong)大(da)展廳(ting)服務機器人(ren)等(deng)。

報告主題：《具身智能大模型研究的關鍵問題與展望》

內容概要：隨著深(shen)度學習(xi)、大(da)模型(xing)技術的(de)(de)突破性進展(zhan)，人(ren)工智(zhi)(zhi)(zhi)(zhi)能(neng)(neng)的(de)(de)發(fa)展(zhan)從感知(zhi)(zhi)智(zhi)(zhi)(zhi)(zhi)能(neng)(neng)和認(ren)知(zhi)(zhi)智(zhi)(zhi)(zhi)(zhi)能(neng)(neng)，逐步向能(neng)(neng)夠與真實(shi)物理環境進行(xing)交互的(de)(de)具身(shen)智(zhi)(zhi)(zhi)(zhi)能(neng)(neng)階段發(fa)展(zhan)，并在(zai)大(da)模型(xing)在(zai)多種任務上的(de)(de)強(qiang)大(da)泛化(hua)能(neng)(neng)力和人(ren)形(xing)機器(qi)人(ren)對(dui)于(yu)人(ren)類社會場景(jing)的(de)(de)適應(ying)能(neng)(neng)力的(de)(de)基礎上，有望通(tong)過具身(shen)智(zhi)(zhi)(zhi)(zhi)能(neng)(neng)的(de)(de)發(fa)展(zhan)，最(zui)終(zhong)實(shi)現通(tong)用人(ren)工智(zhi)(zhi)(zhi)(zhi)能(neng)(neng)。不過，具身(shen)智(zhi)(zhi)(zhi)(zhi)能(neng)(neng)為(wei)我(wo)們帶(dai)來希望的(de)(de)同時，也(ye)更(geng)多的(de)(de)帶(dai)來了挑(tiao)戰，機器(qi)人(ren)如(ru)何(he)感知(zhi)(zhi)世界、理解世界？如(ru)何(he)擁有對(dui)自(zi)己行(xing)為(wei)的(de)(de)認(ren)知(zhi)(zhi)？如(ru)何(he)高效合理的(de)(de)運(yun)動？等等。

本次報告將從大模型技術和人形機器人技術是如何推動具身智能發展的角度進行切入，闡述當前大模型技術在解決具身智能問題時的諸多不足，進而詳解具身智能大模型在感知、規劃、導航、乃至機器人操控方面有哪些亟待研究的關鍵問題，同時也將對未來具身智能如何更好發展做出展望。

6、中國科學院空天信息創新研究院特別研究助理 姚方龍

姚方龍(long)于中(zhong)國(guo)科(ke)學院空(kong)天信息創新研(yan)究(jiu)院直博（導(dao)師孫(sun)顯研(yan)究(jiu)員(yuan)），畢(bi)業留(liu)院工作(zuo)(zuo)(zuo)任目標重點實驗室(shi)特別研(yan)究(jiu)助理（合作(zuo)(zuo)(zuo)導(dao)師付琨研(yan)究(jiu)員(yuan)），負責具(ju)身(shen)智(zhi)能與空(kong)間智(zhi)能研(yan)究(jiu)方向，并在科(ke)技部（中(zhong)央科(ke)技辦）借調(diao)工作(zuo)(zuo)(zuo)。在Nature Communications、IEEE TPAMI、IEEE TNNLS、IEEE TGRS等期(qi)刊(kan)發表論文(wen)20篇(pian)（其中(zhong)頂(ding)刊(kan)/頂(ding)會18篇(pian)，第一/通訊(xun)作(zuo)(zuo)(zuo)者13篇(pian)，IF＞10有6篇(pian)），授權(quan)專(zhuan)利(li)12項(xiang)，擔任國(guo)際(ji)期(qi)刊(kan)Innovations in Aerospace Science and Technology、Journal of Artificial Intelligence and Robotics編(bian)委(wei)，Advanced Tech. in Neuroscience、Intelligence&Robotics、SmartBot青(qing)年(nian)編(bian)委(wei)， IEEE TGRS、IEEE TII、Information Fusion等頂(ding)刊(kan)審稿(gao)專(zhuan)家，以(yi)副主編(bian)身(shen)份參編(bian)“十四(si)五”教材2本。主持國(guo)家自然科(ke)學基金青(qing)年(nian)項(xiang)目，牽頭研(yan)制遙感(gan)時空(kong)預測大模型(xing)-靈(ling)眸·Sense、空(kong)天世界(jie)模擬器(qi)-空(kong)天·萬界(jie)、空(kong)天具(ju)身(shen)世界(jie)模型(xing)，參與制作(zuo)(zuo)(zuo)全球規模最(zui)大遙感(gan)細粒(li)度數據集。獲中(zhong)國(guo)科(ke)學院院長優秀(xiu)獎和指揮(hui)與控(kong)制學會科(ke)技進步一等獎。

報告主題：《萬物具身：耦合空間智能與具身智能的復空間具身體系》

內容概要：空(kong)(kong)間(jian)智(zhi)(zhi)能(neng)(neng)旨(zhi)在(zai)開發理解(jie)三維物(wu)(wu)(wu)理世(shi)(shi)界(jie)(jie)的(de)(de)(de)模(mo)型，模(mo)擬物(wu)(wu)(wu)體物(wu)(wu)(wu)理特性、空(kong)(kong)間(jian)位(wei)置和功能(neng)(neng)，具(ju)身(shen)(shen)智(zhi)(zhi)能(neng)(neng)通過賦予智(zhi)(zhi)能(neng)(neng)“身(shen)(shen)體”，與環(huan)境交互(hu)反饋(kui)中實現智(zhi)(zhi)能(neng)(neng)增長和環(huan)境自適應，二(er)者既有區別又相互(hu)補充。本報告旨(zhi)在(zai)嘗試聯(lian)結空(kong)(kong)間(jian)智(zhi)(zhi)能(neng)(neng)與具(ju)身(shen)(shen)智(zhi)(zhi)能(neng)(neng)，構思出“萬物(wu)(wu)(wu)具(ju)身(shen)(shen)（Embodiment-of-Objects）”概念，設計(ji)了(le)復空(kong)(kong)間(jian)具(ju)身(shen)(shen)體系（Multiverse Embodied System）計(ji)算范式(shi)，探(tan)索了(le)“超圖(tu)+空(kong)(kong)天(tian)世(shi)(shi)界(jie)(jie)模(mo)擬器+空(kong)(kong)天(tian)世(shi)(shi)界(jie)(jie)模(mo)型”的(de)(de)(de)研(yan)究路線，初步(bu)形成思維超圖(tu)引導(dao)的(de)(de)(de)智(zhi)(zhi)能(neng)(neng)體世(shi)(shi)界(jie)(jie)模(mo)型、異質(zhi)超圖(tu)引導(dao)的(de)(de)(de)智(zhi)(zhi)能(neng)(neng)體關聯(lian)導(dao)航、時空(kong)(kong)超圖(tu)引導(dao)的(de)(de)(de)智(zhi)(zhi)能(neng)(neng)體預測規(gui)劃等關鍵技術(shu)，推動(dong)從(cong)單(dan)體智(zhi)(zhi)能(neng)(neng)向(xiang)空(kong)(kong)天(tian)地海(hai)任務、環(huan)境、場景耦合的(de)(de)(de)體系智(zhi)(zhi)能(neng)(neng)演進(jin)。

三、中國生成式AI大會上海站日程

四、報名進入最后階段，立即搶票參加研討會

具身智能技(ji)術研(yan)討(tao)會是2024中國生(sheng)成(cheng)式AI大會上海(hai)站的三場(chang)(chang)研(yan)討(tao)會之一，將在分(fen)會場(chang)(chang)第二日(ri)下(xia)午進行(xing)。另外兩場(chang)(chang)研(yan)討(tao)會分(fen)別是端側生(sheng)成(cheng)式AI技(ji)術研(yan)討(tao)會、AI視頻生(sheng)成(cheng)技(ji)術研(yan)討(tao)會。

研討會(hui)主要面向大會(hui)購票用(yong)戶(hu)及(ji)定向邀請的用(yong)戶(hu)開放。

希望到現場參加研討會的朋友，可以掃描下方二維碼，添加小助手“泡泡”進行咨詢。已添加過“泡泡”的老朋友，給“泡泡”私信，發送“GenAI24”即可。