
「AI新青(qing)年講(jiang)座」將邀請(qing)世(shi)界(jie)頂(ding)尖AI研究機(ji)構和大學的科研新青(qing)年,主(zhu)講(jiang)他們(men)在(zai)計算(suan)機(ji)視(shi)覺、機(ji)器(qi)學習等(deng)人工智能(neng)領(ling)域的最新重要研究成(cheng)果。
AI新青(qing)年是加速人(ren)(ren)工(gong)智能(neng)(neng)前沿(yan)研究的(de)(de)新生力量。AI新青(qing)年的(de)(de)視頻(pin)講解和直(zhi)播答疑,將可以幫(bang)助(zhu)大(da)家增進對人(ren)(ren)工(gong)智能(neng)(neng)前沿(yan)研究的(de)(de)理解,相應(ying)領域的(de)(de)專業知識也能(neng)(neng)夠得以積(ji)累加深。同(tong)時(shi),通過與AI新青(qing)年的(de)(de)直(zhi)接交流,大(da)家在AI學(xue)習和應(ying)用(yong)AI的(de)(de)過程中(zhong)遇到的(de)(de)問(wen)題,也能(neng)(neng)夠盡快解決。
有興趣分享學術成果的(de)朋友,可以與智(zhi)東(dong)西(xi)公開課教研團(tuan)隊(dui)進行(xing)郵(you)件(class@sanyasheying.cn)聯系。
生成具(ju)有(you)指(zhi)定動作、合理且逼真的人體一(yi)(yi)直是計算機視(shi)覺中廣泛探(tan)索(suo)且具(ju)有(you)挑戰性的任(ren)(ren)務(wu)。然而由(you)于(yu)(yu)不(bu)(bu)同(tong)的運(yun)動合成任(ren)(ren)務(wu)有(you)不(bu)(bu)同(tong)的目(mu)標和期望,很多方(fang)法僅限應用(yong)于(yu)(yu)一(yi)(yi)種類型的運(yun)動合成任(ren)(ren)務(wu),或者使用(yong)不(bu)(bu)同(tong)的方(fang)法來解決各種任(ren)(ren)務(wu)。
為(wei)了使人(ren)體動(dong)(dong)(dong)(dong)作合成(cheng)任務有一(yi)(yi)個(ge)統一(yi)(yi)的(de)(de)(de)框架,在不(bu)同的(de)(de)(de)情況(kuang)下都能生成(cheng)逼真(zhen)且有意(yi)義的(de)(de)(de)結果,新(xin)加坡南(nan)洋理工大(da)學(xue)博(bo)士蔡雨(yu)君等人(ren)研(yan)究了影(ying)響(xiang)動(dong)(dong)(dong)(dong)作生成(cheng)的(de)(de)(de)因素,提(ti)出(chu)一(yi)(yi)種基于條(tiao)(tiao)件(jian)變分自動(dong)(dong)(dong)(dong)編(bian)碼器(qi)(qi)的(de)(de)(de)人(ren)體運動(dong)(dong)(dong)(dong)生成(cheng)模型UVAE-PoseSynthesis,它具有兩(liang)條(tiao)(tiao)并(bing)行路徑,每條(tiao)(tiao)路徑都由一(yi)(yi)個(ge)編(bian)碼器(qi)(qi)和一(yi)(yi)個(ge)解碼器(qi)(qi)組(zu)成(cheng),將任意(yi)的(de)(de)(de)輸入視為(wei)蒙版運動(dong)(dong)(dong)(dong)序列(lie),根據(ju)輸入條(tiao)(tiao)件(jian)估計缺(que)失(shi)區(qu)域的(de)(de)(de)潛在分布,從中采樣和合成(cheng)完(wan)整的(de)(de)(de)運動(dong)(dong)(dong)(dong)序列(lie)。
為了增(zeng)強合成(cheng)序列(lie)(lie)的真實(shi)性和全局一致性,蔡雨君博士等人還在(zai)編碼(ma)器(qi)與解碼(ma)器(qi)特征(zheng)之間(jian)引入(ru)交叉(cha)注意力機制,利用輸(shu)入(ru)姿勢和輸(shu)出姿勢之間(jian)的關系,重建原始運動序列(lie)(lie)。同(tong)時模型在(zai)解碼(ma)器(qi)引入(ru)動作(zuo)自(zi)適(shi)應調(diao)制,來使整(zheng)個(ge)序列(lie)(lie)按(an)照語義生成(cheng)不同(tong)的運動風(feng)格。
蔡(cai)雨君博士等人在Human3.6和CMUMocap兩個數據集上(shang)進行(xing)了(le)廣泛(fan)的(de)(de)實驗,結果(guo)表明(ming),UVAE-PoseSynthesis能為各種運動合(he)成任(ren)務產(chan)生連(lian)貫且逼真的(de)(de)結果(guo)。
8月12日上午10點,「AI新青年講座」第146講邀請到新加坡南洋理工大學博士蔡雨君參與,主講《應用于姿態預測補全的人體動作生成模型》。
講 者
蔡雨君,新加坡南洋理工大學博士,主要研究(jiu)方向為(wei)基(ji)于視覺的行為(wei)分析,如(ru)姿態估計,姿態生成,動作識別等。在CVPR, ECCV, ICCV, NIPS等會(hui)議上發表(biao)多(duo)篇文章。
主 題
應(ying)用(yong)于(yu)姿(zi)態預測(ce)補全的人體動作生(sheng)成模型
提 綱
1、人體姿態問題的研究
2、動作生成局限性分析
3、人體動作生成模型的構建
4、在姿(zi)態預測補(bu)全上的應(ying)用
直 播 信 息
直播時間:8月12日10:00
直播地點:智東(dong)西公開課知識店鋪
成 果
UVAE-PoseSynthesis:《A Unified 3D Human Motion Synthesis Model via Conditional Variational Auto-Encoder》
論文鏈接://yujuncai.netlify.app/files/2021ICCV.pdf
開源代碼(ma)://github.com/vanoracai/A-unified-3d-human-motion-synthesis-model-via-conditional-variational-auto-encoder