三維虛擬人(ren)在數字時代(dai)扮演了(le)(le)重要(yao)的角(jiao)色，但(dan)是創建一個三維虛擬人(ren)的過(guo)程(cheng)非常復雜，包(bao)括體型生(sheng)(sheng)成(cheng)，具體外觀生(sheng)(sheng)成(cheng)，以及(ji)動(dong)作序列的生(sheng)(sheng)成(cheng)等。該過(guo)程(cheng)涉(she)及(ji)到圖像處理技(ji)術(shu)、圖像生(sheng)(sheng)成(cheng)技(ji)術(shu)和(he)深度合成(cheng)技(ji)術(shu)等，并且這(zhe)些技(ji)術(shu)需要(yao)成(cheng)對的圖像數據來進行有監督的訓(xun)練，這(zhe)不僅(jin)限制了(le)(le)生(sheng)(sheng)成(cheng)的豐富性，而且使生(sheng)(sheng)成(cheng)過(guo)程(cheng)的靈(ling)活性降低。

與(yu)圖(tu)像數據相比，自(zi)然(ran)語(yu)言作(zuo)為友(you)好的控(kong)制信號，可以更(geng)方(fang)(fang)便地控(kong)制三維虛擬人生成及動(dong)作(zuo)合(he)成。視覺(jue)語(yu)言模型CLIP是一種(zhong)使用(yong)大(da)(da)規模圖(tu)像-文(wen)本(ben)對(dui)訓練(lian)(lian)的視覺(jue)語(yu)言預訓練(lian)(lian)模型。通過對(dui)圖(tu)像的直接監督，CLIP 在零次學(xue)習文(wen)本(ben)驅動(dong)的圖(tu)像生成方(fang)(fang)面取得了巨大(da)(da)成功。

基于這一特性，南洋(yang)理工(gong)大學(xue)在讀博士洪方舟等(deng)(deng)人(ren)提(ti)出了一個文(wen)(wen)本(ben)(ben)驅動(dong)的(de)(de)(de)(de)三(san)維(wei)虛(xu)擬(ni)人(ren)創(chuang)建框架AvatarCLIP。該(gai)框架結合(he)(he)大規模預訓練模型CLIP，根據文(wen)(wen)字描述身體形狀、外(wai)觀和(he)(he)動(dong)作來生(sheng)成(cheng)三(san)維(wei)虛(xu)擬(ni)人(ren)，使非專業出身的(de)(de)(de)(de)用(yong)戶能(neng)夠(gou)自定義(yi)三(san)維(wei)虛(xu)擬(ni)人(ren)的(de)(de)(de)(de)體型和(he)(he)外(wai)觀?。此外(wai)，利(li)用(yong)在運(yun)動(dong) VAE 中學(xue)習的(de)(de)(de)(de)先(xian)驗知識，洪博等(deng)(deng)人(ren)還提(ti)出了一種零次學(xue)習文(wen)(wen)本(ben)(ben)引導的(de)(de)(de)(de)動(dong)作合(he)(he)成(cheng)方法，用(yong)于三(san)維(wei)虛(xu)擬(ni)人(ren)動(dong)作合(he)(he)成(cheng)。

9月19日晚7點，「AI新青年講(jiang)(jiang)座」第(di)159講(jiang)(jiang)邀請到(dao)南(nan)洋(yang)理工大(da)學MMLab在讀博士(shi)洪方舟參與，主講(jiang)(jiang)《零次(ci)學習文字(zi)驅動(dong)的(de)三維虛(xu)擬人生成(cheng)與動(dong)作(zuo)合成(cheng)》。

講者

洪方舟(zhou)，南洋理工(gong)大學(xue)(xue)(xue)(xue)MMLab實(shi)驗室在(zai)(zai)讀(du)博士，導師為劉子(zi)緯(wei)教授，此前在(zai)(zai)清華大學(xue)(xue)(xue)(xue)軟件學(xue)(xue)(xue)(xue)院獲(huo)得學(xue)(xue)(xue)(xue)士學(xue)(xue)(xue)(xue)位，2021年獲(huo)得谷歌博士獎學(xue)(xue)(xue)(xue)金；研(yan)究(jiu)興趣為三(san)維計(ji)算(suan)機視覺，尤其是三(san)維表達學(xue)(xue)(xue)(xue)習及(ji)其與計(ji)算(suan)機圖形學(xue)(xue)(xue)(xue)的交(jiao)叉。

講座介紹

主題

零次學習文字驅動(dong)(dong)的三維虛擬人生成與動(dong)(dong)作合成

提綱

1、基于文本生成方法的背景介紹
2、文本驅動的三維虛擬人創建框架AvatarCLIP
3、基于視覺語言預訓練模型CLIP的體型及外觀生成
4、零次學習文本引導的動(dong)作合(he)成

直播信息

直播時間：9月19日19:00
直播地點(dian)：智東西(xi)公開課知(zhi)識店鋪

論文成果

論文名稱：《AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars》、
論文地址：//arxiv.org/abs/2205.08535
代碼(ma)地址(zhi)：//github.com/hongfz16/AvatarCLIP