還記得之前抖音爆火的(de)(de)(de)人臉(lian)特效嗎(ma)？輸入一(yi)(yi)張人臉(lian)照(zhao)片，就可生(sheng)成一(yi)(yi)張動漫(man)人臉(lian)圖像。這背(bei)后的(de)(de)(de)技(ji)術離不開基于(yu)樣例的(de)(de)(de)人臉(lian)風(feng)格(ge)化，它(ta)通(tong)過渲染人臉(lian)照(zhao)片使(shi)其風(feng)格(ge)與(yu)指定的(de)(de)(de)動漫(man)樣例畫風(feng)一(yi)(yi)致，從而生(sheng)成自己喜歡的(de)(de)(de)動漫(man)角色。
然(ran)而現(xian)(xian)在的(de)動漫人臉生成(cheng)方法(fa)要么依賴大量的(de)訓練數(shu)據(ju)，雖然(ran)取得了不(bu)錯的(de)效果，但這類方法(fa)只適用于小(xiao)尺寸圖像，難以滿足實際需(xu)求；要么是基于StyleGAN在小(xiao)規模(mo)動漫人臉數(shu)據(ju)集(ji)(ji)上(shang)微調，但該(gai)方法(fa)只能(neng)學(xue)習數(shu)據(ju)集(ji)(ji)的(de)一個總體風(feng)格，無(wu)法(fa)精確模(mo)擬(ni)數(shu)據(ju)集(ji)(ji)中(zhong)指定(ding)的(de)動漫人像樣(yang)(yang)例的(de)風(feng)格。那如何在小(xiao)樣(yang)(yang)本數(shu)據(ju)集(ji)(ji)上(shang)實現(xian)(xian)高清的(de)動漫人臉風(feng)格呢？
針對上述(shu)難題，南洋理工大(da)學博(bo)士后研究(jiu)員楊帥等(deng)人(ren)提出了DualStyleGAN網絡(luo)。它是在(zai)StyleGAN的基(ji)礎上添加外部(bu)風格(ge)控制模塊，構(gou)建全新的雙路風格(ge)生成網絡(luo)。
DualStyleGAN通(tong)過漸(jian)進的遷(qian)移學(xue)(xue)習方法在小(xiao)規模(mo)數據(ju)上學(xue)(xue)習外(wai)(wai)部風(feng)格(ge)，能夠在保持自(zi)身人(ren)臉(lian)(lian)領域風(feng)格(ge)建模(mo)的同時(shi)，接(jie)受外(wai)(wai)部動漫人(ren)臉(lian)(lian)風(feng)格(ge)上的條件(jian)控(kong)制，有效地模(mo)仿動漫的畫風(feng)，實現高清的動漫人(ren)臉(lian)(lian)風(feng)格(ge)化(hua)。此外(wai)(wai)，DualStyleGAN 對訓練數據(ju)非常高效，只需大約 200 張圖片(pian)，便可以(yi)訓練得到(dao)不錯的結果。該工作被CVPR 2022接(jie)收。想(xiang)要給自(zi)己(ji)人(ren)臉(lian)(lian)照片(pian)換個(ge)畫風(feng)的朋友可以(yi)試試下面的代碼(ma)。
5月(yue)6日(ri)，「AI新青年(nian)講座」第13講特邀南洋(yang)理工大(da)學博士后研(yan)究員(yuan)楊帥(shuai)參與，主講《基于小樣本的高清動漫人臉(lian)風(feng)格(ge)生成網絡DualStyleGAN》。
講者
楊帥，南(nan)洋理工大學(xue)MMLab實驗室博(bo)士后(hou)研(yan)究(jiu)(jiu)員(yuan)，博(bo)士畢業于北京大學(xue)王選(xuan)計算(suan)機研(yan)究(jiu)(jiu)所，主(zhu)要研(yan)究(jiu)(jiu)興趣為圖像(xiang)(xiang)/文字風格化、圖像(xiang)(xiang)轉換和(he)圖像(xiang)(xiang)編輯等；發(fa)表一作頂(ding)會(hui)頂(ding)刊論文十余篇，獲(huo)得IEEE ICME 2020最佳論文獎。
主題
基于小(xiao)樣(yang)本的高清動漫人(ren)臉風格生成網(wang)絡DualStyleGAN
提綱
1、基于樣例的人臉風格化
2、圖像轉換與StyleGAN方法的局限性
3、小樣本上的高清人臉風格化網絡DualStyleGAN
4、模仿動漫風格的人臉生成Demo
直播信息
直播時間：5月6日19:00
直播(bo)地點：智東西公(gong)開課知識店鋪
論文成果
論文名稱：
Pastiche Master: Exemplar-Based High-Resolution Portrait Style Transfer
論文地址：
//arxiv.org/pdf/2203.13248.pdf
代碼地址：
//github.com/williamyang1991/DualStyleGAN
