在「生成(cheng)對(dui)抗網絡(luo)(luo)GAN專題講座」前4講中(zhong)，獨立(li)藝術(shu)(shu)家、游戲開發者大(da)谷(gu)Spitzer，港中(zhong)文(wen)MMLab實驗室(shi)在讀博士(shi)(shi)劉睿，中(zhong)科院計算所博士(shi)(shi)（京東DMT)何振梁(liang)和(he)羅格(ge)斯大(da)學(xue)(xue)在讀博士(shi)(shi)韓立(li)功，分別講解了《人工智能影(ying)像修復與AI藝術(shu)(shu)創作》、《基于(yu)(yu)條件(jian)生成(cheng)對(dui)抗網絡(luo)(luo)的(de)多(duo)樣(yang)化圖像生成(cheng)》、《GAN的(de)層次化可(ke)解釋(shi)維度學(xue)(xue)習》和(he)《基于(yu)(yu)雙投影(ying)判別器的(de)條件(jian)生成(cheng)對(dui)抗網絡(luo)(luo)》等內容(rong)。錯過直播的(de)朋友(you)可(ke)以點擊“閱讀原(yuan)文(wen)”觀(guan)看。

12月10日晚7點，南洋理工大學(xue)MMLab實(shi)驗室在讀博士姜瑜(yu)銘將以(yi)《對(dui)話驅動的(de)高細粒度人(ren)臉編輯(ji)》為主題，帶來第5講的(de)直播(bo)講解(jie)。

日常(chang)生(sheng)活中，經常(chang)會用(yong)到一些人臉(lian)(lian)編(bian)輯軟件（抖音、快(kuai)手(shou)、美圖秀(xiu)秀(xiu)）讓照片(pian)有(you)更好(hao)的(de)效果(guo)和(he)呈(cheng)現，在抖音、快(kuai)手(shou)等的(de)人臉(lian)(lian)特效中，GAN的(de)身影處處都可(ke)見。但現有(you)的(de)人臉(lian)(lian)編(bian)輯大(da)多(duo)(duo)采(cai)用(yong)手(shou)動(dong)的(de)交(jiao)互方式，需要(yao)手(shou)動(dong)選擇(ze)想要(yao)的(de)發(fa)(fa)型、妝容(rong)，并且這(zhe)些發(fa)(fa)型、妝容(rong)大(da)多(duo)(duo)是固定(ding)的(de)版式且細節信息不(bu)足，這(zhe)與(yu)想要(yao)的(de)效果(guo)有(you)很大(da)差異(yi)。那(nei)如何設計一個多(duo)(duo)樣且細粒度(du)的(de)交(jiao)互式人臉(lian)(lian)編(bian)輯呢(ni)？

交互式(shi)的人臉編輯系統“Talk-to-Edit”可以(yi)滿足(zu)上面的需求，它(ta)通過用(yong)戶和(he)系統之(zhi)間的對話(hua)進(jin)行細粒度的人臉屬性(xing)操作。在Talk-to-Edit系統中，只(zhi)需告訴它(ta)你想怎么編輯，它(ta)就會分(fen)分(fen)鐘幫你搞定。

Talk-to-Edit系統通過StyleGAN模(mo)型(xing)進(jin)行預訓練，為了對(dui)(dui)人臉做到(dao)連(lian)續且細粒度(du)的(de)(de)編(bian)輯，在StyleGAN的(de)(de)隱(yin)空間中構建(jian)了一(yi)個(ge)(ge)(ge)語(yu)義(yi)場(chang)。語(yu)義(yi)場(chang)是一(yi)個(ge)(ge)(ge)非線(xian)性(xing)(xing)的(de)(de)向(xiang)(xiang)量(liang)場(chang)，它具有兩個(ge)(ge)(ge)特(te)(te)性(xing)(xing)：1) 對(dui)(dui)同(tong)一(yi)個(ge)(ge)(ge)人臉來說，不斷改變某一(yi)個(ge)(ge)(ge)屬(shu)性(xing)(xing)，所需要的(de)(de)編(bian)輯方向(xiang)(xiang)是不斷變化的(de)(de)。2）在編(bian)輯同(tong)一(yi)個(ge)(ge)(ge)屬(shu)性(xing)(xing)時(shi)，對(dui)(dui)于不同(tong)人，所需要的(de)(de)編(bian)輯方向(xiang)(xiang)也是不同(tong)的(de)(de)。基于語(yu)義(yi)場(chang)可以在人臉編(bian)輯過程中更好(hao)的(de)(de)保留這個(ge)(ge)(ge)人的(de)(de)身(shen)份(fen)特(te)(te)征，并且在編(bian)輯某一(yi)個(ge)(ge)(ge)語(yu)義(yi)特(te)(te)征時(shi)減少(shao)對(dui)(dui)其他無(wu)關語(yu)義(yi)特(te)(te)征的(de)(de)改變。

同時，Talk-to-Edit還(huan)用一個基于LSTM的Language Encoder來理解(jie)用戶的編(bian)輯(ji)(ji)要(yao)求(qiu)，并將編(bian)碼后的編(bian)輯(ji)(ji)要(yao)求(qiu)傳遞給語義(yi)場從而指(zhi)導人(ren)臉編(bian)輯(ji)(ji)。更多Talk-to-Edit系統的實現細節，姜瑜銘博士將在本次講座中進行(xing)深度解(jie)讀，感興趣的小伙伴千萬不要(yao)錯過。

姜瑜(yu)銘是新加坡南洋理(li)工大學MMLab實驗(yan)室在(zai)讀博士，師(shi)從(cong)劉子(zi)緯教(jiao)授和呂健勤教(jiao)授。他本科畢(bi)業(ye)于電(dian)子(zi)科技大學，主要(yao)研究(jiu)方向為圖(tu)像的生成、編輯和復原。

本次講(jiang)(jiang)座(zuo)將在智東西公開課知(zhi)識店鋪進行，包含(han)主講(jiang)(jiang)和問答(da)兩個部(bu)分，其中主講(jiang)(jiang)環節40分鐘，問答(da)環節20分鐘。本次講(jiang)(jiang)座(zuo)已組建交流群，并邀請姜瑜銘(ming)博士加入，歡迎感興趣的朋(peng)友申請。

主題

對話驅動的高細粒度(du)人(ren)臉編輯

提綱

1、人臉編輯問題的研究
2、基于預訓練StyleGAN的人臉編輯
3、Talk-to-Edit：對話式交互的高細粒度人臉編輯系統
4、視覺語言人臉屬性數據集 CelebA-Dialog
5、未來展望

主講人介紹

姜(jiang)瑜銘，新(xin)加(jia)坡南(nan)洋理工大(da)學MMLab實(shi)驗室在(zai)讀博(bo)士(shi)，師從劉子緯教授(shou)和呂健(jian)勤教授(shou)；本科畢(bi)業于電子科技大(da)學，主要研究(jiu)方向為圖像的生成、編輯和復原。

直播信息

直播時間：12月10日19：00
直播地點：智東西公(gong)開(kai)課知識(shi)店鋪