「AI新青年講(jiang)座」由(you)智(zhi)東西公開課出(chu)品，致(zhi)力(li)于邀(yao)請青年學者，主講(jiang)他們在生成式AI、LLM、計算機視覺、機器學習(xi)等人工智(zhi)能領域的最新重(zhong)要研究成果。
AI新青年(nian)是加速人(ren)工智(zhi)能前沿研究的(de)(de)新生力量。AI新青年(nian)的(de)(de)視(shi)頻(pin)講解(jie)和直播答疑，將可(ke)以(yi)幫助大(da)家增(zeng)進對人(ren)工智(zhi)能前沿研究的(de)(de)理(li)解(jie)，相應領(ling)域(yu)的(de)(de)專業知識也能夠得以(yi)積累加深。同時(shi)，通(tong)過與(yu)AI新青年(nian)的(de)(de)直接交流(liu)，大(da)家在AI學習(xi)和應用AI的(de)(de)過程中遇到(dao)的(de)(de)問題，也能夠盡快解(jie)決(jue)。
「AI新青年(nian)講座」目前(qian)已(yi)完結222講；有興(xing)趣分享學術(shu)成果的朋友，可以與智東西公(gong)開(kai)課教研團隊進行郵件（class@sanyasheying.cn）聯(lian)系。
對圖(tu)(tu)片(pian)靈活而精準的(de)編(bian)(bian)輯(ji)是一個富有(you)挑戰性的(de)課題(ti)，近期也出現了許多優秀的(de)成果。如 DragGAN 提(ti)出了一個優雅的(de)圖(tu)(tu)片(pian)編(bian)(bian)輯(ji)框架：基于關鍵點拖拽的(de)圖(tu)(tu)片(pian)編(bian)(bian)輯(ji)，可以(yi)在(zai)圖(tu)(tu)像上通過「拖曳」的(de)方(fang)式，改變并合成自己想要的(de)圖(tu)(tu)像。比如讓一只貓(mao)轉(zhuan)頭、睜(zheng)眼閉眼，或者豎起(qi)耳朵等等。
盡(jin)管 DragGAN 已經展(zhan)示出了(le)極為驚艷的(de)結果，但受限于 GAN 的(de)表達能力，其可用(yong)范(fan)圍與場景受到了(le)極大(da)(da)的(de)約(yue)束。為嘗試解決(jue)這(zhe)一(yi)問題，來自新加坡國立大(da)(da)學和字節跳動(dong)的(de)幾位研究者，在 CVPR 2023 提出了(le) 一(yi)個名為 DragDiffusion 的(de)算(suan)法，將“ Drag ”編輯拓(tuo)展(zhan)到擴(kuo)散模(mo)型上。借助(zhu)大(da)(da)規模(mo)預訓(xun)練的(de)擴(kuo)散模(mo)型，大(da)(da)大(da)(da)提高(gao)了(le)這(zhe)種拖拽編輯框架的(de)實用(yong)性，使之能夠在多物體、廣泛類別、不同(tong)風格等復雜真實場景得以運用(yong)。
8月28日晚7點，「AI新青年講(jiang)座」第223講(jiang)邀請到 DragDiffusion 一作(zuo)、新加坡國立大學在讀(du)博士施宇(yu)鈞(jun)參與，主(zhu)講(jiang)《DragDiffusion：基(ji)于(yu)擴(kuo)散模型的關鍵點拖(tuo)拽(zhuai)圖片編輯》。
講者
施(shi)宇鈞，新加坡國(guo)立大學(xue)在讀(du)博士；指導老師為陳延福（Vincent Y. F. Tan）教授(shou)；目前(qian)的(de)科研方向集(ji)中于生成式(shi)模型(xing)及(ji)其在圖片與視(shi)頻中的(de)應(ying)用；工(gong)作(zuo)成果發(fa)表于ICLR、CVPR、NeurIPS、ICCV等機器學(xue)習與計算(suan)機視(shi)覺頂會。
第223講
主 題
《DragDiffusion：基于(yu)擴(kuo)散模型的關(guan)鍵點拖拽圖(tu)片編(bian)輯》
提 綱
1、關鍵點拖拽的圖片編輯框架 DragGAN 及局限性
2、基于擴散模型的圖片編輯算法 DragDiffusion
3、LoRA 微調及精確的拖拽編輯
4、操作演示
直 播 信 息
直播時間：8月28日19:00
直播(bo)地點：智(zhi)東西公開課知識店鋪(pu)
成果
論文標題：《DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing》
?論文地址：//arxiv.org/abs/2306.14435
?開源代碼：//github.com/Yujun-Shi/DragDiffusion
