
「AI新(xin)(xin)青年講座」將邀(yao)請(qing)世(shi)界頂尖(jian)AI研究機(ji)(ji)構和大學的(de)(de)科研新(xin)(xin)青年,主講他們(men)在計算機(ji)(ji)視覺、機(ji)(ji)器學習等人工智能領域的(de)(de)最(zui)新(xin)(xin)重要研究成果。
AI新青(qing)(qing)年是加速人(ren)工智(zhi)能前沿研究的新生力量。AI新青(qing)(qing)年的視頻講解和(he)(he)直播答疑(yi),將可以(yi)幫助大家增進對人(ren)工智(zhi)能前沿研究的理解,相(xiang)應領(ling)域(yu)的專業知(zhi)識(shi)也(ye)能夠(gou)得以(yi)積累(lei)加深。同時,通(tong)過(guo)與AI新青(qing)(qing)年的直接交流,大家在(zai)AI學習和(he)(he)應用AI的過(guo)程中遇到的問(wen)題(ti),也(ye)能夠(gou)盡快解決(jue)。
「AI新(xin)青年(nian)講(jiang)座(zuo)」目前(qian)已完結196講(jiang);有興趣分享學術(shu)成果的朋友,可以與(yu)智東西公開課教研團隊進行郵件(class@sanyasheying.cn)聯系。
神經輻射(she)場NeRF作(zuo)為一種(zhong)通用的(de)場景(jing)(jing)表(biao)達, 已(yi)經得到越(yue)來越(yue)多研究者的(de)注意。給(gei)定幾張不(bu)同視角下的(de)圖片, 就能重(zhong)建(jian)(jian)出一個非常(chang)(chang)精(jing)細的(de)場景(jing)(jing)。然(ran)而在實(shi)際應用中(zhong)(zhong), 經常(chang)(chang)會遇到輸入圖像存在不(bu)同種(zhong)類的(de)退化(hua)問題(ti), 比如(ru)在野(ye)外環境中(zhong)(zhong),采集圖像常(chang)(chang)常(chang)(chang)因為移動或者失焦而模糊,這(zhe)會顯著降(jiang)低重(zhong)建(jian)(jian)質量。而如(ru)何在這(zhe)些(xie)非理(li)想狀態的(de)輸入下,實(shi)現精(jing)細化(hua)NeRF三(san)維重(zhong)建(jian)(jian)是一個值得研究的(de)問題(ti)。
針對(dui)(dui)這(zhe)些問題,來(lai)自香(xiang)港科技大學的馬力博士(shi)等人,在(zai)CVPR 2022 中,提出了第一種(zhong)在(zai)模(mo)(mo)(mo)糊(hu)的輸入(ru)下,也能實(shi)現精(jing)細化NeRF重建(jian)(jian)的方法,即Deblur-NeRF。該方法通(tong)過(guo)模(mo)(mo)(mo)擬(ni)模(mo)(mo)(mo)糊(hu)過(guo)程來(lai)重建(jian)(jian)模(mo)(mo)(mo)糊(hu)視圖,從而使 NeRF 對(dui)(dui)模(mo)(mo)(mo)糊(hu)輸入(ru)具有魯棒性。模(mo)(mo)(mo)擬(ni)的核心是一個Deformable Sparse Kernel(DSK)模(mo)(mo)(mo)塊(kuai),它(ta)通(tong)過(guo)在(zai)每個空間位置(zhi)對(dui)(dui)規范稀疏核進行變形(xing)來(lai)對(dui)(dui)空間變化的模(mo)(mo)(mo)糊(hu)核進行建(jian)(jian)模(mo)(mo)(mo)。這(zhe)個模(mo)(mo)(mo)塊(kuai)被編碼為MLP來(lai)適應不同的模(mo)(mo)(mo)糊(hu)類型。
實驗證明,該方法可以(yi)同時用于相機運動模糊和(he)散焦模糊這兩(liang)種真實場景中最常見的模糊類型。并證明了與原來的NeRF相比,重建質(zhi)量顯著提高。
3月9日晚7點,AI新青年講座第197講邀請到香港科技大學(xue)在讀博士(shi)馬力參與,主講《非理(li)想輸(shu)入(ru)下(xia)的精細化NeRF三維重建》。
講者
馬力,香港科技大(da)學在(zai)讀博士,浙江大(da)學本科;主要(yao)研究方向(xiang)為神經渲染;Deblur-NeRF第一作者,在(zai)CVPR、SIGGRAPH ASIA會議中發表過數篇論文。
第197講
主 題
《非理想輸入下的精細化(hua)NeRF三維(wei)重建》
提 綱
1、非理想狀態下的NeRF三維重建難點
2、傳統的圖像和視頻去模糊方法概覽
3、針對運動模糊和失焦的精細Deblur-NeRF
4、NeRF的(de)未(wei)來發展方(fang)向探討
直 播 信 息
直播時間:3月9日19:00
直播地(di)點:智東(dong)西(xi)公(gong)開課知識店鋪
成果
《Deblur-NeRF: Neural Radiance Fields from Blurry Images》
//arxiv.org/abs/2111.14292
//limacv.github.io/deblurnerf