「CV前(qian)沿(yan)講座」，是(shi)(shi)智東西公開(kai)課針(zhen)對計算(suan)機視(shi)(shi)覺推出的(de)(de)一(yi)檔講座，聚焦于(yu)計算(suan)機視(shi)(shi)覺前(qian)沿(yan)領域(yu)研究(jiu)成果與進展(zhan)。我(wo)們(men)將持(chi)續(xu)邀請研究(jiu)者(zhe)、專家與資深開(kai)發者(zhe)，為大家帶(dai)來(lai)(lai)直(zhi)播講解。畫家創作時通常會參考其他人的(de)(de)作品(pin)?:?如果其他作品(pin)中有(you)某些細節很適合于(yu)手頭(tou)上(shang)的(de)(de)作品(pin)，也許會直(zhi)接(jie)“復制”到(dao)自(zi)己(ji)的(de)(de)作品(pin)上(shang)。但是(shi)(shi)，與完全的(de)(de)“復制”有(you)所不同(tong)，通常畫家會改變(bian)原作品(pin)的(de)(de)風(feng)格(ge)，使其與自(zi)己(ji)的(de)(de)創作風(feng)格(ge)一(yi)致，這就帶(dai)來(lai)(lai)了(le)大量(liang)藝術品(pin)的(de)(de)鑒別問題。隨(sui)著計算(suan)機視(shi)(shi)覺的(de)(de)發展(zhan)，近(jin)幾年國內外學(xue)者(zhe)開(kai)始(shi)探(tan)索運用AI輔助藝術品(pin)的(de)(de)鑒別。當計算(suan)機視(shi)(shi)覺邂逅藝術，又(you)會摩擦出怎樣的(de)(de)火(huo)花呢？AI又(you)將如何輔助名畫鑒別呢？

藝(yi)術(shu)史學家們常(chang)(chang)常(chang)(chang)費(fei)勁(jing)心力在(zai)(zai)(zai)(zai)(zai)一(yi)(yi)個(ge)大(da)(da)型畫(hua)作數(shu)據(ju)集(ji)中試(shi)圖找到(dao)作品之間(jian)的(de)(de)(de)重復(fu)的(de)(de)(de)細節(jie)從而建立作品之間(jian)的(de)(de)(de)聯系。這個(ge)任務在(zai)(zai)(zai)(zai)(zai)計算(suan)機視覺(jue)里可(ke)以歸類成Object Discovery。 Object Discovery 是一(yi)(yi)個(ge)在(zai)(zai)(zai)(zai)(zai)無標注的(de)(de)(de)數(shu)據(ju)集(ji)中，找到(dao)相似物(wu)體的(de)(de)(de)任務。在(zai)(zai)(zai)(zai)(zai)CVPR 2019會(hui)議中，來自巴黎高科路橋大(da)(da)學的(de)(de)(de)在(zai)(zai)(zai)(zai)(zai)讀博士(shi)沈西分享了(le)在(zai)(zai)(zai)(zai)(zai)這一(yi)(yi)課題上(shang)的(de)(de)(de)研究(jiu)進展(zhan)。沈博所在(zai)(zai)(zai)(zai)(zai)團隊提(ti)出一(yi)(yi)種基于空間(jian)一(yi)(yi)致(zhi)性 (spaitial consistency)的(de)(de)(de)方法，對ImageNet特(te)征進行微調(diao)(fine-tuning)，使得ImageNet特(te)征可(ke)以匹配不(bu)同風格的(de)(de)(de)圖片。使用微調(diao)后的(de)(de)(de)特(te)征，通過在(zai)(zai)(zai)(zai)(zai)大(da)(da)規模跨(kua)風格的(de)(de)(de)經(jing)典畫(hua)作數(shu)據(ju)集(ji)Brueghel上(shang)運行一(yi)(yi)個(ge)簡單的(de)(de)(de)Object Discovery算(suan)法，便可(ke)以找到(dao)跨(kua)時代的(de)(de)(de)不(bu)同畫(hua)家之間(jian)作品的(de)(de)(de)聯系。

此外，這種(zhong)空間一(yi)致性的(de)思想稍加改變后，就能應用(yong)(yong)在(zai)歷(li)史(shi)水印(yin)(yin)識別(bie)上。歷(li)史(shi)水印(yin)(yin)識別(bie)是檔案工作(zuo)者(zhe)和歷(li)史(shi)學家面臨的(de)一(yi)個高度實(shi)用(yong)(yong)但(dan)尚未解(jie)決的(de)任務。歷(li)史(shi)水印(yin)(yin)具有極(ji)少(shao)標注 (約6K)、 ?圖片噪聲(sheng)過大(da)、識別(bie)類(lei)別(bie)過多(16K) 和不同類(lei)別(bie)之間細微(wei)(wei)的(de)差異等難點。面對這一(yi)難點，沈博(bo)所在(zai)團隊(dui)選(xuan)擇(ze)運用(yong)(yong)極(ji)少(shao)的(de)標注微(wei)(wei)調局部特征 (local feature instead of global pooled feature)。微(wei)(wei)調后的(de)局部特征，可以實(shi)現跨域識別(bie)(cross-domain recognition) ,?在(zai)超過16K細粒度分(fen)類(lei)的(de)數據(ju)集中。相比(bi)于(yu)傳統強(qiang)基線方法(fa)，準確率得到了顯著提升。

在ECCV 2020會議中， 為解決圖(tu)像之間的對(dui)齊(qi)問題，沈博(bo)所在團隊新提出了(le)一種無(wu)(wu)監(jian)督(du)學習的二階圖(tu)像對(dui)齊(qi)方法(fa)(fa)。該(gai)方法(fa)(fa)包(bao)括兩階段：首先，使(shi)用預(yu)訓練的分類特征進行匹配，并利(li)用Random Sample Consensus(RANSAC)算法(fa)(fa)，過(guo)濾掉(diao)噪音匹配并得(de)到粗(cu)略對(dui)齊(qi)(Homography); 然后通(tong)過(guo)神經(jing)網絡預(yu)測光(guang)流(liu)，并優化粗(cu)略對(dui)齊(qi)圖(tu)像之間的標(biao)準結(jie)構(gou)相似度(du)度(du)量(SSIM)，整(zheng)個(ge)過(guo)程無(wu)(wu)需人(ren)為的監(jian)督(du)信息。實驗上證，該(gai)方法(fa)(fa)在很多(duo)任務(wu)上都(dou)有不錯(cuo)的效果，如3D重(zhong)建、多(duo)張圖(tu)片對(dui)齊(qi)、無(wu)(wu)監(jian)督(du)光(guang)流(liu)等。

9月22日晚(wan)8點，智(zhi)東西公開課邀請到(dao)巴黎高科路橋大學在(zai)讀博士沈(shen)西參與到(dao)「CV前沿講(jiang)座」第18講(jiang)，帶(dai)來主題為(wei)《計算機視覺邂逅藝術?–?名畫鑒(jian)別中的圖像識別》的直播講(jiang)解。沈(shen)博將從(cong)數據(ju)集中的object discovery出發，介紹(shao)一(yi)種簡單的特征自適應的方法；然后(hou)在(zai)該方法的基礎上調(diao)整局部(bu)特征進行(xing)古文檔水印(yin)的識別；最后(hou)詳解新提出的一(yi)種無監督學習的光流(liu)算法，可精細對準(zhun)具(ju)有(you)較大差(cha)別光照(zhao)和視角的圖片(pian)。感興(xing)趣的朋友一(yi)定不(bu)要錯過！

沈西是(shi)巴黎高科路橋大學(xue)在讀博士(shi)，是(shi)Imagine實驗室成員，導師(shi)為Mathieu Aubry教授。他(ta)的主要研究方向為無監(jian)(jian)督(du)以及弱監(jian)(jian)督(du)學(xue)習，應用包括度量學(xue)習，三維重建以及光流等(deng)。沈博曾在CVPR，ECCV，ICLR等(deng)頂(ding)級學(xue)術(shu)會議上(shang)發表多篇論(lun)文。

課程內容
課程主題
《計算機視(shi)覺邂逅藝(yi)術?–?名畫鑒(jian)別(bie)中(zhong)的圖(tu)像(xiang)識別(bie)》

課程提綱
1、藝術畫作數據集中的臨摹和借鑒問題
2、ArtMiner：基于自監督學習的自適應特征模式識別方法
3、通用圖像對齊：一種無監督學習的二階圖像對齊方法
4、AI鑒別(bie)名畫項目實踐

講師介紹
沈西，巴黎高(gao)科路橋大(da)學在讀博士，Imagine 實驗(yan)室，導(dao)師是Mathieu Aubry；主要研究方向為(wei)無監(jian)督以(yi)及弱(ruo)監(jian)督學習，應用包括度量學習，三維重建(jian)以(yi)及光流等；曾(ceng)在CVPR，ECCV，ICLR等頂級(ji)學術會議上發(fa)表(biao)多篇論文。

直播信息
直播時間：9月22日20:00
直播地點：智東西公開課小程序
答疑地(di)址：「圖像檢測與識別討論群」

加入討論群
本次課程的講解分為主講和答疑兩部分，主講以視頻直播形式，答疑將在「圖像檢測與識別討論群」進行。
加入討論群，除了可以免費收看直播之外，還能認識講師，與更多同行和同學一起學習，并進行深度討論。
添(tian)加小(xiao)助手糖糖（ID：hitang20）即(ji)可申請，備注“姓名-公(gong)司/學校/單位(wei)-職位(wei)/專(zhuan)業”的朋友將(jiang)會優先審核通過哦~