
「AI新(xin)(xin)青(qing)年講(jiang)座」將邀(yao)請世界頂尖AI研究(jiu)機(ji)構和(he)大(da)學的科研新(xin)(xin)青(qing)年,主講(jiang)他們在計算機(ji)視覺、機(ji)器學習(xi)等(deng)人工智能領域(yu)的最新(xin)(xin)重(zhong)要研究(jiu)成果。
AI新(xin)青(qing)年是加速人(ren)工(gong)智能(neng)(neng)前沿(yan)研(yan)究的(de)(de)新(xin)生力(li)量。AI新(xin)青(qing)年的(de)(de)視頻講解(jie)和直播答疑,將可(ke)以幫助大家增進對人(ren)工(gong)智能(neng)(neng)前沿(yan)研(yan)究的(de)(de)理解(jie),相應領域的(de)(de)專業知識也能(neng)(neng)夠得以積累(lei)加深。同時,通過與AI新(xin)青(qing)年的(de)(de)直接(jie)交流(liu),大家在(zai)AI學習和應用AI的(de)(de)過程中遇到(dao)的(de)(de)問題,也能(neng)(neng)夠盡快解(jie)決。
「AI新青(qing)年講座」目(mu)前(qian)已(yi)完(wan)結207講,有興趣(qu)分享學術(shu)成果的(de)朋友,可以與(yu)智東西公(gong)開課(ke)教研團隊(dui)進行郵件(class@sanyasheying.cn)聯系(xi)。
有(you)沒有(you)一瞬間(jian),你要把自(zi)己腦(nao)子(zi)里的東(dong)西掏(tao)出來給別(bie)人看(kan),或者是撬開別(bie)人的腦(nao)子(zi)看(kan)看(kan)里面(mian)都裝了什么?來自(zi)新加坡國(guo)立(li)大(da)(da)學,香港中文大(da)(da)學,和Stanford的研(yan)究者們,基于擴散模型(xing)實現了從(cong)腦(nao)電波還(huan)原圖(tu)像(xiang)的“人類視覺解碼器”——MinD-Vis。
MinD-Vis框架可通(tong)過腦圖像生(sheng)成高(gao)(gao)度逼真的(de)(de)視覺刺激。其創新之(zhi)處在于MinD-Vis能(neng)(neng)夠在極少的(de)(de)訓(xun)練(lian)樣(yang)本情況下,從腦信號中重建(jian)出高(gao)(gao)度逼真、語(yu)義匹配(pei)的(de)(de)圖像。這項研究(jiu)也能(neng)(neng)促進(jin)腦機接口的(de)(de)發展(zhan)并推動對人(ren)類視覺系統的(de)(de)理解。
在(zai)進行了(le)定性和定量的(de)基準(zhun)測試后發現(xian),MinD-Vis在(zai)語義(yi)映射(100路(lu)語義(yi)分類(lei))和生成質量(FID)方面都優于最(zui)先進的(de)方法(fa),分別達到(dao)66%和41%。
5月(yue)23日,「AI新青年講(jiang)座」第208講(jiang)邀(yao)請到(dao)MinD-Vis一(yi)作、新加坡(po)國立大學在讀博(bo)士陳子嬌參與(yu),主(zhu)講(jiang)《基于擴散模型從(cong)腦信(xin)號中還(huan)原生成高度逼真圖像(xiang)》。
講者
陳子(zi)嬌(jiao),新加坡國立大學(xue)在(zai)讀(du)博士;由(you)周(zhou)涓教授指導,主要研究方(fang)向為(wei)多模態腦解碼與(yu)fMRI表征(zheng)學(xue)習(xi),論(lun)文發表于CVPR、AD等計算機會議、醫學(xue)期(qi)刊。
第208講
主 題
《基于擴散模(mo)型從腦(nao)信(xin)號中還(huan)原生成高度(du)逼(bi)真圖像》
提 綱
1、腦機接口及人類視覺刺激解碼概述
2、面向視覺解碼的稀疏掩碼雙條件擴散模型
3、極少訓練樣本的MinD-Vis視覺解碼框架
4、生成質量(liang)測試和未(wei)來展望
直 播 信 息
直播時間:5月23日19:00
直(zhi)播地(di)點:智東西公開課知識店(dian)鋪
成果
論文標題:《Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding》
論文地址://arxiv.org/abs/2211.06956
開源地址://github.com/zjc062/mind-vis