「機器(qi)學(xue)習(xi)前沿(yan)(yan)講(jiang)座」，是智東西公開課(ke)針對機器(qi)學(xue)習(xi)領域推出的一檔講(jiang)座，聚(ju)焦于(yu)機器(qi)學(xue)習(xi)前沿(yan)(yan)領域研究成果與(yu)進(jin)展。目前第(di)一季已經完結15講(jiang)，第(di)二季正(zheng)在進(jin)行，我(wo)們將(jiang)持續邀請研究者、專家(jia)與(yu)資深開發者，為(wei)大家(jia)帶來直播講(jiang)解。

帶噪學(xue)習是指在訓練數據的(de)(de)(de)真實標簽(qian)發生了標記錯誤情(qing)況下(xia)，如何讓模(mo)型在訓練時(shi)對(dui)(dui)錯誤標簽(qian)魯(lu)棒。這個領域(yu)已經發展了很(hen)多年，在深度學(xue)習的(de)(de)(de)背景下(xia)，新的(de)(de)(de)方法不斷出現。常見的(de)(de)(de)帶噪學(xue)習算法有(you)很(hen)多，有(you)的(de)(de)(de)是基于(yu)自步學(xue)習的(de)(de)(de)策略(lve)在訓練時(shi)動態(tai)剔除噪音樣本(MentorNet,?co-teaching,?co-teaching+?… )，有(you)的(de)(de)(de)是設計一個loss function，讓loss本身對(dui)(dui)標簽(qian)數據魯(lu)棒（MAE,?GCE,?L_dmi…）。

基于loss的(de)(de)方法更容易(yi)提供(gong)理(li)(li)論(lun)(lun)的(de)(de)最優(you)性保證，比(bi)如(ru)可以(yi)證明在(zai)(zai)(zai)給定噪(zao)音(yin)標(biao)(biao)簽分布(bu)下(xia)，designed loss在(zai)(zai)(zai)噪(zao)音(yin)分布(bu)下(xia)優(you)化的(de)(de)結(jie)果(guo)等價(jia)于cross entropy在(zai)(zai)(zai)干凈數據下(xia)優(you)化的(de)(de)結(jie)果(guo)。在(zai)(zai)(zai)建模(mo)label noise時(shi)，大(da)多(duo)數網(wang)絡采用的(de)(de)都是random noise (symmetric or asymmetric)，然而實際上在(zai)(zai)(zai)真實世界的(de)(de)數據集中，存(cun)在(zai)(zai)(zai)更多(duo)的(de)(de)是instance-dependent (feature-dependent) label noise，即特征相(xiang)關(guan)的(de)(de)噪(zao)音(yin)標(biao)(biao)簽。比(bi)如(ru)標(biao)(biao)注人員容易(yi)把(ba)狼標(biao)(biao)記(ji)為狼狗，但是不會輕易(yi)把(ba)狼標(biao)(biao)記(ji)成(cheng)桌(zhuo)子。如(ru)何讓模(mo)型對instance-dependent label noise 魯棒(bang)不僅在(zai)(zai)(zai)技術(shu)上存(cun)在(zai)(zai)(zai)著比(bi)較多(duo)的(de)(de)難題，在(zai)(zai)(zai)理(li)(li)論(lun)(lun)上也不好建模(mo)（和instance-independent相(xiang)比(bi)）。

ICLR2021，加州大學(xue)(xue)(xue)圣克魯茲分校在(zai)讀(du)博(bo)士朱兆偉等人在(zai)論文《Learning with Instance-Dependent Label Noise: A Sample Sieve Approach》中提(ti)出(chu)(chu)了(le)一(yi)個(ge)(ge)instance-dependent label noise的(de)解決方案(an)，它可以(yi)提(ti)供最(zui)優(you)性的(de)保證(zheng)。自步(bu)學(xue)(xue)(xue)習(xi)+雙網絡互(hu)相學(xue)(xue)(xue)習(xi)（co-teaching）的(de)策略對處理instance-dependent label noise的(de)效果(guo)并不好(hao)，所以(yi)他們對loss進行了(le)改進，加入(ru)了(le)一(yi)個(ge)(ge)regularizer，這個(ge)(ge)regularizer起到一(yi)個(ge)(ge)推動(dong)器(qi)的(de)作(zuo)用，可以(yi)更好(hao)地將噪音樣(yang)本(ben)和干凈樣(yang)本(ben)在(zai)loss層面上(shang)分開從而篩選出(chu)(chu)干凈樣(yang)本(ben)。同時自步(bu)學(xue)(xue)(xue)習(xi)往往被批評需要pre-defined threshold來判斷樣(yang)本(ben)的(de)type (noise or not), 他們針對這個(ge)(ge)問題又提(ti)出(chu)(chu)一(yi)個(ge)(ge)自適(shi)應(ying)的(de)動(dong)態(tai)閾值來保證(zheng)篩選出(chu)(chu)干凈樣(yang)本(ben)純度的(de)理論最(zui)優(you)。

2月23日上午10點，智東西公開課邀請到朱(zhu)兆偉博士(shi)參與到「機器(qi)學習(xi)前沿講座(zuo)第二(er)季」第3講，帶來(lai)主(zhu)題為(wei)《基于樣(yang)本篩選的(de)(de)帶噪(zao)學習(xi)研究》的(de)(de)直播講解。在本次的(de)(de)講解中，朱(zhu)博將從標簽噪(zao)聲對模型(xing)訓練的(de)(de)影響和帶噪(zao)學習(xi)的(de)(de)定義及現有(you)的(de)(de)一(yi)些方法出發(fa)，深度講解他們在ICLR2021中提出的(de)(de)基于置信度的(de)(de)正則項設計和CORES方法。對帶噪(zao)學習(xi)和弱(ruo)監督(du)感興趣的(de)(de)朋(peng)友可以關注學習(xi)呀。

朱兆偉是加州大學(xue)圣克魯茲分(fen)校(xiao)在讀博士，研究興(xing)趣集中在弱監督學(xue)習、聯邦學(xue)習等(deng)領域相關的理論(lun)，比如(ru)(ru)(ru)，訓練(lian)標(biao)簽帶有人為(wei)標(biao)注噪(zao)聲(sheng)時(shi)如(ru)(ru)(ru)何設計損(sun)失函數去抵(di)消噪(zao)聲(sheng)影響(xiang)，如(ru)(ru)(ru)何處理聯邦學(xue)習中低質量、有系(xi)統誤差的本(ben)地(di)訓練(lian)集。他目(mu)前在ICLR，ACM Sigmetrics等(deng)會議和IEEE TWC，IEEE TPDS等(deng)期刊上發表多篇(pian)一(yi)作論(lun)文(wen)。

直播課介紹

課程主題

《基于樣本篩選的帶噪(zao)學(xue)習研(yan)究》

課程提綱

1、標簽噪聲對模型訓練的影響
2、帶噪學習研究方法
3、基于置信度的正則項設計
4、CORES：基于(yu)置信正(zheng)則項的(de)動態樣本篩選

講師介紹

朱兆偉，加(jia)州大學圣(sheng)克魯茲分校(xiao)在讀博士，研究(jiu)興趣集中(zhong)在弱監督學習、聯邦學習等領(ling)域相關的理論(lun)，比如，訓練(lian)標(biao)簽帶有人為標(biao)注噪聲時如何設計損(sun)失(shi)函數去抵消(xiao)噪聲影響，如何處(chu)理聯邦學習中(zhong)低質量、有系統誤差的本地訓練(lian)集；目前在ICLR，ACM Sigmetrics等會議和(he)IEEE TWC，IEEE TPDS等期刊上發表(biao)多(duo)篇(pian)一作論(lun)文。

直播信息

直播時間：2月23日10:00
直播(bo)地點：智東西公開課小程序

加入討論群

加入討論群，除了可以免費收看直播之外，還能認識講師，與更多朋友一起學習，并進行深度討論。
添(tian)加小助手曼曼（zhidxclass006）即可申(shen)請(qing)，備(bei)注“姓名-公(gong)司/學校/單位-職位/專業”的(de)朋友將會優(you)先審核通過哦~