智東西(公眾號:zhidxcom)
編 |?王穎
導語：亞馬遜研究人員用遷移學習簡化為Alexa添加新語種的過程，將訓練數據減少50%。
智東西4月(yue)9日消息，亞馬遜研(yan)究人(ren)員開發了一種(zhong)新方法，通過遷(qian)移學(xue)習來簡化為(wei)Alexa語音助(zhu)手添加新語言的過程。
亞馬遜研究人員在報(bao)告中提到，通過不斷實驗，機器學習(xi)模型學習(xi)新語言(yan)所需的(de)(de)數據需求已經降低了50%。他(ta)們將在5月在巴塞羅那舉行的(de)(de)國際聲學、語言(yan)和(he)信號處理會(hui)議ICASSP上展示這項語言(yan)訓練的(de)(de)方法。
一、什么是遷移學習？
遷移學習的過程是，首先在(zai)基(ji)(ji)礎數據(ju)集(ji)(ji)和任務上(shang)訓練(lian)基(ji)(ji)礎網絡，然后(hou)將學習的新(xin)特征重新(xin)調整或轉移到第(di)二個目(mu)標網絡，以便在(zai)目(mu)標數據(ju)集(ji)(ji)和任務上(shang)進行訓練(lian)。
亞馬(ma)遜研究人員發表的論文（跨(kua)語言(yan)學習促進口(kou)語理解(jie)），描述了一種用最(zui)少的訓練數據，將原本只適應(ying)一種固定語言(yan)訓練的機器學習模型，適應(ying)到另一種語言(yan)的技術過程。
該論(lun)文的(de)合著者，Alexa AI 自然理解(jie)實驗室的(de)科學(xue)家Quynh Do和(he)Judith Gaspers表示，這種機器學(xue)習(xi)模型依靠跨(kua)語言遷(qian)移學(xue)習(xi)（cross-lingual transfer learning）來引導新的(de)功能，這是跨(kua)語言遷(qian)移學(xue)習(xi)第一次被用來將聯合意圖槽分類器翻譯成一種新的(de)語言。
二、跨語言遷移機器學習模型的開發過程
模型中包含的(de)(de)(de)口語理解（SLU）系統通常包括兩個子任務，意圖分類和插槽(cao)(cao)標記。意圖是(shi)用戶想要執(zhi)行的(de)(de)(de)任務，插槽(cao)(cao)表示意圖所作(zuo)用的(de)(de)(de)實體。（例如，人們語音命令Alexa播放Panic演唱(chang)的(de)(de)(de)High Hopesby，意圖是(shi)播放音樂，插槽(cao)(cao)即在相(xiang)應的(de)(de)(de)位置填(tian)上歌曲名(ming)和藝(yi)人名(ming)。）
Quynh Do和Judith Gaspers注意到，通過不斷的(de)訓(xun)練(lian)，意圖和插槽分類器共同提(ti)高了(le)(le)性能(neng)。因此他(ta)們又(you)繼續探索了(le)(le)六種不同的(de)聯合訓(xun)練(lian)AI系(xi)統(tong)(tong)。在將(jiang)這(zhe)六種訓(xun)練(lian)系(xi)統(tong)(tong)的(de)表現(xian)與英語SLU示例的(de)開源(yuan)基準數據(ju)集(ji)進(jin)行比較(jiao)后，研(yan)究人員確定了(le)(le)三個(ge)表現(xian)優于前系(xi)統(tong)(tong)的(de)聯合訓(xun)練(lian)AI系(xi)統(tong)(tong)。
接下(xia)來，他們嘗試了(le)詞嵌(qian)入(ru)（與多維空間中的(de)(de)點對(dui)應(ying)的(de)(de)一(yi)系列固定長度坐(zuo)標(biao)）和(he)字符嵌(qian)入(ru)（反映單詞及其(qi)組成部分的(de)(de)意義的(de)(de)集群），他們總共輸入(ru)了(le)六個不同(tong)的(de)(de)神經網絡(luo)，其(qi)中包括一(yi)種稱為(wei)長短時記憶模型（LSTM）網絡(luo)的(de)(de)循環網絡(luo)類型，該網絡(luo)按順序處(chu)理有序輸入(ru)和(he)有序輸出。研究人(ren)員(yuan)預先(xian)訓練SLU模型，并對(dui)目標(biao)數(shu)(shu)據集進行微調，使用源語(yu)(yu)言（英語(yu)(yu)）的(de)(de)數(shu)(shu)據來提高(gao)SLU在(zai)目標(biao)語(yu)(yu)言（德語(yu)(yu)）中的(de)(de)表現。
二、跨語言遷移機器學習模型的效果
在一次大(da)規模測試(shi)中(zhong)，亞馬遜(xun)研究團隊(dui)創(chuang)建(jian)了一個(ge)語料庫，其中(zhong)包(bao)括(kuo)從英(ying)語Alexa SLU系統中(zhong)采(cai)集的(de)一百萬個(ge)語句，以及來(lai)自(zi)德(de)國(guo)Alexa SLU系統的(de)10000和20000個(ge)隨機語句樣本(ben)。開發集包(bao)括(kuo)來(lai)自(zi)德(de)國(guo)系統的(de)2000個(ge)語句。
通過訓(xun)練(lian)雙(shuang)語(yu)(yu)輸入嵌入，對(dui)來自兩種語(yu)(yu)言中語(yu)(yu)義(yi)相(xiang)似(si)的(de)單(dan)(dan)詞(ci)進行分(fen)組，研(yan)究人員發現，一個(ge)源數據(ju)為100萬(wan)個(ge)英語(yu)(yu)單(dan)(dan)詞(ci)，目標數據(ju)為10000個(ge)德(de)語(yu)(yu)單(dan)(dan)詞(ci)的(de)遷移模型(xing)，比一個(ge)訓(xun)練(lian)了2萬(wan)個(ge)德(de)語(yu)(yu)單(dan)(dan)詞(ci)的(de)單(dan)(dan)語(yu)(yu)模型(xing)更準確地分(fen)類了意圖。與單(dan)(dan)語(yu)(yu)言訓(xun)練(lian)系統(tong)相(xiang)比，跨語(yu)(yu)言學習模型(xing)的(de)槽(cao)分(fen)類得分(fen)提高了4%。
研究(jiu)人員表示，盡管(guan)LSTM模(mo)型(xing)在(zai)英(ying)語測(ce)試(shi)集(ji)中表現(xian)最好，但并不能保證它會(hui)產生(sheng)最佳的遷移學習效果(guo)。在(zai)正在(zai)進行的工作中，他們也在(zai)嘗試(shi)把其他模(mo)型(xing)轉移到德語環境中。
論文鏈接(jie)：//arxiv.org/pdf/1904.01825.pdf
原文來自：Machine Learning、VentureBeat
