智東西（公眾號：zhidxcom）
編輯?| ?GTIC
智東西4月(yue)13日報道，在剛剛落幕的(de)GTIC 2023中(zhong)國AIGC創新峰會上，快(kuai)手MMU自然(ran)語言處(chu)理中(zhong)心、音頻中(zhong)心負責(ze)人張富崢進行了主(zhu)題為《AIGC在快(kuai)手的(de)探索和應用》的(de)演講。
短視(shi)頻(pin)場景存在(zai)包括短視(shi)頻(pin)、直播(bo)、商業(ye)化廣告、電商商品(pin)在(zai)內的(de)海量復雜內容形態(tai)，對AIGC技(ji)術有(you)廣泛的(de)需求。
快(kuai)手MMU自然語言(yan)處理中心、音頻中心負責(ze)人張富崢通(tong)過演示AI生成數字人、智能(neng)音樂(le)生成、一鍵成片(pian)的最新案例(li)，分(fen)享了快(kuai)手在(zai)AIGC的探索和應(ying)用(yong)。
張富崢說(shuo)：“AIGC基于創作(zuo)者的想法來進行(xing)內(nei)容(rong)(rong)輸入(ru)，再通(tong)過(guo)(guo)AI技術合成內(nei)容(rong)(rong)。”快(kuai)手(shou)通(tong)過(guo)(guo)平臺(tai)引擎、基礎設(she)施、AI原(yuan)子能(neng)力(li)、AIGC解決方案、落地場(chang)景等多方面布局了AIGC。
據張(zhang)富(fu)崢介紹，在數字(zi)人的應用中，用戶只(zhi)用簡(jian)單輸入文字(zi)，5分鐘內(nei)就能生成具(ju)備精(jing)確口型、豐富(fu)表情/動作(zuo)的專屬數字(zi)人，能用于知(zhi)識分享、電(dian)商帶貨(huo)、行業(ye)招聘(pin)等多個場景(jing)。
在智能音樂(le)方面，用(yong)戶可以輸入指定的主(zhu)題詞等信息，AI就能生成(cheng)押韻且與主(zhu)題詞相關(guan)的歌(ge)詞、旋律(lv)，AI歌(ge)手等應用(yong)也已接近真人的歌(ge)唱水平。
在視(shi)頻制作(zuo)方(fang)面，快(kuai)手旗下視(shi)頻軟件快(kuai)影的“一(yi)鍵成片”功能(neng)日(ri)均(jun)消(xiao)費(fei)量(liang)超(chao)4.5億(yi)，文案成片日(ri)均(jun)作(zuo)品消(xiao)費(fei)量(liang)超(chao)4000萬(wan)。
以下為張富崢的演講實錄：
大(da)家上(shang)午(wu)好(hao)！我是張富崢。
非常(chang)感謝主辦方(fang)邀請我來跟大(da)家做分享，前面(mian)的(de)(de)(de)老師和嘉賓也講到行業(ye)上最近確實出(chu)現了很多(duo)顛覆性的(de)(de)(de)變(bian)化與進展(zhan)，無論(lun)是文本大(da)模(mo)型、多(duo)模(mo)態大(da)模(mo)型，還是以此催生出(chu)來的(de)(de)(de)最近的(de)(de)(de)AIGC浪潮(chao)，都確確實實給技(ji)術行業(ye)包括(kuo)工業(ye)界帶來了非常(chang)多(duo)的(de)(de)(de)變(bian)化。
在這個進程中，快手作為一家短視頻公司，我們也一直在做相關的研發和響應的業務應用。今天非常榮幸在這里跟大家分享AIGC在快手里有哪些階段性的成果。??
首先，跟大家簡單介(jie)紹一下AIGC的(de)概(gai)念，AIGC本質上(shang)基(ji)于(yu)底層(ceng)的(de)文(wen)本大模(mo)型或是多模(mo)態大模(mo)型，能(neng)用(yong)AI的(de)方式自動生(sheng)成各(ge)(ge)式各(ge)(ge)樣的(de)內(nei)容(rong)，包括文(wen)字內(nei)容(rong)、圖片內(nei)容(rong)、語言內(nei)容(rong)、多模(mo)態視頻內(nei)容(rong)等(deng)，這(zhe)些內(nei)容(rong)的(de)生(sheng)成方式可(ke)能(neng)與傳(chuan)統的(de)UGC（用(yong)戶生(sheng)成內(nei)容(rong)）或是專業的(de)PGC（專業生(sheng)成內(nei)容(rong)）相(xiang)比，確實能(neng)做得很好。
以(yi)前(qian)的(de)任何(he)一(yi)種方式很難在成本和(he)質量之(zhi)間做(zuo)到(dao)兼顧(gu)，要(yao)么是(shi)質量很高的(de)PGC，但是(shi)成本難以(yi)接受，能產生的(de)影響相對來說較(jiao)小，也只有(you)非常頭(tou)部的(de)機構(gou)才能去(qu)制(zhi)作這些(xie)高質量的(de)內(nei)容。
在移動互聯(lian)網時代，網絡信息(xi)中(zhong)有很(hen)多(duo)的(de)UGC內容，這些(xie)UGC內容的(de)覆蓋面(mian)非常廣，量也足(zu)夠多(duo)，但是(shi)(shi)(shi)很(hen)多(duo)場(chang)合下的(de)質(zhi)量不夠高(gao)。所(suo)以通過AIGC方式(shi)，無(wu)論(lun)是(shi)(shi)(shi)ChatGPT還是(shi)(shi)(shi)大(da)家目前所(suo)看到的(de)各(ge)種以文生圖(tu)的(de)方式(shi)，能生成(cheng)很(hen)多(duo)質(zhi)量非常高(gao)的(de)圖(tu)片，再(zai)加(jia)上完全自動化的(de)機器生成(cheng)方式(shi)，我們能在質(zhi)量和(he)成(cheng)本之間做到同時兼顧。這也證明AIGC確(que)實蘊(yun)含著巨(ju)大(da)的(de)機會。
快手(shou)在整個AIGC從(cong)賽道上(shang)會(hui)有(you)很多(duo)的布局，我們可(ke)以(yi)看到，無論是(shi)AIGC的能力，還是(shi)大語言模型的能力，本質上(shang)是(shi)一系列(lie)工作的整合(he)，從(cong)底層的訓練平臺(tai)、云原(yuan)生服(fu)務架構(gou)，再往上(shang)會(hui)有(you)更(geng)多(duo)的基(ji)礎(chu)設施，以(yi)及AI原(yuan)子能力和(he)AIGC解決方案，比(bi)如視(shi)頻創(chuang)作、智能音樂生成、虛擬(ni)人等(deng)等(deng)。
有了(le)這些AIGC解決能力之后，我們就能更好地服(fu)務各個應用場景，包(bao)括快(kuai)手內部幫助內容生產(chan)者(zhe)制造出更好的視頻內容，幫助電商(shang)場景更好地進行主播(bo)帶貨等(deng)等(deng)。
今天我主(zhu)要跟(gen)大家分享快手在AIGC領域的3個階段性成(cheng)果：數字人、智能音樂和視頻生成(cheng)。
一、數字人：模擬人類表情神態，適用于知識分享、直播帶貨等場景
第一個是(shi)數(shu)字人(ren)的場景。
數(shu)字(zi)人(ren)(ren)是(shi)通過機器產生人(ren)(ren)格化的內(nei)(nei)容表達的典型應用，我(wo)們(men)知道，真人(ren)(ren)主(zhu)播在很(hen)多場景下還是(shi)會有門(men)檻，比如(ru)主(zhu)播的時(shi)間、主(zhu)播的表達方式等(deng)，對于很(hen)多商家和個(ge)人(ren)(ren)創(chuang)作(zuo)者而言，它都有一個(ge)進入門(men)檻。我(wo)們(men)希望通過數(shu)字(zi)人(ren)(ren)的方式，幫(bang)助(zhu)商家去更好地(di)創(chuang)作(zuo)視(shi)頻，包括(kuo)直播的內(nei)(nei)容等(deng)。
大家(jia)可以看我(wo)們現在應用(yong)的(de)例(li)子，主(zhu)要包括知識類、招(zhao)聘(pin)類和電商(shang)類三種數字人主(zhu)播(bo)。
知識(shi)類(lei)數字(zi)人(ren)(ren)主(zhu)播(bo)能為用(yong)戶介紹知識(shi)類(lei)視(shi)頻，此外(wai)，快手短(duan)視(shi)頻中有很多招(zhao)聘的(de)(de)業務場景，招(zhao)聘類(lei)數字(zi)人(ren)(ren)主(zhu)播(bo)可以滿足(zu)大(da)量(liang)(liang)的(de)(de)用(yong)工(gong)需(xu)求(qiu)，找到相應的(de)(de)求(qiu)職者(zhe)。在招(zhao)聘場景中，真人(ren)(ren)主(zhu)播(bo)的(de)(de)數量(liang)(liang)是遠遠不(bu)夠的(de)(de)，數字(zi)人(ren)(ren)主(zhu)播(bo)就能幫助求(qiu)職者(zhe)和企業之間進行很好的(de)(de)連接。
另外(wai)一(yi)個是非常典型的電商場景，數字人主播能詳(xiang)細介紹商品內容，還(huan)具備實(shi)時互動(dong)的能力，能夠(gou)觀眾進行交互。
數(shu)字(zi)人主播(bo)呈(cheng)現出來的(de)效果代表著非常(chang)典型的(de)AIGC能(neng)力，有(you)表情、動作的(de)驅動，這(zhe)種驅動本質上就是(shi)從輸入的(de)文字(zi)信息(xi)去生成圖片信息(xi)的(de)方(fang)式(shi)。這(zhe)其中也(ye)包括(kuo)劇本創作，創作者、商家甚至不需要向數(shu)字(zi)人提(ti)供文案，只用告訴(su)幾個關(guan)鍵詞(ci)，它就能(neng)寫一(yi)段商品(pin)介紹，還能(neng)根(gen)據劇本創作的(de)方(fang)式(shi)輸出內(nei)容(rong)，包括(kuo)智能(neng)交互、畫(hua)面渲染、語言合成等AIGC相關(guan)技術。
接(jie)下來我(wo)主要和大家(jia)分享(xiang)表情生成這個模塊。
大(da)家可(ke)以看到，表(biao)情(qing)生(sheng)成(cheng)(cheng)的(de)(de)技術(shu)就(jiu)是要通(tong)過文本去生(sheng)成(cheng)(cheng)虛擬人、數字人的(de)(de)圖(tu)像，而(er)且這(zhe)種圖(tu)像還要能隨著視頻流的(de)(de)推進，自然得(de)像真實的(de)(de)人類主(zhu)播一樣(yang)，嘴型、面部表(biao)情(qing)能動(dong)起(qi)來，而(er)這(zhe)其中有非常多(duo)的(de)(de)技術(shu)挑戰。
挑戰之一(yi)(yi)(yi)(yi)是我(wo)們的(de)錄制數據量少。這和大(da)模(mo)型一(yi)(yi)(yi)(yi)樣需(xu)要以預訓練(lian)作為技術底座，用(yong)海量數據來(lai)訓練(lian)一(yi)(yi)(yi)(yi)個高質量的(de)模(mo)型，再根據具(ju)體的(de)業務(wu)場(chang)景需(xu)求來(lai)進行微調(diao)，以達到一(yi)(yi)(yi)(yi)個比(bi)(bi)較(jiao)好的(de)效果狀態(tai)。其中還包括(kuo)一(yi)(yi)(yi)(yi)些實時性，整體上要保證(zheng)快速交付，以天級別來(lai)完成數字主播的(de)復刻，并保證(zheng)數字人的(de)形象(xiang)、動作、語音都屬于比(bi)(bi)較(jiao)自然的(de)狀態(tai)。
目(mu)前數(shu)字人已有不(bu)(bu)少進展(zhan)。核心亮點在于我(wo)們能提供不(bu)(bu)同的(de)需(xu)(xu)求場(chang)(chang)景(jing)，分為大眾化(hua)和專業定制兩種版本(ben)，適配不(bu)(bu)同類型的(de)用(yong)戶(hu)。對于大眾化(hua)的(de)版本(ben)，如果(guo)用(yong)戶(hu)對于質量(liang)要求不(bu)(bu)算特別高、不(bu)(bu)是一(yi)點小瑕疵都不(bu)(bu)能接受的(de)話，就僅(jin)僅(jin)只需(xu)(xu)要拍攝五分鐘(zhong)(zhong)的(de)素材(cai)，就能根據素材(cai)來自(zi)定義自(zi)己的(de)數(shu)字人主播(bo)。即(ji)使是特定的(de)專業場(chang)(chang)景(jing)，也只需(xu)(xu)要20分鐘(zhong)(zhong)來生成高質量(liang)的(de)數(shu)字人主播(bo)。
這些技術已(yi)經應(ying)用到快(kuai)手的各個(ge)場景(jing)當中，比如知識(shi)類主(zhu)播、電(dian)商(shang)、招聘場景(jing)等都(dou)已(yi)經廣泛應(ying)用。
二、智能音樂：歌詞、旋律自動生成，AI歌手仿真演唱
下面主要跟大家(jia)分享一下AIGC智能(neng)音樂的創作(zuo)。
對于一(yi)家短視頻公司而(er)言，音(yin)樂是很重(zhong)要的(de)(de)一(yi)個部分。當前(qian)音(yin)樂行(xing)業(ye)的(de)(de)典型制作(zuo)流程(cheng)非常流水線化(hua)，里面(mian)包含很多個模塊，比(bi)(bi)如音(yin)樂人最開始有自己的(de)(de)動機(ji)，這(zhe)(zhe)種動機(ji)包括(kuo)它腦海中想到(dao)的(de)(de)旋律(lv)、節奏或是這(zhe)(zhe)個音(yin)樂應該表(biao)達出來的(de)(de)情(qing)緒。用這(zhe)(zhe)種原始的(de)(de)想法來進行(xing)一(yi)些專業(ye)的(de)(de)分工(gong)，比(bi)(bi)如作(zuo)詞人怎么根(gen)據(ju)情(qing)緒、節奏來做一(yi)首合適(shi)的(de)(de)歌詞，作(zuo)曲人怎么根(gen)據(ju)歌詞、節奏旋律(lv)來編曲，還包括(kuo)后面(mian)的(de)(de)混錄等等，整個流程(cheng)都非常的(de)(de)流水線化(hua)。
其中(zhong)的(de)很(hen)(hen)多環節(jie)都(dou)可以通過(guo)AI來(lai)幫助創作者(zhe)去(qu)提高效(xiao)率，甚至在場(chang)景下實(shi)現(xian)完全自(zi)動(dong)化。歌詞可以用(yong)AIGC來(lai)自(zi)動(dong)生(sheng)(sheng)成(cheng)，我們只需要(yao)給它(ta)輸入(ru)指定信息，如這(zhe)首歌的(de)歌名、主題等。它(ta)最后(hou)生(sheng)(sheng)成(cheng)的(de)歌詞還(huan)能滿(man)足歌詞中(zhong)的(de)很(hen)(hen)多限制，比如最后(hou)一個詞需要(yao)滿(man)足押韻的(de)條件，通過(guo)AIGC技術(shu)能夠很(hen)(hen)好(hao)地實(shi)現(xian)這(zhe)樣(yang)的(de)效(xiao)果。
那整(zheng)個(ge)歌詞生成技(ji)術(shu)的細節，要(yao)通過什么(me)樣的AI技(ji)術(shu)可以達(da)到效果呢？
我們(men)使(shi)用(yong)的(de)是(shi)(shi)類似(si)大模型的(de)方(fang)式(shi)。雖然目前(qian)階段沒(mei)有(you)到千億以(yi)上的(de)這種規模，但是(shi)(shi)已經(jing)可(ke)以(yi)通(tong)過(guo)類似(si)方(fang)式(shi)，通(tong)過(guo)海量數據(ju)獲取、多階段預訓練和微調模式(shi)來這些技術。其中，包括(kuo)歌(ge)詞(ci)(ci)領域中很多限制類知識我們(men)也添加了(le)進去，通(tong)過(guo)Transformer去把歌(ge)詞(ci)(ci)一個一個的(de)產生出來。
音樂制(zhi)作除了制(zhi)作歌詞，還需要(yao)制(zhi)作旋(xuan)律，而(er)且(qie)旋(xuan)律在(zai)其中尤(you)為關鍵。
所謂旋律，按照自然語(yu)言的思路來(lai)看，其本質上(shang)也是一種序列，只是序列中有特定的高低音(yin)(yin)關系和節奏關系，每(mei)個歌詞(ci)由音(yin)(yin)高和音(yin)(yin)低的組合(he)，使(shi)得大家聽(ting)上(shang)去能感受到一種旋律的節奏信(xin)息。
我在這里舉兩個通(tong)過AIGC生(sheng)成的(de)(de)節奏的(de)(de)例子。通(tong)過輸(shu)入慢節奏關(guan)鍵詞來生(sheng)成一段旋律(lv)時(shi)，旋律(lv)是比較舒緩地(di)，當輸(shu)入快(kuai)節奏的(de)(de)關(guan)鍵詞，它(ta)又能生(sheng)成節奏更加快(kuai)的(de)(de)旋律(lv)。當然，當我們給(gei)它(ta)更多(duo)的(de)(de)關(guan)鍵詞時(shi)，它(ta)又能生(sheng)成更加復雜的(de)(de)、符合用(yong)戶需求的(de)(de)旋律(lv)。
整個旋(xuan)律生(sheng)成的技術框架本(ben)質上其(qi)實和歌(ge)詞生(sheng)成很(hen)類(lei)似，只是輸(shu)入和模型的細節會有很(hen)多不(bu)同。怎么(me)得到一段旋(xuan)律？有很(hen)多種方式，識別、轉錄已有的曲譜等就能得到旋(xuan)律的數據信(xin)息(xi)。
快手有個(ge)典型例子(zi)，通過旋(xuan)律生(sheng)成、歌(ge)(ge)詞(ci)(ci)生(sheng)成，最后讓(rang)專(zhuan)業(ye)的(de)(de)歌(ge)(ge)手來演唱這(zhe)首歌(ge)(ge)。我們(men)輸入了主題信息(xi)，然后它(ta)輸出對應的(de)(de)歌(ge)(ge)詞(ci)(ci)，有了這(zhe)些(xie)歌(ge)(ge)詞(ci)(ci)之后再找到一(yi)個(ge)真實的(de)(de)專(zhuan)業(ye)歌(ge)(ge)手來演唱，之后再進(jin)一(yi)步基于這(zhe)個(ge)演唱來改寫旋(xuan)律。最終得到的(de)(de)成品是由AI生(sheng)成的(de)(de)歌(ge)(ge)詞(ci)(ci)和旋(xuan)律，但是是由專(zhuan)業(ye)歌(ge)(ge)手唱出來的(de)(de)。
唱(chang)歌(ge)(ge)(ge)其實本身也(ye)是(shi)一(yi)件(jian)有高門檻的(de)事情，要(yao)求人有很高的(de)天賦。我們也(ye)希(xi)望(wang)讓(rang)AI歌(ge)(ge)(ge)手(shou)(shou)來唱(chang)歌(ge)(ge)(ge)，并在(zai)很多場(chang)景中(zhong)幫(bang)助到我們的(de)專業(ye)歌(ge)(ge)(ge)手(shou)(shou)，還要(yao)能為(wei)用戶在(zai)真實的(de)短視頻創作中(zhong)提供(gong)幫(bang)助。AI歌(ge)(ge)(ge)手(shou)(shou)的(de)技術也(ye)是(shi)輸入歌(ge)(ge)(ge)詞(ci)和旋律信息(xi)之后，用AI的(de)方式去產生歌(ge)(ge)(ge)手(shou)(shou)的(de)合(he)成聲音。
這里也可(ke)以舉(ju)個例子。快手內(nei)部的(de)AI歌手張鳳琴，她有自己極具代(dai)表性的(de)兩首歌，一(yi)首是古(gu)典(dian)的(de)、慢節(jie)奏的(de)舒緩風(feng)歌曲(qu)，另一(yi)首則更加現(xian)代(dai)，節(jie)奏比較快。
歌(ge)(ge)(ge)唱合(he)成技術的(de)技術底(di)座也是通(tong)(tong)過類似序列生(sheng)成的(de)方(fang)式產(chan)生(sheng)的(de)，只是在(zai)聲學模型中要(yao)更(geng)(geng)加復雜一些(xie)，我們輸入歌(ge)(ge)(ge)詞及旋律(lv)，通(tong)(tong)過聲學模型得到一些(xie)更(geng)(geng)符合(he)真(zhen)人歌(ge)(ge)(ge)唱的(de)特(te)(te)征(zheng)，基于這些(xie)特(te)(te)征(zheng)，通(tong)(tong)過解碼(ma)器、編碼(ma)器將(jiang)AI的(de)聲音(yin)用語音(yin)合(he)成的(de)方(fang)式生(sheng)產(chan)出來。
三、一鍵成片、文字成片：分享生活場景，用戶創作量高達百萬
第三部(bu)分，想和大家(jia)分享(xiang)一(yi)下視頻創作。
視頻創(chuang)作對于快(kuai)手這(zhe)樣的短視頻公司確實是非(fei)常關鍵的。我們也有一(yi)些階段性的進展。目前的視頻創(chuang)作方式(shi)還不是每個(ge)畫(hua)面、視頻流(liu)都完全用AI圖(tu)片來生成(cheng)(cheng)的，我們現在的技(ji)術是通過(guo)找到一(yi)些匹配的圖(tu)片并(bing)將它們連接起(qi)來，串聯成(cheng)(cheng)為(wei)一(yi)個(ge)視頻。
第一(yi)(yi)個場(chang)(chang)景(jing)是一(yi)(yi)鍵成片(pian)(pian)功(gong)(gong)能，這是在我們(men)的(de)APP快(kuai)影中上線(xian)的(de)一(yi)(yi)個功(gong)(gong)能，用戶(hu)可以(yi)(yi)(yi)選擇自己相冊中的(de)幾(ji)張(zhang)相片(pian)(pian)，點擊(ji)一(yi)(yi)鍵成片(pian)(pian)功(gong)(gong)能，生(sheng)成右邊這樣的(de)結果。一(yi)(yi)鍵成片(pian)(pian)還能把不同的(de)圖(tu)片(pian)(pian)關聯起來，生(sheng)成與之(zhi)相對應的(de)音樂，能滿足用戶(hu)對于這些場(chang)(chang)景(jing)的(de)創作需求。這個功(gong)(gong)能上線(xian)之(zhi)后，很多用戶(hu)都在使用，每天的(de)作品創作數都在百萬以(yi)(yi)(yi)上，日(ri)均消費量4.5億以(yi)(yi)(yi)上。
文案成片功(gong)能(neng)比上一個功(gong)能(neng)還要(yao)再(zai)更進(jin)一步。
前面(mian)的功能還需要用(yong)戶自己選一(yi)些特定的圖片(pian)(pian)，文(wen)案成(cheng)片(pian)(pian)只需要用(yong)戶告訴它一(yi)些文(wen)字信息，來表(biao)達自己當前的思想、情(qing)感，它就能幫用(yong)戶創(chuang)作出(chu)來與之匹(pi)配的視頻(pin)。文(wen)案成(cheng)片(pian)(pian)這個功能每天的作品(pin)量在10萬(wan)以上，每天消費量在4千萬(wan)以上。
通過這些(xie)方式(shi)，能幫助快手這樣一家短視頻(pin)公司更好地去(qu)服務創作者(zhe)(zhe)，服務消費(fei)者(zhe)(zhe)。
我和大(da)(da)家分享的(de)內(nei)容到(dao)此結束，謝(xie)謝(xie)大(da)(da)家！
以上是張富崢演講內容的完整整理。
