智東西（公眾號：zhidxcom）
作者 | GenAICon 2024
2024中國生(sheng)成式AI大會于(yu)4月(yue)18-19日在(zai)北京舉行(xing)，在(zai)大會第(di)二(er)天的主會場(chang)AIGC應用專場(chang)上，行(xing)者AI創始人&CEO尹(yin)學淵(yuan)以《生(sheng)成式AI賦(fu)能智慧(hui)文娛及教育新(xin)生(sheng)態》為題發表(biao)演講。
尹學淵談到內容創作領域長期存在“不可能三角”的問題，即質量、成本、效率三者之間永遠無法達成平衡。而生成式(shi)(shi)(shi)AI的出現有(you)望打破這一僵局，為教育(yu)、文旅行業開啟了交互式(shi)(shi)(shi)、沉浸式(shi)(shi)(shi)新體驗。
行者AI在多模態領域進行了廣泛探索，將美術大模型和音樂大模型用在實際落地的“最后一公里”階段。尹學淵強(qiang)調了大模(mo)型與特定領(ling)域工(gong)作(zuo)流(liu)程(cheng)緊密結合(he)的重要(yao)性，如果工(gong)作(zuo)流(liu)程(cheng)整合(he)不當，一些(xie)看似(si)功能強(qiang)大的產(chan)品會(hui)在實(shi)際落(luo)地(di)應用中問題頻出。
工業化AI與消費級娛樂AI的差異可以概括為三個關鍵特性：一致性、可控性、高精度。根據真實客戶反饋，行者AI的“行者丹爐”以及“圖刷刷”工具可將產品策劃、美術總監、原畫師、3D組、運營/美宣等工種的工作效率提升3-5倍。
以下為尹學淵的演講實錄：
我的(de)原定主(zhu)題為“生成(cheng)(cheng)式AI在(zai)文娛和教育(yu)領域的(de)探索”，但主(zhu)辦方(fang)認為這個(ge)標(biao)題過于謙遜，于是為我加上(shang)了“賦能”二字(zi)。今天我的(de)分(fen)享將主(zhu)要(yao)以案(an)例為主(zhu)，向(xiang)大(da)家(jia)展示我們是如何(he)利用(yong)生成(cheng)(cheng)式AI進行創(chuang)新實踐的(de)。
首先，請允許我(wo)(wo)做(zuo)個(ge)簡短(duan)的(de)自我(wo)(wo)介(jie)紹(shao)。我(wo)(wo)自認(ren)為是一名連續創業(ye)者。2013年(nian)，我(wo)(wo)聯合創立(li)(li)(li)了游戲公司龍淵網(wang)絡。2016年(nian)，我(wo)(wo)們(men)在龍淵網(wang)絡內部成立(li)(li)(li)了AI實驗室。到(dao)了2020年(nian)，我(wo)(wo)們(men)將AI實驗室的(de)產品(pin)獨立(li)(li)(li)出來，分拆(chai)成一家AI公司。
我們公司專注于AI的應用層面，多年來一直在這個領域深耕。在生成式AI的概念尚未普及之前，我們就已經開始研發AI音樂、AI美術和AI智能體等(deng)產品(pin)，這些產品(pin)如今(jin)已(yi)在多個(ge)場景中得到應用。
今天我將分享的內容聚(ju)焦在(zai)文娛和(he)教育這兩個行業。
一、生成式AI的關鍵作用，打破內容創作“不可能三角”
我們所有機會的起源都可以追溯到這張圖所展示的原理。在過去，內容創作領域存在著一個所謂的“不可能三角”。在這個三角中，質量、成本和效率三者之間似乎永遠無法達到平衡。
通常情(qing)況下，如果(guo)(guo)(guo)(guo)追求(qiu)高質量(liang)的作品(pin)，那么成(cheng)(cheng)本必然高昂，且(qie)創作過程緩慢。如果(guo)(guo)(guo)(guo)你(ni)想要快速(su)獲得成(cheng)(cheng)本低廉的成(cheng)(cheng)果(guo)(guo)(guo)(guo)，那么最終產出的內容很可能(neng)在美觀度上不(bu)盡(jin)如人意。如果(guo)(guo)(guo)(guo)你(ni)既(ji)想要高質量(liang)，又希望(wang)快速(su)完(wan)成(cheng)(cheng)，那么唯一的辦法就(jiu)是(shi)增加投入。
你會發現，在生成式AI出(chu)現之(zhi)前，這個“不可能三(san)角”一(yi)直是內(nei)容創作領域的一(yi)大難(nan)題(ti)。
生成式AI的主要作用就是打破這個“不可能三角”。現在，我(wo)們可以在保(bao)持(chi)作品質(zhi)量的(de)(de)同時，實現快速且成本效益高的(de)(de)創作。
在我看來，所有的機會可以用兩個關鍵詞來概括：多模態和互動式。特(te)別是當我們發現(xian)(xian)生(sheng)成式AI技術解決(jue)了傳統(tong)內容創作的“不可能三角”問題之后，許多之前只能想象而無法(fa)實現(xian)(xian)的事情，現(xian)(xian)在已(yi)經(jing)有了實現(xian)(xian)的可能。
無論(lun)是(shi)游戲、大(da)視聽、智慧教育、元宇宙，這些領域都(dou)可以(yi)分解為2D、3D、聲音、語言(yan)等不同的工程化組件(jian)。隨(sui)著生成式AI的革命性進(jin)步，我們現(xian)在能夠在這些領域實現(xian)多模態和互(hu)動(dong)式的應用。至于什么是(shi)互(hu)動(dong)式，我將(jiang)通過一些案例來具體展開說明。
這個機遇的核心在于，過去在內容創作過程中，我們總是面臨著高成本和低成功率的雙重挑戰。在這種背景下，商業壓力使得大家不得不將注意力集中在提高付費率和轉化率上，很難真正從人類真善美的角度出發去設計和創造內容。無論是游戲還是影視劇作品，最終都不得不為了快速回收成本而犧牲某些價值。如果連成本都無法回收，那么這種商業模式就難以為繼。
傳統的教育、醫療、宣傳和文化傳播等領域，雖然非常值得投入，但高昂的成本限制了我們的行動。而今天，AI技術的發展為我們帶來了新的機遇。這就是我想要強調的點。通過AI技術，我們可以在保持高質量內容創作的同時，降低成本，提高成功率，從而(er)為這些領(ling)域帶來更廣闊的(de)發展空間。
二、美術、音樂大模型落地“最后一公里”，將真實用戶平均效率提升3~5倍
行者AI在多(duo)模態領域(yu)進行了(le)(le)廣泛的(de)探(tan)索和嘗試。我們的(de)美術大模型解(jie)決了(le)(le)很多(duo)基礎性問(wen)題，也帶來(lai)了(le)(le)很多(duo)新(xin)的(de)可能。
然而，在將這些技術應用到實際工作中的最后一步，即“最后一公里”階段，我們發現所有大模型都必須與特定行業和領域的工作流程緊密結合。許多產品看似功(gong)能強(qiang)大，但(dan)在實際(ji)應用中(zhong)卻問題頻出，難以落地，這(zhe)是工作流程整合(he)不當所(suo)致。
從美術層面來說，我們通常會在每個環節使用不同的工具和算法來解決問題，這些環節包括美學設計、還原度、創意構思、用戶界面設計、圖標制作、原畫創作、3D建模以及特效和動作設計等。
并(bing)不是說我們可以通過一(yi)個包羅萬象的(de)大(da)模(mo)型(xing)來解(jie)決所有(you)問題，實際上這(zhe)樣做是非常困難的(de)。相反，我們的(de)目標是開發出各種不同的(de)算法和(he)工具(ju)，使美術從業者能夠走在AI技術的(de)前沿，掌握并(bing)有(you)效利(li)用AI技術，而(er)不是僅僅為了(le)做出一(yi)個大(da)模(mo)型(xing)。
工業化AI與To C的娛樂AI之間存在顯著差異，這些差異可以概括為三個關鍵特性：一致性、可控性、高精度。這三個(ge)特性是(shi)工業化AI作(zuo)為實用工具不可或缺的要(yao)素。
首先，一致性意味著AI生成的內容保持風格和特征的統一。在設計(ji)兩個角色張(zhang)三和李四時(shi)，他們(men)應(ying)該各(ge)自保持獨特的外觀，而不(bu)是(shi)隨機(ji)變成(cheng)王五的樣(yang)子。在實(shi)際應(ying)用中(zhong)，許(xu)多(duo)產品依賴于提示詞來啟動生(sheng)(sheng)成(cheng)過程，一旦(dan)提示詞發生(sheng)(sheng)變化(hua)，生(sheng)(sheng)成(cheng)的作(zuo)品也會截(jie)然不(bu)同(tong)。
無論是文(wen)生圖(tu)還是文(wen)生音樂，包括最(zui)近非(fei)常(chang)流行的(de)一(yi)(yi)些創(chuang)作(zuo)工(gong)具，比如(ru)音樂，用(yong)戶可(ke)能會(hui)發(fa)現，如(ru)果(guo)想要修改生成(cheng)內容的(de)一(yi)(yi)小(xiao)部(bu)分，整(zheng)個作(zuo)品就會(hui)變(bian)(bian)成(cheng)完全不同的(de)另一(yi)(yi)首歌，美術(shu)可(ke)能因為提(ti)示詞的(de)變(bian)(bian)化(hua)，而變(bian)(bian)成(cheng)一(yi)(yi)張全新的(de)圖(tu)，不可(ke)深(shen)度編(bian)輯細節(jie)，這(zhe)在工(gong)業化(hua)應用(yong)中是不可(ke)取的(de)。
為了解決一致性的一問題，我們采用了“行者丹爐”這一概念。
大家調侃AI都(dou)在(zai)“煉丹”，我們(men)(men)干脆(cui)取一(yi)(yi)個(ge)名字叫“丹爐”。我們(men)(men)以(yi)(yi)這(zhe)個(ge)比喻為基礎，創造了“丹爐”這(zhe)一(yi)(yi)工(gong)具(ju)，以(yi)(yi)確保生成內容的一(yi)(yi)致性。通過這(zhe)個(ge)工(gong)具(ju)，用戶可以(yi)(yi)迅速利用自(zi)己的素(su)材(cai)、位置和數據標(biao)簽來(lai)訓練(lian)一(yi)(yi)個(ge)專屬于自(zi)己的AI模型，無論是(shi)(shi)畫風模型、人物模型、決策模型還是(shi)(shi)場景模型，都(dou)能輕松(song)實現(xian)。
例如，如果你想訓練一個生成你個人肖像的模型，只需將你的照片輸入系統，訓練出的模型就會專門生成你的肖像，無論是站立、坐著還是躺著的姿勢；如果你想要模仿梵高的畫風，那么生成的作品就會具有梵高的風格；如果你偏好二次元風格，那么結果也會相應地呈現二次元特色。通過這樣的工具，我們不僅確保了一致性，還提高了可控性，使得(de)最(zui)終生成的效果能夠完全滿足用戶的具體要(yao)求(qiu)。
在討論工業化AI時，除了一致性和可控性之外，高精度也是一個關鍵特性。
比如一張16K的(de)超(chao)高清(qing)的(de)大圖(tu)，使(shi)用Midjourney嘗試將其縮小至(zhi)4K分辨(bian)(bian)率(lv)的(de)高清(qing)圖(tu)像(xiang)可能會因(yin)為性能限制(zhi)而變(bian)得不可行。同樣(yang)，自行搭建的(de)Stable Diffusion在處理這種高分辨(bian)(bian)率(lv)圖(tu)像(xiang)時(shi)也可能因(yin)為顯(xian)存不足而崩潰。 我(wo)們(men)的(de)算法(fa)可以做到16K，使(shi)其可以拿出(chu)去(qu)做美宣、原畫。
此外，生成這樣一張圖并非一次性完成，而是一個分階段、多模型疊加的過程。我們不是簡單地通過輸入一個Prompt然后點擊鼠標就生成一張圖，而是通過多個模型的疊加和分批次生成，最終合成為一張完整的圖像。這表明，生成式AI必須結合具體的應用場景，并且打造與工作流程緊密結合的工具，而不是依賴一個通用大模型。
根據真實客戶反饋，使用這些工具的平均效率提升了3~5倍。
這并不意味著某個行業被(bei)徹(che)底革命或替代，而是(shi)使用(yong)這些(xie)工(gong)具的(de)行業從業者的(de)工(gong)作效(xiao)率得到(dao)了顯著提升。即使是(shi)生成(cheng)一張16K的(de)大圖，也需(xu)要經過數天(tian)的(de)多個步驟來完成(cheng)，而不是(shi)瞬(shun)間生成(cheng)。
當前，許多客戶反饋稱，他們的(de)(de)設(she)計師正在轉變(bian)為(wei)AI工(gong)程(cheng)師，每(mei)天(tian)都在訓(xun)練(lian)他們自(zi)己(ji)(ji)的(de)(de)模型。每(mei)個(ge)人都希(xi)望擁有(you)自(zi)己(ji)(ji)獨特的(de)(de)畫風，每(mei)家公司也都不希(xi)望自(zi)家產品的(de)(de)設(she)計看起來千篇(pian)一律或被指責為(wei)抄襲。在這種(zhong)情況(kuang)下，人類設(she)計師可以專注于打磨自(zi)己(ji)(ji)的(de)(de)風格，訓(xun)練(lian)一個(ge)專屬于自(zi)己(ji)(ji)的(de)(de)模型，使得(de)AI成為(wei)他們個(ge)性化創作的(de)(de)助手。
這大致是我們在(zai)美術領域的應(ying)用邏輯。
在音樂領域，我們的工作重點可以概括為“交互式”這三個字。
交互式的核心在于可控性，我(wo)們能夠實現非常精細的控制(zhi)，如(ru)果某(mou)部分效(xiao)果不盡如(ru)人意，可以立即進行調整。
這(zhe)種交互式的(de)方(fang)法涵(han)蓋了AI音樂(le)制作(zuo)的(de)多個(ge)方(fang)面，包括作(zuo)詞、作(zuo)曲、伴(ban)奏(zou)制作(zuo)以及人(ren)聲(sheng)合成。我們(men)都為(wei)此開發了相應(ying)的(de)工具，使得音樂(le)創(chuang)作(zuo)過程不(bu)僅高效，而且可以細致調控。
以(yi)2021年世界大學(xue)生運動會的(de)(de)(de)宣(xuan)傳歌(ge)(ge)曲為例，這首歌(ge)(ge)曲的(de)(de)(de)歌(ge)(ge)詞(ci)、旋律、伴奏以(yi)及(ji)演(yan)唱(chang)部分完全由AI完成。三年前的(de)(de)(de)AI音(yin)樂制(zhi)(zhi)作水平(ping)，已(yi)經能夠滿(man)足常規的(de)(de)(de)宣(xuan)傳和(he)(he)商業用途(tu)的(de)(de)(de)需求，并且支持精細(xi)的(de)(de)(de)控制(zhi)(zhi)和(he)(he)調整(zheng)。
此外，我們還開發了AI智能體，也就是游戲中(zhong)的Agent。
三、生成式AI如何改造教育和文旅？實時控制音樂創作，提供多模態互動體驗
在討論AI安全的(de)同(tong)時(shi)，我們(men)回到今天的(de)主題，探(tan)討生成式(shi)AI在教育和文旅領域的(de)應(ying)用。
在教育領域，尤其(qi)是在(zai)音樂(le)教育方面(mian)，傳統的教學方法往(wang)往(wang)側重于演(yan)奏和演(yan)唱這兩個考核(he)(he)指標。學生通常(chang)需要演(yan)奏一首指定的曲目，相似度高則通過考核(he)(he)，否則需要回去繼續(xu)練習。
然而，隨著素質(zhi)教(jiao)(jiao)育和美育教(jiao)(jiao)育的(de)(de)推(tui)廣，國(guo)(guo)家的(de)(de)教(jiao)(jiao)學大綱開始強(qiang)調音(yin)樂(le)鑒賞和音(yin)樂(le)創(chuang)作(zuo)(zuo)兩部分內容(rong)。音(yin)樂(le)創(chuang)作(zuo)(zuo)對于教(jiao)(jiao)學來說是一個挑戰，但(dan)有了(le)生成式AI的(de)(de)幫助，我們可(ke)以快速地將其融入教(jiao)(jiao)學過程(cheng)中，并且可(ke)以與國(guo)(guo)學文化相結合(he)。
例如，許(xu)多唐詩宋詞原本就是吟唱(chang)的，但現代人往(wang)往(wang)不知道如何(he)唱(chang)。利用AI，我們可以生(sheng)成相應的曲調，如果覺得生(sheng)成的旋(xuan)律不夠理(li)想(xiang)，AI還能夠提(ti)供(gong)細粒度的調整建議，從而創造出千人千面的旋(xuan)律。孩子(zi)們可以跟著這些旋(xuan)律學唱(chang)，這樣既能學習音樂，又能在(zai)不知不覺中背誦古詩。
除了音樂創(chuang)作，AI還可以用于(yu)教授音樂理(li)論知識(shi)，如(ru)旋律(lv)曲線(xian)的繪(hui)制，AI可以根據用戶繪(hui)制的線(xian)條生成相應(ying)的旋律(lv)。
旋律曲線(xian)的(de)(de)繪制是(shi)音樂創作(zuo)中(zhong)的(de)(de)一(yi)個重要知(zhi)識點(dian)，通(tong)過AI的(de)(de)輔助，學生(sheng)可以通(tong)過簡單的(de)(de)點(dian)擊鼠(shu)標來體驗音樂創作(zuo)的(de)(de)過程，并學習相關的(de)(de)音樂理論(lun)知(zhi)識，如(ru)同頭異尾、模進等(deng)概念，同時還能進行音階和節(jie)奏的(de)(de)訓練。
在實際應用場景(jing)中，一些學(xue)校(xiao)已經建立了(le)美育(yu)教室(shi)，學(xue)生可以在這(zhe)樣的教室(shi)中學(xue)習音(yin)樂(le)創作和(he)鑒賞，探索(suo)如何使音(yin)樂(le)更(geng)加悅(yue)耳動聽。
這(zhe)個系統不(bu)僅多次被央視(shi)報道(dao)，而且在全(quan)國范圍得(de)到了推廣，包括成(cheng)都、上海(hai)、北京等地區的美術(shu)教育中(zhong)也(ye)都有所應用(yong)。通過這(zhe)些創新的教學(xue)工(gong)具和(he)方法，AI正在幫(bang)助教育者以更互(hu)動和(he)沉浸式的方式進行(xing)教學(xue)，提高學(xue)習效率，同時也(ye)為學(xue)生帶來(lai)了全(quan)新的學(xue)習體驗。
什么叫交互式？交互式是指通過互動的方式進行溝通或教學(xue)，從而(er)獲(huo)得(de)更個性化和動態的體驗。
在(zai)(zai)AI音樂創作(zuo)的(de)例(li)子中，交(jiao)互式不(bu)僅(jin)指用(yong)戶可以實時調(diao)整(zheng)和(he)控制音樂創作(zuo)的(de)各個(ge)方面(mian)，也意味(wei)著(zhu)可以通過AI生成(cheng)的(de)內容來(lai)教(jiao)育和(he)引導(dao)。例(li)如，通過一個(ge)AI生成(cheng)的(de)小(xiao)游戲來(lai)教(jiao)育小(xiao)朋友如何應(ying)對(dui)校園霸凌。在(zai)(zai)這(zhe)個(ge)游戲中，孩(hai)子們可以身臨其境地體驗故(gu)事情節，學習在(zai)(zai)不(bu)同情況下如何應(ying)對(dui)和(he)求(qiu)助，這(zhe)樣的(de)交(jiao)互式體驗比(bi)傳(chuan)統的(de)講授方式更加生動和(he)有效。
與世界園藝(yi)博覽會的(de)合作也是采用了類似的(de)方法。通過AI技術，用戶可以快(kuai)速生(sheng)成一(yi)個包含世園會中上(shang)萬種植物信息的(de)互動(dong)體(ti)驗，每個植物都有(you)詳細的(de)介紹，所有(you)的(de)圖像(xiang)、角色、聲(sheng)音和交(jiao)互環(huan)節都是由AI生(sheng)成的(de)。
此外(wai)，AI還(huan)被用(yong)(yong)于與傳(chuan)統文化的(de)(de)結合(he)。例(li)如與中(zhong)(zhong)國皮(pi)影戲博物館的(de)(de)合(he)作(zuo)案例(li)，參(can)觀者可以在博物館中(zhong)(zhong)通(tong)過(guo)(guo)攝(she)像頭拍攝(she)自(zi)己的(de)(de)照(zhao)片，AI將根據(ju)這些照(zhao)片生成個(ge)人(ren)的(de)(de)皮(pi)影形象，并允(yun)許(xu)用(yong)(yong)戶(hu)在皮(pi)影戲的(de)(de)虛擬世界(jie)中(zhong)(zhong)進行(xing)互動(dong)。這種(zhong)體驗不(bu)僅增強了(le)對(dui)傳(chuan)統文化的(de)(de)了(le)解，還(huan)通(tong)過(guo)(guo)AI的(de)(de)實時生成技術，讓每次(ci)的(de)(de)體驗都是獨一無二的(de)(de)。
AI技術也被應用于城市(shi)特色體驗(yan)的(de)生(sheng)成(cheng)(cheng)，如在(zai)成(cheng)(cheng)都可以生(sheng)成(cheng)(cheng)以雪山為遠景、成(cheng)(cheng)都街(jie)景為近景的(de)文(wen)化體驗(yan)，在(zai)廣州可以生(sheng)成(cheng)(cheng)小蠻(man)腰，在(zai)上海市(shi)可以生(sheng)成(cheng)(cheng)東方明珠(zhu)。這(zhe)些體驗(yan)都是可以交互的(de)，而且隨著進入(ru)博物館的(de)人數增加，皮(pi)影戲(xi)中的(de)角色也會(hui)相應增加，從而改變了傳統的(de)沉浸(jin)式(shi)體驗(yan)模式(shi)。
傳統的沉浸式體驗內容更新周期長，游客體驗后可能就不會再次回訪。但通過AI技術，可以實現快速實時的內容更新，使得每次訪問都有新的體驗。AI可以生成365天都不重樣的沉浸式體驗，每天都有新的內容和互動，極大地提升了重游價值和文化體驗的深度。
AI技術與(yu)(yu)自(zi)貢宮(gong)燈會的(de)結合(he)，展示了(le)AI在(zai)多語言交(jiao)流(liu)(liu)和互(hu)動娛樂方面的(de)應用。通(tong)過使用Agent和多樣的(de)AIGC技術，宮(gong)燈會的(de)AI角色(se)不僅能(neng)夠使用多國語言與(yu)(yu)觀(guan)眾(zhong)進行對話，還能(neng)驅動3D模(mo)型(xing)與(yu)(yu)觀(guan)眾(zhong)進行互(hu)動。這些AI角色(se)可(ke)以根(gen)據不同(tong)的(de)國家和地區使用相應的(de)語言進行交(jiao)流(liu)(liu)，不僅能(neng)進行對話，還能(neng)唱歌和跳舞，為觀(guan)眾(zhong)提供豐富的(de)多模(mo)態(tai)體驗(yan)。
例如(ru)，如(ru)果今(jin)天要感謝“智東西”和(he)“智猩猩”的(de)邀請(qing)，只需將這兩個(ge)名字輸入(ru)AI系統，AI形(xing)象便可(ke)以根據輸入(ru)進行相(xiang)應的(de)表演。
這些都是AI技術具體落地的應用場景，體現了交互式多模態體驗的潛力。
此外，AI技(ji)術(shu)在文旅場景中的應用(yong)也非常廣(guang)泛(fan)。在許多文旅景點，由于人多，找(zhao)到一個好的拍照位置并(bing)不容易，而且晚上的燈(deng)會等場景雖(sui)然景色(se)迷人，但拍攝人物照片(pian)時往往因(yin)為(wei)光線問(wen)題導致面(mian)部暗淡。AI寫真打(da)卡功能(neng)可以輕松(song)解決這(zhe)一問(wen)題，它不僅能(neng)夠(gou)美化照片(pian)背(bei)景，還(huan)能(neng)提升人物形(xing)象的亮度和清晰度。
AI技(ji)術(shu)還可以(yi)用(yong)于生(sheng)成(cheng)與植物相結合(he)的抽象畫(hua)，這些(xie)畫(hua)作在現實中很難拍攝出(chu)來(lai)，但通過(guo)AI的生(sheng)成(cheng)能(neng)力，用(yong)戶(hu)可以(yi)創造出(chu)獨特的藝術(shu)效果。更進(jin)一步，如(ru)果現場有打印機，觀眾(zhong)可以(yi)將這些(xie)AI生(sheng)成(cheng)的畫(hua)作打印出(chu)來(lai)并帶回家(jia)，極大(da)地增強(qiang)了參觀體驗。
以上是尹學淵演講內容的完整整理。
