
智東西(公眾號:zhidxcom)
作者 | ?ZeR0
編輯 | ?漠影
智東西6月12日報道,今日,美圖推出一款能落地的AI視頻產品MOKI,可以(yi)輔助(zhu)創(chuang)作者打造動畫短(duan)片(pian)、網文短(duan)劇、故(gu)事繪本和MV,讓人(ren)人(ren)都可以(yi)用AI輕(qing)松創(chuang)作短(duan)片(pian)作品(pin)。
為了(le)提升可控(kong)性(xing),美(mei)圖打造了(le)AI短片(pian)工作流,只要輸入一小段故(gu)事創意,就能(neng)用(yong)AI快速生成具有完整結(jie)構(gou)的腳本,然后進行視(shi)覺風格、角色形象、角色配音、旁(pang)白(bai)配音等前(qian)期(qi)設定的選擇(ze)。
下一步,用AI根據前期設定生成(cheng)分鏡(jing)圖(tu),對分鏡(jing)圖(tu)進行局部修改,將分鏡(jing)圖(tu)轉成(cheng)視頻素材,用臺詞驅動角色開口說話。
最后通過智能(neng)剪輯、AI配樂、AI音效、自(zi)動(dong)字幕等功能(neng)將所有素材自(zi)動(dong)串聯成(cheng)片,一(yi)條(tiao)AI短片作品就完(wan)成(cheng)了。
美圖還(huan)與Ainimate Lab共創了一支AI短片。
MOKI將于7月31日上(shang)線,訪問www.moki.cn可體驗(yan)。
除了MOKI外,美圖還推出專(zhuan)業級AI批量修(xiu)圖軟件美圖云修(xiu)V2、用AI制(zhi)(zhi)作口播(bo)視頻開拍V2、面(mian)向電商(shang)人的AI設(she)計(ji)(ji)工具美圖設(she)計(ji)(ji)室V3、找優質設(she)計(ji)(ji)服務的視覺創意(yi)平臺站酷、游(you)戲(xi)物料AI制(zhi)(zhi)作與投放平臺奇覓。
6款產品覆蓋商(shang)業(ye)攝影、口播視頻、電商(shang)設(she)(she)計、設(she)(she)計服務、游(you)戲營銷(xiao)、視頻生(sheng)成領域,將(jiang)進(jin)一步完善美(mei)圖的AI產品生(sheng)態。
美圖公司創始人、董事長兼首席執行官吳欣鴻宣布,美圖奇想大模型(MiracleVision)已升級到V5版本,美(mei)圖將正在通過將AI單(dan)點功能(neng)串聯成“AI工(gong)作(zuo)流”,進一步助力電商(shang)、廣(guang)告、游戲、影視(shi)、動漫五大行業提高生產力。
隨著大(da)模(mo)型能力持續升級,未(wei)來美圖將拓展(zhan)更多(duo)視頻創(chuang)作場(chang)景,為創(chuang)作者提供更加簡單高效(xiao)的AI短片(pian)工作流。
在以AI工作流助(zhu)力行(xing)業和用戶提(ti)效的同(tong)時,美(mei)圖公司全球VIP會員(yuan)(yuan)數(shu)創下歷(li)史新高,截(jie)至6月11日,美(mei)圖全球VIP會員(yuan)(yuan)數(shu)為1063萬。
一、AI視頻產品如何落地?美圖升級大模型架構,6大亮點支撐AI短片創作
今年2月(yue),OpenAI發布(bu)AI文生(sheng)視(shi)頻(pin)模型Sora,并引發文生(sheng)視(shi)頻(pin)領域(yu)的激(ji)烈競賽。
在Sora發布(bu)后,美圖(tu)第一(yi)時間升級(ji)了(le)視頻大模型(xing)技術架(jia)構,從U-Net架(jia)構升級(ji)到了(le)更強的DiT架(jia)構,同時還升級(ji)了(le)編解碼(ma)技術,實現了(le)空間域和(he)時間域的同步壓縮(suo)。
下面(mian)美圖用其自(zi)研視頻大模型(xing)的部分(fen)內測效果快剪的一個治愈向視頻合集。
這只是近期的(de)一(yi)個(ge)內測效果(guo),下個(ge)月美(mei)圖將推出效果(guo)更好的(de)進(jin)階版本。
美圖基于與用戶需求與產品追求自研視頻大模型,升級后的美圖視頻大模型有6大亮點:更強的模型架構、更大的模型參數量、更準的語義理解、更長的視頻時長、更好的動態連續性、更高的畫面穩定性。
美圖公司(si)創始人(ren)、董事(shi)長兼首席執行官吳欣鴻談道,美圖通過AI短(duan)片(pian)創作工具MOKI解決了視頻大模型“故(gu)事(shi)成(cheng)片(pian)難”、“可控性較差”的問題。
在他看來,目前市場上的AI視頻(pin)產品(pin)傾向于(yu)提供像文生視頻(pin)這(zhe)樣(yang)的常(chang)規能力,但美(mei)圖團隊認為(wei)只有(you)深度理(li)解創作者(zhe)的需求、提煉有(you)共性的視頻(pin)場景,才能打造輔助(zhu)內容創作的工具。
以前用(yong)視(shi)頻大模型輔助內(nei)容創作會(hui)遇到視(shi)覺風格、場景、角色不一致,無法用(yong)分(fen)鏡(jing)進行整體把控,角色無法開(kai)口說話等難點。
與(yu)常(chang)規文生視(shi)頻產品不同,MOKI深度理解視(shi)頻創作(zuo)者需求(qiu),實現內容和成本的雙重可控(kong),目前可以進行多種視(shi)頻場景的AI短片創作(zuo)。
美(mei)圖根據制作成本和內(nei)容可控性分(fen)析了主流(liu)視(shi)頻的形(xing)式(shi)。
空鏡素(su)材對內(nei)容(rong)可控(kong)性(xing)的(de)(de)要求最低(di),生成成本也最低(di),可靈活(huo)應用(yong)在各種各樣的(de)(de)視頻(pin)里面(mian);專業影視制作(zuo),比如用(yong)視頻(pin)大模型輔助電影電視劇的(de)(de)制作(zuo),對于內(nei)容(rong)可控(kong)性(xing)有極高(gao)的(de)(de)要求,制作(zuo)成本也是最高(gao)的(de)(de)。
所以基于(yu)對內容可控性與(yu)制作(zuo)成本的最(zui)大考量(liang),MOKI不做常規的文生(sheng)視頻,而是(shi)聚(ju)焦于(yu)AI短片創(chuang)作(zuo),專注(zhu)于(yu)像動畫短片、網(wang)文短劇、故事繪本MV等視頻場(chang)景(jing)。
借助美圖奇(qi)想大模(mo)型的底層能力,可構建一個從(cong)前期(qi)(qi)設定(ding)到AI內容生成再到后期(qi)(qi)制作的AI短片(pian)工(gong)作流。與傳統(tong)工(gong)作流相(xiang)比,MOKI大大提升了短片(pian)的制作效率,讓視頻創作更加簡單高(gao)效。
二、美圖奇想大模型升級到V5:覆蓋圖像、視頻、音頻、文本
吳(wu)欣鴻(hong)認為,在影像與設計(ji)行(xing)業(ye),AI是推動創(chuang)新和提升效(xiao)率的重要力量。
美(mei)圖奇(qi)想大(da)模型(MiracleVision)發(fa)布于2023年6月,是國內首個懂美(mei)學的AI視(shi)覺大(da)模型,為美(mei)圖全系產品提供AI模型能(neng)力。
升級到(dao)V5版(ban)本的奇(qi)想大模型(MiracleVision)采(cai)用美(mei)圖(tu)自研DiT技術架構,涵蓋圖(tu)像大模型、視頻(pin)大模型、音頻(pin)大模型和文本大模型,擁有(you)更好的擴(kuo)展性與(yu)更大的參(can)數量,在語義理解、畫(hua)面穩(wen)定性、動態連續性、主體一致性、內(nei)容可控(kong)性以及生(sheng)成時長(chang)等方面,獲得全(quan)方位(wei)提升。
據介紹,美圖(tu)(tu)奇(qi)想大模型整合了Weitu AI的(de)(de)多模態能(neng)力,能(neng)理(li)解圖(tu)(tu)像、視頻(pin)(pin)、音頻(pin)(pin)、文本等信息,讓(rang)用(yong)(yong)戶使用(yong)(yong)自然語(yu)言交互實現影像創作。例如使用(yong)(yong)美圖(tu)(tu)秀(xiu)秀(xiu)里的(de)(de)AI助(zhu)手RoboNeo,用(yong)(yong)戶只(zhi)用(yong)(yong)簡單(dan)的(de)(de)自然語(yu)言指(zhi)令,就(jiu)能(neng)完成(cheng)一(yi)系列復(fu)雜的(de)(de)AI改(gai)圖(tu)(tu)、AI消除等圖(tu)(tu)像編輯功能(neng)。
目(mu)前,美圖的AI產品(pin)生態已經進一步完善:
應用層有AI圖像、AI視頻、AI設計、AI營銷四大模塊的多款產品,生態層由中國領先的視覺創意平臺站酷和美圖AI助手RoboNeo提供服務,模型層由美圖奇想大模型(MiracleVision)為全系(xi)產品(pin)提(ti)供AI模型能力。
“作為一家以美為核(he)心的(de)公司,我們對(dui)效(xiao)果(guo)有著極高的(de)要求。只有自研視頻(pin)大(da)模(mo)型(xing),才能以高標(biao)準不斷提升效(xiao)果(guo)。同時,只有將模(mo)型(xing)與產品(pin)深度(du)融合,做到(dao)模(mo)型(xing)即產品(pin),才能給用(yong)戶(hu)最好的(de)體驗(yan)。”吳欣鴻(hong)說。
三、多款新品發布:每小時修圖1000張,十分鐘做出高質量口播視頻
結(jie)合美圖的應(ying)用(yong)(yong)實踐(jian),吳欣鴻分享了三個觀點:1)目前(qian)AI技術領(ling)先于AI應(ying)用(yong)(yong),AI應(ying)用(yong)(yong)比想象中慢(man)不少(shao);2)好(hao)概念≠好(hao)產(chan)品(pin),將AI概念轉化為優秀(xiu)產(chan)品(pin)的并不多(duo);3)要讓AI幫用(yong)(yong)戶創收,用(yong)(yong)戶愿(yuan)意為能創造價值(zhi)的AI產(chan)品(pin)付(fu)費。
對比(bi)傳統工(gong)作(zuo)(zuo)流(liu),AI工(gong)作(zuo)(zuo)流(liu)有五大優勢:1)云(yun)端與(yu)客戶端實現(xian)算力融合;2)一個(ge)人就(jiu)是一支(zhi)團隊(dui),AI能(neng)(neng)夠自動(dong)(dong)化(hua)解(jie)決很多重(zhong)復性的(de)勞(lao)動(dong)(dong),還能(neng)(neng)讓非專業人士借助AI解(jie)決專業領域的(de)問(wen)題;3)AI能(neng)(neng)提(ti)供近乎無限的(de)靈感創(chuang)意庫;4)AI會(hui)像搭積木一樣(yang),按需調整,用不同的(de)能(neng)(neng)力組成(cheng)工(gong)作(zuo)(zuo)流(liu),從(cong)而完(wan)成(cheng)特定任務(wu);5)AI工(gong)作(zuo)(zuo)流(liu)中模型能(neng)(neng)夠基(ji)于數據自動(dong)(dong)迭代,速度遠超人工(gong)。
除了MOKI外,美(mei)圖今日(ri)還發布另外5款(kuan)圍(wei)繞影像與(yu)設計AI工作流的產品(pin):
1、美圖云修V2:專業(ye)級AI批量修圖軟件,年修圖數量已超(chao)過5億張(zhang),成功幫(bang)助商(shang)業(ye)攝(she)影門店提(ti)升了12倍的精修效率。
新版美(mei)圖(tu)云修升級了AI批量精修和AI批量調色能力,將(jiang)修圖(tu)效率提升到每(mei)小時1000張(zhang),已開放API服務,實現即(ji)傳即(ji)修即(ji)用,進一步幫(bang)助商業(ye)攝影客戶大幅提效。
2、開拍V2:用(yong)AI制作口播視頻,月(yue)活躍用(yong)戶數已接近(jin)70萬,累計內(nei)容創(chuang)作數超過4000萬,訂閱收(shou)入也(ye)高速增長,成為一款月(yue)毛利(li)突破百萬的AI應用(yong)。
新版開(kai)拍升級了AI腳本(ben)、AI數字人、視頻(pin)(pin)翻譯、一鍵包裝等能(neng)力,10秒鐘就能(neng)學會了綜藝感剪輯,不到30分鐘就能(neng)創作出一條高(gao)質量口播(bo)視頻(pin)(pin),解決口播(bo)視頻(pin)(pin)創作者的(de)策劃、制(zhi)作、變現等難題。
3、美圖設計室V3:面向(xiang)電商(shang)人的AI設計工具,擁有近1800萬(wan)(wan)個月活(huo)躍(yue)用(yong)戶(hu),每月產生超過4000萬(wan)(wan)的電商(shang)物料數。
新(xin)版美圖設計(ji)室升級了(le)AI批量(liang)化能力和AI商(shang)品視頻創作能力,并支持團隊多人協(xie)作,大(da)幅提升電商(shang)物料設計(ji)產能。
4、站酷:找優質(zhi)設計(ji)服務(wu)的(de)平(ping)臺,今年上半年加入美(mei)圖大(da)家(jia)庭,已有(you)1700萬(wan)視覺創意人入駐,擁有(you)4.6億的(de)正版素材,與(yu)超過1500家(jia)知名品牌達成了深(shen)度合(he)作。
站酷推出(chu)找人高(gao)效(xiao)、流程簡單、售后(hou)放心的設(she)(she)(she)計服(fu)務(wu)平臺,目前有14類設(she)(she)(she)計服(fu)務(wu),連接廣大(da)設(she)(she)(she)計需求者(zhe)和千萬級專業設(she)(she)(she)計師,以幫助每一位有設(she)(she)(she)計需求的用戶輕松(song)搞(gao)定設(she)(she)(she)計,今日正式上線。
5、奇覓:游戲(xi)物料AI制(zhi)作與(yu)投(tou)放平臺,融合(he)了(le)美圖的(de)(de)AI影像技術(shu)與(yu)睿(rui)晟的(de)(de)游戲(xi)營(ying)銷經驗(yan),為游戲(xi)營(ying)銷行業提供廣告的(de)(de)高效制(zhi)作與(yu)精準投(tou)放,今(jin)日(ri)正(zheng)式(shi)上線,并開(kai)啟免費試(shi)用。
游(you)(you)(you)戲(xi)廣(guang)(guang)告有制(zhi)作成(cheng)本高(gao)、投放成(cheng)本高(gao)兩大(da)痛點(dian)。奇(qi)覓AI靈(ling)感(gan)庫提供了熱點(dian)雷達,實時(shi)捕捉全網(wang)游(you)(you)(you)戲(xi)熱點(dian),找到游(you)(you)(you)戲(xi)玩(wan)家(jia)關注度(du)最高(gao)的(de)話(hua)題,幫助廣(guang)(guang)告策劃(hua)人員去激發(fa)創意;AI廣(guang)(guang)告解析(xi)功能(neng)可以對熱門廣(guang)(guang)告的(de)腳本、畫面、配音、配樂(le)進行全方位(wei)拆解,快速洞(dong)察廣(guang)(guang)告火爆的(de)原因。
在正式(shi)投(tou)(tou)放(fang)前,AI投(tou)(tou)前分析(xi)5分鐘(zhong)(zhong)內就(jiu)(jiu)能完成數十條廣(guang)告(gao)(gao)的(de)(de)(de)預審核和投(tou)(tou)放(fang)潛力的(de)(de)(de)評(ping)估,快(kuai)速過濾掉(diao)高(gao)風(feng)險的(de)(de)(de)廣(guang)告(gao)(gao),或者說投(tou)(tou)放(fang)潛力低(di)的(de)(de)(de)廣(guang)告(gao)(gao)。還有(you)批量(liang)(liang)創建(jian)投(tou)(tou)放(fang)計劃,可針對不同的(de)(de)(de)人群去搭(da)建(jian)差(cha)異(yi)化的(de)(de)(de)廣(guang)告(gao)(gao)策略(lve),僅需(xu)10分鐘(zhong)(zhong)就(jiu)(jiu)可以完成3000多條不同廣(guang)告(gao)(gao)計劃的(de)(de)(de)設置。奇覓現已覆蓋巨量(liang)(liang)引擎、華為、OPPO、vivo等主流廣(guang)告(gao)(gao)平臺,只需(xu)1分鐘(zhong)(zhong)就(jiu)(jiu)能直達(da)這些游(you)戲投(tou)(tou)放(fang)渠(qu)道。
結語:未來AI工作流將進化成AI平臺生態
隨著AI大模型(xing)的(de)(de)發展,AI應用將經歷從點(dian)到線(xian)再(zai)到面的(de)(de)三階(jie)段。美(mei)圖打造了(le)眾多爆款(kuan)的(de)(de)AI單點(dian)功能,希(xi)望把(ba)這些單點(dian)功能串成AI工作流,幫助(zhu)電商、廣告、游戲、影視、動(dong)漫等行業進一步提高生產力。
吳(wu)欣鴻說,美圖將繼續探(tan)索AI應用(yong)更深層次的(de)價值,相信在不遠的(de)將來,AI工(gong)作(zuo)流會進化成AI平臺生態,深入(ru)影響我們(men)的(de)工(gong)作(zuo)和生活。
美圖在過去(qu)兩屆美圖影像節發布(bu)的(de)AI產品已得(de)到用戶(hu)和市(shi)場認可,多次登頂(ding)日本、韓國(guo)、泰國(guo)、越南(nan)等國(guo)App Store總榜第一。
此外,美圖設(she)計室全年收(shou)入過億(yi),Wink是視頻工(gong)具賽(sai)(sai)道第(di)二名(ming),美圖證(zheng)件照(zhao)是在線(xian)證(zheng)件照(zhao)賽(sai)(sai)道第(di)一名(ming),開拍(pai)是口播創作工(gong)具賽(sai)(sai)道第(di)一名(ming)。
為持續推(tui)動AI應用落地實踐,在(zai)第三屆美(mei)圖影像節現場(chang),開拍(pai)宣布推(tui)出(chu)“開拍(pai)AI助(zhu)(zhu)農計劃”,提供三農主題的AI腳本和素(su)材(cai),輔導新農人拍(pai)攝和制作視頻,以AI技(ji)術助(zhu)(zhu)力農村經濟發展。
美圖設(she)計室則推出“小微(wei)電(dian)商(shang)AI助力計劃”,圍繞義烏、廣州、泉州等(deng)電(dian)商(shang)集中城市,助力電(dian)商(shang)個(ge)體創業者“一(yi)個(ge)人(ren)就是一(yi)支團(tuan)隊”,后續還將啟(qi)動“電(dian)商(shang)AI設(she)計課程”,幫助電(dian)商(shang)用(yong)戶提升AI設(she)計技能和訂(ding)單轉(zhuan)化。
“美圖是(shi)一(yi)家成立16年(nian),DNA里刻(ke)著對(dui)產品的(de)熱愛,并始終保持創業心(xin)態的(de)公司。”吳欣鴻談道,面對(dui)正在發生(sheng)的(de)技術與商(shang)業變革,美圖將通過實(shi)踐不斷探索落地場景(jing),深耕AI應用(yong),為用(yong)戶和客戶打(da)造更(geng)好的(de)AI工作流,讓每(mei)個人(ren)都能享受到(dao)AI的(de)價(jia)值(zhi)。