智東西AI前瞻(公眾號:zhidxcomAI)
編譯 | 江宇
編輯 | 漠影

智東西8月12日報道,由兩(liang)名前谷歌(ge)員工Coco Mao(聯(lian)(lian)合創(chuang)始(shi)人(ren)兼CEO)和(he)John Qiao(聯(lian)(lian)合創(chuang)始(shi)人(ren)兼CTO)于2022年創(chuang)立(li)的AI視頻初創(chuang)公司OpenArt,近(jin)期上線“一(yi)鍵故事”功能(neng)測試(shi)版,讓用戶從一(yi)句話、一(yi)個腳本或一(yi)首歌(ge),生成一(yi)分鐘故事短片。

Coco Mao曾(ceng)在Google Search擔任產品(pin)經理,并在Google內部(bu)孵化器(qi)Area 120負責短視頻平臺Tangi的產品(pin)工作,早期還參與過Google Photos的機(ji)器(qi)智能與iOS客戶端研(yan)發。

John Qiao曾在Google擔任高級軟件工程師及Area 120技(ji)術負責(ze)人,創辦過語(yu)言學習平臺Tnaao、教(jiao)育科(ke)技(ji)公司Zhita,以及AC Fan社(she)(she)區(qu)和(he)社(she)(she)交(jiao)網站Woosuko等項目。

靠搞抽象沖進月活300萬!前谷歌華人團隊玩起“一鍵故事”,卷出vlog神作

▲左1為(wei)OpenArt聯合(he)創始人兼(jian)CTO?John Qiao,左2為(wei)OpenArt聯合(he)創始人兼(jian)CEO?Coco Mao(圖源:X)

此(ci)次他們聯(lian)手創業聚焦AI視(shi)頻(pin)生成(cheng),OpenArt產出(chu)的(de)這(zhe)類(lei)被稱(cheng)為(wei)“Brain Rot”的(de)AI視(shi)頻(pin),以夸(kua)張(zhang)設定與快(kuai)速成(cheng)片能(neng)力,受到年(nian)輕用(yong)戶群體追捧。這(zhe)類(lei)視(shi)頻(pin)常出(chu)現(xian)諸如穿(chuan)著運動(dong)鞋(xie)的(de)鯊魚、頂著卡布奇諾咖啡杯頭(tou)的(de)芭蕾(lei)舞者等荒誕角色(se),目前在互聯(lian)網上快(kuai)速走紅,平臺月(yue)活已達約300萬。

靠搞抽象沖進月活300萬!前谷歌華人團隊玩起“一鍵故事”,卷出vlog神作

▲圖源(yuan):TikTok

未來,OpenArt還計劃推出支(zhi)持雙角色(se)對話的視頻生成功能,以及移(yi)動(dong)端App。

一、從一句話到成片,OpenArt讓“腦洞”落地只需1分鐘

OpenArt聚合50余個AI模型(包括(kuo)DALLE-3、GPT、Imagen、Flux Kontext、Stable Diffusion),目前新功能支持三類(lei)模板:

?角色Vlog:上傳角色圖片+提示詞生成帶情節的視頻;
?音樂視頻:上傳歌曲后解析歌詞并匹配動畫場景;
?解說視頻:可制(zhi)作解釋性(xing)內容或(huo)廣告短(duan)片。

生(sheng)成后(hou),用戶可在分鏡模(mo)式中逐段調整提(ti)示詞(ci)以修改細節。該(gai)功能(neng)支持在同一(yi)視頻中保持角色外觀和動作的一(yi)致性,從而減少畫面風格(ge)不連貫的情況。

二、體驗:vlog驚艷、MV翻車、吉卜力穿幫

1、角色vlog——古風烏薩奇

角色Vlog幾乎是“一鍵故事”的主場。智東西直接選擇自行上傳(chuan)角色“古風烏(wu)薩(sa)奇(qi)”。

靠搞抽象沖進月活300萬!前谷歌華人團隊玩起“一鍵故事”,卷出vlog神作

輸入官方風格的長提示詞:@古風烏薩奇:在江(jiang)南小(xiao)鎮的青石(shi)板(ban)街上,一位(wei)身穿灰色長衫的書生(sheng)(sheng)緩緩走向(xiang)鏡(jing)(jing)頭(tou),手中(zhong)搖著折(zhe)扇,微風吹動他(ta)的長發與衣袖。背景是一排(pai)白墻黛瓦的民居,河面上緩緩駛過(guo)一艘(sou)小(xiao)舟。書生(sheng)(sheng)停(ting)在橋(qiao)頭(tou),對(dui)著鏡(jing)(jing)頭(tou)微笑并朗誦(song)一句詩,隨后轉身走向(xiang)茶館(guan)。

風格:古風寫意,溫潤淡雅

鏡頭:遠景跟拍→中景人物(wu)特寫→平移展示橋與河面(mian)→切回書生正面(mian)特寫

光效:柔和的晨(chen)光,帶(dai)有輕(qing)霧(wu)效果

動作:緩步行(xing)走、搖扇、抬(tai)頭微(wei)笑(xiao)、輕聲吟詩(shi)

特效(xiao):微風拂動長衫(shan)、河面(mian)波光粼粼、茶館燈籠微微晃(huang)動

畫幅比例:16:9

時長:60秒

體驗成果:

成片幾乎一比一還原了提示詞——鏡頭順序、角色動作、光效細節都對位,角色一致性也保持得很穩。生成后還能在故事板里改腳本,或者用時間線直(zhi)接做二(er)次剪輯,這個模式下可玩空間最大。

靠搞抽象沖進月活300萬!前谷歌華人團隊玩起“一鍵故事”,卷出vlog神作

▲故事版

靠搞抽象沖進月活300萬!前谷歌華人團隊玩起“一鍵故事”,卷出vlog神作

▲時間線

2、MV——《落葉歸根》

智東西(xi)接著試了音樂(le)視頻,選的是《落(luo)葉歸根(gen)》前(qian)奏片段(duan)。

靠搞抽象沖進月活300萬!前谷歌華人團隊玩起“一鍵故事”,卷出vlog神作

流程是(shi)先上傳(chuan)歌曲,再選擇平臺(tai)角(jiao)色或(huo)自定義形象。此(ci)次體驗(yan)中,智東西(xi)選用了一(yi)張AI生成(cheng)的男歌手形象作為主角(jiao)。

靠搞抽象沖進月活300萬!前谷歌華人團隊玩起“一鍵故事”,卷出vlog神作

▲此圖為AI生成。

靠搞抽象沖進月活300萬!前谷歌華人團隊玩起“一鍵故事”,卷出vlog神作

體驗成果:


生成視頻在畫面切換節奏上基本跟(gen)著音(yin)樂走,但唇形與歌詞嚴重(zhong)不同步,人物形象與最初設定(ding)也有(you)(you)明顯落差。在前奏部(bu)分,觀感也有(you)(you)些(xie)割裂(lie)。

3、解釋視頻——AI Agent

最后(hou),智東西試(shi)(shi)了(le)試(shi)(shi)解說視頻。主題選“AI Agent”,AI自動生成了(le)腳本,再套(tao)用吉卜力風格。

靠搞抽象沖進月活300萬!前谷歌華人團隊玩起“一鍵故事”,卷出vlog神作

體驗成果:

畫面色彩和場(chang)景細節都不(bu)錯,可一到人物轉身(shen),就出現了(le)生(sheng)成視(shi)頻的(de)老毛病(bing)——鏡頭直接把角色的(de)臉替換成了(le)后腦勺,沒有轉身(shen)動畫,違和感撲面而來。

這三(san)輪體(ti)驗(yan)下來,古(gu)風(feng)Vlog的還原(yuan)度和(he)角色穩定(ding)性(xing)讓(rang)人印象深刻;音樂(le)視(shi)(shi)頻(pin)在人物(wu)統一性(xing)和(he)唇形同(tong)步(bu)上有明顯短板(ban);解(jie)說視(shi)(shi)頻(pin)的美術表(biao)現亮眼,但動(dong)作(zuo)銜接仍不夠流暢。

“一鍵故事”已經能(neng)讓創作者(zhe)從(cong)零到成片的時間(jian)壓到幾分鐘,但要做到全流程(cheng)免(mian)修,還得等它補齊動(dong)作、同步、細節這些短板。

三、一邊漲粉一邊踩“紅線”,OpenArt也面臨版權風險

OpenArt采用積分訂閱制:基礎版14美元/月(約合人民幣100元/月,4,000積分,可生成4個“一鍵故事”、40個視頻、4,000張圖片、4個角色);進階版30美元/月(約合人民幣215元/月,12,000積分,12個“一鍵故事”);無限版56美元/月(約合人民幣402元/月,24,000積分);團隊版35美元/月/人(約合人(ren)民幣(bi)251元/月(yue)/人(ren))。

目前,OpenArt已獲Basis Set Ventures和DCM Ventures共500萬美元投資(約合人民幣3590萬元),目前現金流為正,預計年化經常性收入超2,000萬美元(約合人民(min)幣1.4億元)。

但AI視(shi)頻在版(ban)權與(yu)濫用(yong)風險上仍有隱憂(you)。測試發(fa)現部分模板(ban)可能涉(she)及皮(pi)卡(ka)丘(qiu)、海(hai)綿寶寶、馬里奧等知(zhi)名IP。今年6月,迪士尼和環球已起(qi)訴Midjourney侵(qin)犯(fan)版(ban)權。

OpenArt聯合創始人兼CEO CoCo Mao稱平臺會默認拒絕生成受保護IP角色,并有(you)意與權利方(fang)洽(qia)談授權,但不排除偶有(you)“漏網”,用戶若被判(pan)侵(qin)權,可能面臨下架或法律(lv)訴訟。

結語:視頻生成沖進“分鐘時代”,成片質量還未到天花板

從古風(feng)Vlog的高還原度(du),到(dao)音樂視(shi)頻的唇(chun)形(xing)錯(cuo)位(wei),再到(dao)解說視(shi)頻的動作穿(chuan)幫,OpenArt的“一(yi)鍵故事(shi)”展(zhan)示了當前(qian)分鐘級視(shi)頻生(sheng)成的真實狀態:在角色一(yi)致(zhi)性、鏡頭調度(du)和(he)風(feng)格(ge)化表現上已有不錯(cuo)的還原度(du),但在音畫同(tong)步(bu)、復雜(za)動作和(he)細(xi)節連續性上仍(reng)有短板。

平臺一(yi)次生成會(hui)在數十個(ge)可選模型中擇一(yi)調用(yong),最終成片的質量不(bu)僅取決于(yu)模型本(ben)身的能力,也取決于(yu)用(yong)戶的提(ti)示詞編排(pai)和(he)平臺對生成結果(guo)的控制。

對于視頻生成來說,如(ru)何在保持生成速度的(de)同時(shi),讓細節和質(zhi)感穩定可控,將是下(xia)一步的(de)關鍵(jian)挑戰。

來(lai)源:The TechCrunch、領英