智東西（公眾號：zhidxcom）
編譯 | 汪越
編輯 | 程茜
智東西10月16日(ri)消息，10月14日(ri)，Adobe在Adobe MAX大會上宣布推出Firefly視(shi)(shi)頻(pin)生成模(mo)型(xing)(xing)，并強化了現(xian)有的(de)圖像、矢(shi)量和(he)設計模(mo)型(xing)(xing)。Firefly視(shi)(shi)頻(pin)模(mo)型(xing)(xing)已進入有限公(gong)開測試階段，成為首個可安全用(yong)(yong)于商業用(yong)(yong)途的(de)生成式AI視(shi)(shi)頻(pin)模(mo)型(xing)(xing)。
最(zui)新(xin)的Firefly圖(tu)像(xiang)模(mo)型(xing)Firefly Image 3將允許用戶在幾秒內生成(cheng)(cheng)圖(tu)像(xiang)，速度較上(shang)一版提升了四倍。同時(shi)，基(ji)于Firefly視(shi)頻(pin)(pin)生成(cheng)(cheng)模(mo)型(xing)，Premiere Pro進行了重(zhong)要更(geng)新(xin)。Premiere Pro新(xin)增(zeng)了三(san)個主要功能，分別是(shi)文生視(shi)頻(pin)(pin)、圖(tu)生視(shi)頻(pin)(pin)和生成(cheng)(cheng)擴展(zhan)（Generative Extend）。
▲使用生成擴展填(tian)補視頻(pin)素材缺失(shi)片(pian)段（視頻(pin)來源：Adobe）
通過文生(sheng)視(shi)頻(pin)(pin)功(gong)能，用戶可(ke)模擬(ni)調整攝像機角度、運動和縮(suo)放等參(can)數，進一步細化視(shi)頻(pin)(pin)；通過圖(tu)生(sheng)視(shi)頻(pin)(pin)功(gong)能，用戶可(ke)在文本提示旁邊另外(wai)添加(jia)(jia)參(can)考圖(tu)像，以(yi)生(sheng)成更(geng)符合(he)想象的視(shi)頻(pin)(pin)。用戶甚(shen)至(zhi)可(ke)以(yi)通過一張靜圖(tu)重制(zhi)現有視(shi)頻(pin)(pin)，實(shi)現視(shi)覺上(shang)的再加(jia)(jia)工；通過生(sheng)成擴展功(gong)能，用戶可(ke)直接對視(shi)頻(pin)(pin)進行微調，而(er)不至(zhi)于重新拍(pai)攝。
用戶(hu)在使用這(zhe)三個功能(neng)(neng)時(shi)，均需(xu)要等待大約90秒(miao)(miao)才(cai)能(neng)(neng)生(sheng)(sheng)成(cheng)視(shi)(shi)頻(pin)(pin)。采(cai)用文生(sheng)(sheng)視(shi)(shi)頻(pin)(pin)和圖生(sheng)(sheng)視(shi)(shi)頻(pin)(pin)功能(neng)(neng)生(sheng)(sheng)成(cheng)的視(shi)(shi)頻(pin)(pin)最(zui)(zui)長(chang)為5秒(miao)(miao)，分辨(bian)率最(zui)(zui)高(gao)為720P，幀(zhen)率為每秒(miao)(miao)24幀(zhen)。采(cai)用生(sheng)(sheng)成(cheng)擴展功能(neng)(neng)的視(shi)(shi)頻(pin)(pin)最(zui)(zui)多可(ke)延(yan)長(chang)2秒(miao)(miao)，視(shi)(shi)頻(pin)(pin)背景音效延(yan)長(chang)10秒(miao)(miao)。
▲使用文生模(mo)型生成視頻(pin)（視頻(pin)來(lai)源：Adobe）
Firefly視(shi)頻(pin)模型作為Adobe生(sheng)成式AI套件的擴展，已經(jing)被集成到其云端套裝軟件Adobe Creative Cloud的多(duo)款(kuan)應用中，包括(kuo)修圖軟件PS、矢(shi)量圖形設計(ji)軟件Illustrator、內容創(chuang)作工具Adobe Express和視(shi)頻(pin)編輯軟件Premiere Pro等，以支(zhi)持各種創(chuang)意工作流程。自2023年發(fa)布以來，Firefly已累計(ji)生(sheng)成超過130億(yi)張圖像(xiang)，僅過去六個月就(jiu)生(sheng)成60億(yi)張。
一、Firefly進行公開測試，AI視頻最多可生成5秒，視頻擴展最多延長2秒
本次視頻編輯軟件Premiere Pro的(de)重大更新，一是(shi)幫助用戶自動擴展開頭片尾，二是(shi)模擬相機(ji)進行一鍵調參(can)，三(san)是(shi)實現視頻一鍵重拍。
1. 生成擴展：適合微小調整，視頻最多延長2秒，音效最多延長10秒
生成擴(kuo)展由Firefly模(mo)型(xing)支持，現已在(zai)Premiere?Pro?Beta版(ban)本中進行(xing)測(ce)試(shi)。該工(gong)具能夠實現視頻(pin)素材的自動擴(kuo)展，填補視頻(pin)空白(bai)、實現畫面平(ping)滑(hua)過渡，以及(ji)延長視頻(pin)的開頭片(pian)尾。
延長視(shi)頻，即(ji)如果視(shi)頻的開頭或(huo)結尾略短(duan)，生成(cheng)擴(kuo)展功能(neng)可自動(dong)進(jin)行素(su)材填充。生成(cheng)擴(kuo)展功能(neng)還可以幫(bang)助(zhu)微調視(shi)頻中景(jing)，即(ji)它(ta)能(neng)發(fa)現拍攝過程中的視(shi)線偏移或(huo)意外移動(dong)，并進(jin)行糾(jiu)正(zheng)。
目前(qian)，生成(cheng)擴展(zhan)(zhan)功(gong)能最多支(zhi)持視(shi)頻延(yan)長2秒，以此滿足用(yong)戶微(wei)調(diao)視(shi)頻的需要(yao)，一(yi)定程度上免去重新拍攝素材的麻煩。生成(cheng)擴展(zhan)(zhan)功(gong)能的分(fen)辨率(lv)(lv)是720P或(huo)1080P分(fen)辨率(lv)(lv)，24幀每秒。
此(ci)外，生(sheng)成擴(kuo)展(zhan)功(gong)能(neng)也能(neng)用于音頻剪輯，它可以將視(shi)頻中的音效或環境背景(jing)音擴(kuo)展(zhan)最多十秒(miao)鐘，但不會延長語音對話(hua)或音樂。
▲新生(sheng)成擴展工具可(ke)以(yi)填(tian)補通常(chang)需(xu)要完全重新拍攝的素材中的空白（圖源：Adobe）
2. 文生視頻：可仿照攝像機直接調參，最多生成5秒視頻
Adobe的(de)(de)文生模型和圖生模型于9月份(fen)首次發布(bu)，目(mu)前正在Firefly Web應用程序中作為有限的(de)(de)公開測(ce)試版推出(chu)。
文生(sheng)(sheng)(sheng)模型(xing)的功(gong)能與(yu)Runway和(he)OpenAI的Sora等其他(ta)視(shi)(shi)頻生(sheng)(sheng)(sheng)成器類似，用戶只(zhi)需輸入想生(sheng)(sheng)(sheng)成的視(shi)(shi)頻的文本描述即可。該文生(sheng)(sheng)(sheng)模型(xing)可以模擬真實電影、3D動畫(hua)和(he)定格動畫(hua)等多(duo)種風格來生(sheng)(sheng)(sheng)成視(shi)(shi)頻。
此(ci)外，用戶可以通過文生(sheng)模(mo)型，仿照攝(she)像機(ji)調節視(shi)頻拍攝(she)參數。用戶可以通過模(mo)擬攝(she)像機(ji)角度、運動和拍攝(she)距離等，來進一步細化生(sheng)成的視(shi)頻。
▲通過相機控制選項來(lai)調整生成(cheng)圖像的示例（圖源：Adobe）
3、圖生視頻：一張圖直接重制視頻，但無法完全替代重拍
圖生視(shi)頻(pin)相較于文生視(shi)頻(pin)，在功能(neng)上(shang)更(geng)進一步(bu)。圖生視(shi)頻(pin)允許用戶(hu)在文本(ben)提示的基礎上(shang)，添加(jia)參考圖像，以生成更(geng)符(fu)合想象的視(shi)頻(pin)。
用戶還可以上傳已(yi)有視頻的(de)單幀，一(yi)鍵創建完整的(de)特寫鏡頭，來制作視頻花絮。
圖生視(shi)(shi)頻(pin)模型可實現視(shi)(shi)頻(pin)重拍。用戶可以(yi)上傳靜(jing)態圖片來重新制作(zuo)視(shi)(shi)頻(pin)，直接對(dui)原視(shi)(shi)頻(pin)中(zhong)的人物動作(zuo)進行操作(zuo)和修改，實現視(shi)(shi)覺上的再(zai)加工。
然(ran)而，科技(ji)媒(mei)體The Verge的測(ce)試(shi)表(biao)明，這項技(ji)術目前還無法(fa)完全替代重新拍攝，其生(sheng)成結(jie)果(guo)存在瑕疵。例如(ru)，測(ce)試(shi)中出現了電纜晃動(dong)和背(bei)景移動(dong)等問題，生(sheng)成的視頻在某(mou)些細節(jie)處理上(shang)不(bu)夠(gou)精(jing)確(que)。
▲原始剪輯（視頻來源：Adobe）
▲使用圖像到視頻(pin)工具(ju)“重制”鏡(jing)頭，注(zhu)意看黃(huang)色電纜搖晃(huang)了（視頻(pin)來(lai)源：Adobe）
目(mu)前，Adobe的(de)文生視(shi)(shi)(shi)頻(pin)和圖生視(shi)(shi)(shi)頻(pin)，二者生成的(de)視(shi)(shi)(shi)頻(pin)時(shi)長均最多5秒(miao)，最高(gao)分(fen)辨率(lv)為(wei)720P，幀率(lv)為(wei)每秒(miao)24幀。OpenAI的(de)Sora聲稱(cheng)可以(yi)生成長達一分(fen)鐘的(de)視(shi)(shi)(shi)頻(pin)，并能在(zai)保持視(shi)(shi)(shi)覺質量的(de)同時(shi)滿足用(yong)戶的(de)提示(shi)要求，但其并未向公眾(zhong)開放使用(yong)。
▲該模型(xing)僅限于生成大(da)約4秒長的剪輯。幼龍在巖(yan)漿中(zhong)爬(pa)行(xing)的示例（視頻來源(yuan)：Adobe）
二、增強圖像、矢量和設計模型功能更新，Firefly?Services將支持批(pi)量創建(jian)
自(zi)2023年推出以來，Firefly陸續(xu)被引入PS、Express、Illustrator、3D繪(hui)圖軟件(jian)Substance 3D中，并支持Creative Cloud應用程序中的各(ge)種(zhong)工(gong)作(zuo)流程。
本次更(geng)新，Adobe在PS中推出了全(quan)新的AI生成(cheng)工作(zuo)(zuo)區（測試版），由Firefly模型支持。它能幫助設計師進行創意構思(si)和迭代(dai)，簡單操(cao)作(zuo)(zuo)即可生成(cheng)視覺效果。
同時，Adobe更(geng)新(xin)了(le)Illustrator，并引(yin)入最(zui)新(xin)的Firefly矢(shi)量模型（測試(shi)版(ban)）。新(xin)功(gong)能包(bao)括生成形(xing)狀填充、重新(xin)著色和(he)文本(ben)到圖案等(deng)，設計師可以快速生成和(he)優化矢(shi)量圖形(xing)，并控制圖案中(zhong)元素的密度(du)，靈(ling)活調整設計復(fu)雜度(du)，實現個性(xing)化創作。
此外，Adobe預(yu)覽(lan)了一款新功(gong)能Project Concept，旨(zhi)在促(cu)進團隊協作中的創(chuang)意(yi)開發。該功(gong)能允許多人在同一畫布(bu)上實時構思(si)和(he)重(zhong)新混合圖(tu)像內容。
▲Project Concept示例（圖源：Adobe）
今年3月，Adobe推出了面向企業的創意和生成API集合Firefly Services。Firefly Services支(zhi)持企(qi)業自有(you)數(shu)據對模(mo)型進行定制、微(wei)調，同(tong)時可以與PS、Illustrator、Express等(deng)Adobe產(chan)品結合使用，簡化創意(yi)流程。
本(ben)次產品(pin)更新，Firefly Services將支(zhi)持配音和唇(chun)形同(tong)步功(gong)能，目前這兩(liang)個功(gong)能已進入測(ce)試(shi)階段。用戶可以(yi)利用生成(cheng)式AI將視(shi)頻中的口語(yu)對話翻譯成(cheng)不同(tong)語(yu)言，同(tong)時確保(bao)唇(chun)形與原始聲音匹配同(tong)步。
另(ling)外，Firefly?Services還(huan)將(jiang)支持(chi)批量創建，簡化圖像(xiang)大小調整、背景刪除等任務。
迄今為止，已(yi)有多個知(zhi)名客戶(hu)使用了Adobe?Firefly Services，包括PepsiCo/Gatorade、IBM、Mattel、IPG?Health和(he)德勤等(deng)。他(ta)們通過Firefly優化(hua)工作(zuo)流程并擴展內容創(chuang)(chuang)(chuang)建，使創(chuang)(chuang)(chuang)意人員能(neng)有更多時(shi)間探索(suo)創(chuang)(chuang)(chuang)意愿(yuan)景。
三、Firefly訓練數據合法且豐富，支持超過100種語言文本提示
商業可用性是AI視頻(pin)生成(cheng)行(xing)業的關鍵問(wen)題(ti)。此前，Runway公(gong)司(si)在訓練其AI視頻(pin)生成(cheng)工具Gen-3時，涉嫌(xian)非(fei)法使用了(le)大(da)量YouTube視頻(pin)和盜版電影，侵犯了(le)內容創作者權益(yi)并違反了(le)YouTube使用規(gui)則。
Adobe強調其(qi)AI功能根據公(gong)司制定的(de)AI道德原(yuan)則(ze)開發(fa)，強調問責制、責任(ren)和透明度。Adobe表示其(qi)基于(yu)AI視頻模型支持的(de)工具是(shi)“商業(ye)安全(quan)的(de)”。Firefly的(de)訓(xun)練數據來源于(yu)Adobe許可內容(rong)（如Adobe?Stock）和公(gong)共領(ling)域(yu)內容(rong)，能夠確保生成作品的(de)安全(quan)性和合規性。
Firefly支持超(chao)過(guo)100種語(yu)言的文本提示(shi)。自(zi)2019年創立(li)內容真實性計劃以來，Adobe廣泛采(cai)用內容憑證(zheng)作為數字內容透(tou)明度的行業標準。該內容憑證(zheng)目前(qian)已(yi)獲(huo)得(de)3700多名(ming)成員的支持。
內(nei)(nei)容(rong)憑證(zheng)就(jiu)像數字內(nei)(nei)容(rong)的(de)“營養(yang)標(biao)簽”。用(yong)(yong)戶在Creative?Cloud中選擇Firefly支持的(de)功能時，內(nei)(nei)容(rong)憑證(zheng)將標(biao)明生成式AI的(de)使用(yong)(yong)情(qing)況。此外，內(nei)(nei)容(rong)憑證(zheng)也會嵌入用(yong)(yong)戶使用(yong)(yong)Firefly創建或編輯(ji)的(de)視頻(pin)，以(yi)披露AI的(de)使用(yong)(yong)和(he)所有權。
結語：Adobe正(zheng)式入局AI視頻生成，與OpenAI等展開競爭
從去年3月發布第一版Firefly，到今年首次公開測試，Adobe在(zai)AI視頻生(sheng)成技術商業(ye)化應用上邁(mai)出了重要一步。
現階段，Adobe的(de)圖(tu)生(sheng)視頻模型無法完全替代重新拍(pai)攝，生(sheng)成結果仍存在瑕(xia)疵(ci)。而且相較于宣稱能生(sheng)成一(yi)分(fen)鐘視頻的(de)Sora，Adobe的(de)文生(sheng)視頻和圖(tu)生(sheng)視頻的(de)最大長度僅為(wei)5秒。但是(shi)，Adobe的(de)這些工(gong)具至少是(shi)公開可用的(de)。OpenAI的(de)Sora、Meta的(de)Movie?Gen和Google的(de)Veo等AI視頻生(sheng)成工(gong)具的(de)內容均還(huan)不可用。
在有限公開測試階段，Firefly相關產品(pin)免費使用，用戶也可前往官網申請加入候補名單。
目(mu)前，Adobe尚未宣布任何客戶使用其視頻生成工具。但(dan)據Adobe透(tou)露，百事可樂(le)旗下的運(yun)動(dong)飲料品牌佳得樂(le)將在(zai)一(yi)個(ge)網站上使用其圖像生成模型(xing)，顧客可以(yi)在(zai)該(gai)網站上購買定制版瓶子。全球最大的玩具公司美泰一(yi)直在(zai)使用Adobe工具來(lai)幫(bang)助設(she)計其芭比娃娃系列的包裝。
面(mian)對(dui)OpenAI、Runway、Google和Meta等競爭對(dui)手(shou)，Adobe將未(wei)來押注在(zai)使用合法數據訓練的(de)模型(xing)上，以確保其(qi)AI生(sheng)成(cheng)內容可在(zai)商業作品中合法使用。
Firefly視頻模型憑借其使用授權(quan)內(nei)(nei)容(rong)的(de)(de)訓練(lian)數據，確保了生(sheng)成內(nei)(nei)容(rong)的(de)(de)版(ban)權(quan)合規性。這一優(you)勢使得(de)生(sheng)成的(de)(de)內(nei)(nei)容(rong)能夠合法應用于(yu)商業項目，這對(dui)企業和品(pin)牌而(er)(er)言非常重要(yao)。而(er)(er)其他視頻生(sheng)成模型則因訓練(lian)數據來(lai)源不明或未經(jing)授權(quan)，頻頻卷入版(ban)權(quan)和道德爭議。
來源：Adobe、The Verge、路透(tou)社(she)
