
智東西(公眾號:zhidxcom)
編譯 | 徐珊
編輯 |?云鵬
智(zhi)東西6月17日消息,據Facebook官(guan)網顯(xian)示,他們剛剛公布(bu)了一個新的(de)(de)AI項目——文(wen)(wen)(wen)本(ben)樣(yang)式(shi)筆(bi)刷(shua)(TextStyleBrush)。只需要提交(jiao)某一個單詞的(de)(de)圖像,文(wen)(wen)(wen)本(ben)樣(yang)式(shi)筆(bi)刷(shua)就(jiu)可(ke)以復(fu)制照片中文(wen)(wen)(wen)字的(de)(de)字跡(ji),然(ran)后將其他文(wen)(wen)(wen)本(ben)統一替換成該類文(wen)(wen)(wen)字的(de)(de)樣(yang)式(shi)。簡單來(lai)說,就(jiu)是可(ke)以模(mo)仿你的(de)(de)字跡(ji)。
同(tong)時(shi),文本(ben)樣式筆(bi)刷技術運用了(le)一種新的自我監督AI模型,可以預先通(tong)過字(zi)體分類(lei)器(font classifier)和文本(ben)識別(bie)器(text recognizer)訓練來識別(bie)源樣式(source style samples)和目標內容(rong)。
Facebook認為(wei),文(wen)本樣(yang)式筆(bi)刷將釋放人們的(de)創造性以(yi)及自我(wo)表達(da)的(de)潛(qian)力(li),協助打造個性化的(de)文(wen)本和字幕。在AR領域,文(wen)本樣(yang)式筆(bi)刷可以(yi)提供虛擬和現實之間的(de)文(wen)本轉(zhuan)換(photo-realistic translation of languages)技術。
目前,這(zhe)份研究成果已經在6月10日(ri)發表在Facebook官(guan)網,報告名稱為《文本樣式筆刷:通過一個簡單的例子(zi)來(lai)繼承(cheng)“字形美學(xue)”(TextStyleBrush: Transfer of text aesthetics from a single example)》。
報告鏈接:
//ai.facebook.com/research/publications/textstylebrush-transfer-of-text-aesthetics-from-a-single-example
一、文字版Deepfake,可自主理解“字跡”
文本樣(yang)式(shi)筆刷類似于文字處理器里的(de)格式(shi)刷工具,更像文字版本的(de)Deepfake(AI換臉軟件)。
文本樣(yang)式筆刷(shua)采(cai)用了先進(jin)的AI訓練方法,可以一(yi)次性傳輸(shu)所有信息(xi),然后自(zi)動分離圖像中的文字(zi)信息(xi)與字(zi)體(ti)邊框、紙(zhi)張背(bei)景等(deng),不需(xu)要重新(xin)輸(shu)入新(xin)的源樣(yang)式示例。
與之(zhi)前(qian)大多數人(ren)工圖像(xiang)生成(cheng)技術不(bu)同,文(wen)本樣式筆刷并不(bu)需(xu)要研發者設(she)定特定類型或(huo)目(mu)標(biao)樣式的參數。研發團隊(dui)試圖構建一(yi)個足夠靈(ling)活的人(ren)工智能系統來理解現實生活中不(bu)同文(wen)本和筆跡之(zhi)間的細微(wei)差別。
▲圖源Facebook
這意味著,該(gai)人工智能系統需(xu)要自主理解(jie)任(ren)何字(zi)(zi)體(ti)的(de)呈現形式,不(bu)僅是(shi)字(zi)(zi)體(ti)、書法、文字(zi)(zi)風格,而且還需(xu)要理解(jie)字(zi)(zi)體(ti)形式的(de)不(bu)同變換,如旋轉、彎曲(curved text)、紙筆之間的(de)變形,以及圖(tu)片背景干擾(image noise)等(deng)。
如果AI不能(neng)(neng)剔除這些干(gan)擾信(xin)息,就不能(neng)(neng)從(cong)圖片中完整地得(de)到文字(zi)本身的相(xiang)關信(xin)息。同時,研(yan)發團隊也很(hen)難為(wei)整個字(zi)母表或者數(shu)字(zi)的所有呈現形式都配(pei)上注釋(shi)。
該項(xiang)研(yan)(yan)究證明,人們可以借(jie)助AI,在各類場景(jing)中更加靈活和準確地表達“字體美學”。但研(yan)(yan)究報告也同時(shi)提到,目前文本樣式筆刷技術仍有不足,還難以識別金(jin)屬材質(zhi)或不同顏色的文本。
二、多場景普遍使用,直接合成逼真照片
經驗表明,文本樣式筆刷可以(yi)模(mo)仿垃圾桶、路牌、飲料瓶、店面裝飾等多場景下字體的文本樣式。
文本樣式筆刷技術(shu)對(dui)合成(cheng)圖片的要求同(tong)樣很高(gao)。
▲圖源(yuan)Facebook研究報告
TextStyleBrush模型(xing)是基于StyleGAN2設計,能夠(gou)形成非常逼(bi)真的圖片(pian)。
文本樣式筆(bi)刷(shua)技術不但(dan)可以將印(yin)刷(shua)體(ti)(ti)都(dou)轉換成手寫體(ti)(ti),同(tong)時(shi)可以識(shi)別其他樣式的文字,將它(ta)自動合成手寫體(ti)(ti)樣式。
同(tong)時,Facebook還通(tong)過(guo)結合文(wen)字(zi)樣式(shi)分類(lei)、文(wen)本識別(OCR)和(he)(he)GAN這(zhe)三種(zhong)模型(xing)來(lai)保(bao)留文(wen)字(zi)輸出的樣式(shi),再用通(tong)過(guo)字(zi)體分類(lei)器和(he)(he)文(wen)本識別器來(lai)“判(pan)斷”圖像的文(wen)字(zi)內容(rong)是否合格。
三、你的字跡會被盜用?別擔心,該技術暫時不會落地現實
在期待新技術的(de)應用(yong)(yong)時,Facebook也在報告(gao)中提到對技術濫用(yong)(yong)的(de)擔憂。
他們擔心該(gai)項技術可(ke)能會(hui)如(ru)Deepfake一(yi)樣遭到(dao)濫用,甚至成為不法(fa)分子的作案工具,因此該(gai)項技術暫時不會(hui)落(luo)地(di)現實。
Facebook表示,他們希(xi)望(wang)通過公開這項AI研(yan)究(jiu)結(jie)果,鼓勵業內更多人士對虛擬文本的(de)研(yan)究(jiu),以避免受到深度偽造文本攻擊(deepfake text attacks)。
他們認(ren)為,如果人工智(zhi)能研究人員能夠在構(gou)建仿真(zhen)文本方面技(ji)術領(ling)先,就可以更好地建立識別虛(xu)假文本的技(ji)術體系(xi)。
目前(qian)這項技(ji)術僅存在研究(jiu),但Facebook表(biao)示它可以在未來(lai)應用廣(guang)泛(fan),比(bi)如將圖像文本(ben)翻譯成不同的語言,創建個性化的文本(ben)信息和標題,甚至協助(zhu)在AR世界里翻譯現(xian)實文本(ben)。
結語:真假難辨,AI呈現雙刃劍
2017年,Deepfake首次在美國社(she)交新(xin)聞網站Reddit亮相,成功互換(huan)兩部(bu)電影(ying)女主角的(de)臉。但(dan)很快,就被全球封禁。這(zhe)期(qi)間,有一(yi)些人因為利益利用Deepfake偽造總統(tong)致辭,散布不(bu)實傳(chuan)聞等,人們在真與假中(zhong)惶惶不(bu)安(an)。
圖片上的PS技術,視頻(pin)領(ling)域的Deepfake換臉技術,文字領(ling)域的文本樣式筆刷(shua)技術都會讓人難(nan)以(yi)分別真假,從(cong)而引發一系列辨(bian)別真假的鬧劇。
在期待技術(shu)給人們帶來(lai)更多便捷的(de)時(shi)候,我(wo)們也要不忘對(dui)新的(de)技術(shu)抱有(you)謹(jin)慎的(de)態度。
來源:Facebook