智東西（公眾號：zhidxcom）
作者｜依婷
編輯｜心緣
智東西11月13日報(bao)道，今日，在“From Paper to App”媒(mei)體溝(gou)通(tong)會上，AI技術公司彩云科技正式推出首款基(ji)于DCFormer架(jia)構(gou)開發的通(tong)用大(da)模型“云錦天章”，旗下AI RPG平(ping)臺“彩云小夢”也成為(wei)首款基(ji)于DCFormer架(jia)構(gou)開發的AI產品。
與(yu)此同(tong)時(shi)，彩云科技CEO袁行遠(yuan)就AI大模型落地應用難、大模型未來進化(hua)之路(lu)等行業熱點話(hua)題與(yu)智(zhi)東西等媒(mei)體進行了(le)交(jiao)流。
袁行遠說：“ChatGPT發布(bu)近兩年，為(wei)什(shen)么(me)對世界的(de)(de)改變仍然有限？我稱(cheng)之為(wei)‘智能沒有免費(fei)的(de)(de)午餐定理’——做(zuo)同(tong)樣一件事(shi)，大模型需(xu)要消(xiao)耗(hao)的(de)(de)算(suan)力(li)要和(he)大腦思考需(xu)要消(xiao)耗(hao)的(de)(de)腦力(li)一樣多，才能得到(dao)和(he)大腦思考同(tong)樣的(de)(de)效果。”
一、顛覆Transformer架構，性能最高提升2倍
“假設(she)(she)ChatGPT-4每天響應用(yong)戶約2億個請求，消耗超過50萬(wan)千瓦(wa)時的電力。假設(she)(she)全球(qiu)網(wang)絡(luo)都使用(yong)ChatGPT作為(wei)訪問入口，ChatGPT每天消耗多少(shao)電力？另外(wai)按照這個速度發(fa)展下去(qu)，到2050年全球(qiu)人工智能的耗電量會達到目前地球(qiu)發(fa)電能力的多少(shao)倍(bei)？”
“到2050年，全球人(ren)工智(zhi)能的(de)耗(hao)電量可(ke)能會達到目前(qian)地球發電能力的(de)8倍。”
上面是(shi)溝通會現場(chang)，袁(yuan)行(xing)遠向參會者展示的(de)(de)他與ChatGPT-o1之間的(de)(de)問答；改(gai)變AI能源困局也是(shi)袁(yuan)行(xing)遠主張改(gai)善大模型底(di)層架構的(de)(de)出發(fa)點(dian)。
“Scaling Law告訴我們，隨著算力的提(ti)升(sheng)，模(mo)型更大、數據更多，模(mo)型效果(guo)會(hui)越(yue)(yue)(yue)來(lai)越(yue)(yue)(yue)好(hao)，但與之(zhi)相應的，能耗也會(hui)越(yue)(yue)(yue)來(lai)越(yue)(yue)(yue)高，在(zai)Scaling Law失效、AI實現(xian)之(zhi)前，或許(xu)我們地球的能源就已經無法支撐(cheng)了(le)。”袁行遠(yuan)稱，“沒有效率(lv)的提(ti)升(sheng)，AI就是鏡(jing)花(hua)水(shui)月(yue)。”
今年年中，彩云科技(ji)帶來了顛覆(fu)Transformer架(jia)構(gou)的(de)研(yan)究成(cheng)(cheng)果。在國際(ji)機器學(xue)習(xi)領域的(de)頂級會(hui)議ICML（國際(ji)機器學(xue)習(xi)大會(hui)）上(shang)，彩云科技(ji)發布論(lun)(lun)文(wen)《Improving Transformers with Dynamically Composable Multi-Head Attention》及論(lun)(lun)文(wen)核(he)心成(cheng)(cheng)果DCFormer架(jia)構(gou)。
據介紹，彩云科技團隊(dui)構(gou)建DCFormer框架(jia)，提出可(ke)動態組合(he)的(de)(de)多頭(tou)(tou)注意力（DCMHA），替換Transformer核(he)心組件多頭(tou)(tou)注意力模(mo)塊（MHA），解除了MHA注意力頭(tou)(tou)的(de)(de)查找(zhao)選擇回路(lu)(lu)和變(bian)換回路(lu)(lu)的(de)(de)固定綁定，讓(rang)它(ta)們可(ke)以根據輸入動態組合(he)，從根本上提升了模(mo)型(xing)的(de)(de)表達能力，由此實現了對Transformer架(jia)構(gou)1.7—2倍的(de)(de)性(xing)能提升。
“我們(men)的(de)(de)工(gong)作表明，Transformer架構(gou)距(ju)離‘理想模(mo)型(xing)架構(gou)’還有很大(da)(da)(da)的(de)(de)提(ti)升空間，除了堆(dui)算力(li)、堆(dui)數據的(de)(de)‘大(da)(da)(da)力(li)出奇(qi)跡’路(lu)線，模(mo)型(xing)架構(gou)創(chuang)新(xin)同樣大(da)(da)(da)有可(ke)為。”袁行遠補充道：“往小了說，在大(da)(da)(da)模(mo)型(xing)領域(yu)，利用效(xiao)率更高的(de)(de)模(mo)型(xing)架構(gou)，小公司也可(ke)以在與世界頂級AI企業的(de)(de)對抗中取得(de)優勢；往大(da)(da)(da)了說，模(mo)型(xing)效(xiao)率的(de)(de)提(ti)升，可(ke)以有效(xiao)地降低AI升級迭代(dai)的(de)(de)成本，加速AI時代(dai)的(de)(de)到來。”
二、0提示詞按回車鍵AI續寫小說，最高輸出10000字
“世界最強的小說續寫(xie)通(tong)用(yong)模(mo)(mo)型。”溝(gou)通(tong)會上，袁行遠帶著(zhu)些中二語氣(qi)地展(zhan)示(shi)了基于DCFormer架(jia)構的通(tong)用(yong)大模(mo)(mo)型“云錦天章”。
袁行遠介紹，云錦天章可以實(shi)現(xian)在虛構(gou)世界觀的(de)基礎上，賦予小說人物編程、數學等基礎能力，可以高(gao)速(su)針對大(da)量文(wen)字進行擴寫(xie)、縮(suo)寫(xie)，針對文(wen)章風格進行大(da)容量更換，同時(shi)兼具其他(ta)模(mo)型的(de)問答、數學、編程等基礎能力。
根(gen)據現場演(yan)示，云錦(jin)天章(zhang)目前可以在“寫(xie)小(xiao)說”等類似提示詞(ci)的(de)情境下，實(shi)現一(yi)輪提示詞(ci)，按回車(che)鍵多(duo)次自動(dong)續寫(xie)內容(rong)；同一(yi)輪對(dui)話的(de)輸出字數在8000至(zhi)10000字左(zuo)右。該功能將通過(guo)API形式向(xiang)企業開放，并免費向(xiang)C端用戶開放。
彩(cai)云(yun)科技(ji)旗下(xia)AI RPG平臺(tai)彩(cai)云(yun)小夢也迎來(lai)了基于DCFormer架構(gou)的V3.5版本(ben)。與之前的版本(ben)相(xiang)比(bi)，彩(cai)云(yun)小夢V3.5整體(ti)流暢性和連貫性提升了20%，支持前文(wen)長度由(you)2000字提升至10000字，故事背景(jing)設定最長長度高達10000字。
這意味(wei)著，在(zai)故(gu)事創(chuang)作或者AI對話中(zhong)，AI能夠記住之前(qian)發生的(de)(de)事情以及故(gu)事中(zhong)的(de)(de)細節；創(chuang)建的(de)(de)人物也(ye)會記得自己明確(que)的(de)(de)目標，并且會根據劇(ju)情及時進行反(fan)思修正，在(zai)做到自主創(chuang)作的(de)(de)同時，發散性(xing)收斂，不會天(tian)馬行空(kong)，人物性(xing)格前(qian)后一致，故(gu)事邏輯性(xing)更強。
“深度對話，超長記憶，邏(luo)輯清晰(xi)。”袁行遠總結彩云小夢(meng)V3.5的特征(zheng)。他透露(lu)，目前彩云小夢(meng)的用戶以網文寫作者為主，有用戶同(tong)時更新10部小說，日更10萬字，月入(ru)5-6萬元(yuan)。
袁行遠(yuan)介紹，公司(si)接下來將(jiang)繼續(xu)加(jia)大對(dui)DCFormer的研究和(he)投入，“一方面有打破‘國外做技術層，國內做應用層’刻板印象的情(qing)懷所在，一方面也是為公司(si)自有產品(pin)應對(dui)市場(chang)競爭(zheng)，實現快速迭代(dai)升級和(he)能(neng)力領(ling)先的現實需要。”
結語：新架構效果有待檢驗，AI細分賽道仍需開拓
對(dui)(dui)于當下的(de)AI大(da)模(mo)型，谷歌的(de)Transformer架(jia)構(gou)仿佛(fo)成(cheng)(cheng)為既定法則(ze)，彩云科技(ji)從底層架(jia)構(gou)對(dui)(dui)其進行顛覆，在理論上對(dui)(dui)大(da)模(mo)型生成(cheng)(cheng)效率取得(de)了(le)顯著提(ti)升，但能否(fou)產(chan)生行業影響(xiang)還(huan)有(you)待更(geng)多(duo)企業對(dui)(dui)DCFormer架(jia)構(gou)進行體驗。
與此(ci)同時，在AI陪伴領域挖掘AI寫網文、AI RPG等細分賽道，不(bu)失為中小型AI創(chuang)業(ye)公司可以參考的思(si)路。有需求(qiu)才有市(shi)場，彩(cai)云小夢瞄(miao)準了(le)網文創(chuang)作者，而更廣闊的AI應(ying)用(yong)賽道還有待被發現。
