智東西(公眾號:zhidxcom)
作者 | ?ZeR0
編輯 | ?漠影

智東西(xi)5月18日(ri)報道,今日(ri),云從科技推(tui)出從容(rong)大模(mo)型(xing)(xing),并現場演示了從容(rong)大模(mo)型(xing)(xing)在問答、寫命題作文(wen)、意圖理解、多輪對話、英(ying)文(wen)寫作、機器翻譯(yi)、編程、圖文(wen)跨模(mo)態理解、做中考(kao)真題等方面(mian)的能力。目前從容(rong)大模(mo)型(xing)(xing)處于內測階段。

根據(ju)演示,從容大(da)模型對一本預先上傳(chuan)好的(de)(de)(de)大(da)約有(you)五六百頁的(de)(de)(de)《大(da)話西方藝(yi)術史(shi)》書(shu)籍進行了深度理(li)解(jie),包括詢(xun)問(wen)書(shu)籍相關內容、總結這是一本什么樣的(de)(de)(de)書(shu)、找到指定要求(qiu)的(de)(de)(de)圖等。

經過對從容大模型、ChatGPT、GPT-4做去年中考真題(ti)(ti)的能力進(jin)行測試,云(yun)從從容比(bi)(bi)ChatGPT的答(da)題(ti)(ti)速度更快,答(da)歷史、生(sheng)物(wu)題(ti)(ti)的得分(fen)略低于(yu)ChatGPT,答(da)地理(li)題(ti)(ti)的得分(fen)與(yu)ChatGPT持平(ping),答(da)政治題(ti)(ti)、道德與(yu)法制題(ti)(ti)的表現比(bi)(bi)ChatGPT更好(hao)。目前GPT-4.0的水平(ping)明顯優于(yu)其他系統。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

現(xian)場,大(da)模(mo)型信創生態聯(lian)盟正(zheng)式成立(li),成員包(bao)括優(you)刻(ke)得、廈門文旅(lv)、華為昇騰、南沙公控(kong)、CSDN、眾數信科等,旨在促進大(da)模(mo)型技術的(de)創新和發展,推動人工智能在各個行(xing)業應用。

云從(cong)科技(ji)也將(jiang)分別與中國中檢(jian)、神(shen)舟(zhou)信息(xi)、深(shen)圳報(bao)業(ye)、佳都科技(ji)、金(jin)世緣、游(you)族網絡、艾登科技(ji)合作,推出質(zhi)量大(da)模(mo)(mo)型(xing)(xing)、金(jin)融大(da)模(mo)(mo)型(xing)(xing)、文娛大(da)模(mo)(mo)型(xing)(xing)、交通大(da)模(mo)(mo)型(xing)(xing)、制造大(da)模(mo)(mo)型(xing)(xing)、游(you)戲大(da)模(mo)(mo)型(xing)(xing)、醫療大(da)模(mo)(mo)型(xing)(xing)等。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

一、基礎能力演示:支持圖文跨模態理解,做中考題速度比ChatGPT快

從容大(da)模型的對話(hua)界(jie)面跟ChatGPT差不多。云(yun)從科技技術管理部(bu)總監葉(xie)懋現場(chang)進(jin)行(xing)了從容大(da)模型的基(ji)礎能(neng)力演示(shi)。

問答方面,從容大模型的回復風格(ge)偏簡潔、實(shi)在,能夠(gou)避開一(yi)些陷(xian)阱題(ti)挖的坑。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

寫作方面,針對(dui)去年四川(chuan)省的(de)一(yi)個(ge)中考作文題“以最美(mei)的(de)顏(yan)(yan)色為題寫一(yi)篇(pian)不少(shao)于600字的(de)作文”,從容大(da)模(mo)型(xing)現場(chang)寫出一(yi)篇(pian)作文。向它提(ti)出更多修改或(huo)限(xian)定要(yao)求(qiu),比如用白色改寫、要(yao)求(qiu)更有深度(du)、改成(cheng)以一(yi)個(ge)患病小孩的(de)視角(jiao)寫最美(mei)的(de)顏(yan)(yan)色來自于醫護人員的(de)白大(da)褂(gua)等等之后,從容大(da)模(mo)型(xing)能(neng)(neng)夠理解意圖并展現出多輪對(dui)話的(de)能(neng)(neng)力。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

英文寫作方面,從容大(da)模(mo)型現場創(chuang)作了(le)一篇英文招領啟(qi)事,并根據要求(qiu)修改(gai)了(le)落款。要求(qiu)它翻譯(yi)(yi)成(cheng)中(zhong)文后,它首先給出的回(hui)復是偏(pian)生硬(ying)的直譯(yi)(yi),接著按照(zhao)“用中(zhong)文習慣改(gai)寫”的新要求(qiu)改(gai)寫了(le)這(zhe)篇啟(qi)事。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

編程方面,從容大模型先展示(shi)了寫代碼的(de)能(neng)力(li),寫出一(yi)段快速(su)排序的(de)代碼。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

向(xiang)它提(ti)出相對專業些的(de)(de)話題,“這(zhe)段代碼的(de)(de)時間復雜度是多(duo)少(shao)”,從容大模型的(de)(de)回復沒什么毛病(bing)。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

要求加(jia)上代碼注釋,它也能快速完成。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

再提(ti)高點難(nan)度,讓它寫出C++程序員(yuan)能看(kan)懂的代碼(ma),它不僅完成(cheng)了任務,還(huan)按照前(qian)面(mian)的要求添加有注釋。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

閱讀理解方面,從容(rong)大模(mo)型支持(chi)(chi)對長(chang)文(wen)檔(dang)或者多文(wen)檔(dang)聚合進行理解,并支持(chi)(chi)圖文(wen)跨模(mo)態(tai)理解。

云從技(ji)術人員預先上傳了(le)(le)一(yi)本大概有五(wu)六百頁的《大話西方藝術史》書籍,從容(rong)大模(mo)型對這(zhe)(zhe)本書的內容(rong)進(jin)(jin)行(xing)了(le)(le)深度(du)理解,接著就(jiu)能基于這(zhe)(zhe)本書所(suo)涉(she)及(ji)的知識范疇與用戶進(jin)(jin)行(xing)互動,包括(kuo)詢問(wen)書籍相關(guan)內容(rong)、總結這(zhe)(zhe)是(shi)一(yi)本什(shen)么樣的書等。

如(ru)下(xia)圖(tu)所示,界面(mian)中間部分是書(shu)籍的正文,右邊是對話交互界面(mian),從(cong)容(rong)大模型準備了一些(xie)提(ti)問樣例,點擊(ji)(ji)某個樣例后,它就會(hui)實(shi)時生(sheng)成回(hui)復,并(bing)附有回(hui)復內容(rong)相關的一些(xie)線索。點擊(ji)(ji)這(zhe)些(xie)線索就會(hui)鏈接到書(shu)中對應的段落(luo)位(wei)置。從(cong)容(rong)大模型也能(neng)夠理解圖(tu)像,因(yin)此用(yong)戶可以描述想要的圖(tu)片(pian),讓它在(zai)書(shu)中找(zhao)出來。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

解題方面,云從科技(ji)對(dui)從容(rong)大模型、ChatGPT、GPT-4做2022年各學(xue)科中(zhong)考真(zhen)題(ti)的能力(li)進行了測試。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

從(cong)測試結果來看,云從(cong)從(cong)容比ChatGPT的(de)(de)答(da)題(ti)(ti)速度更(geng)快,答(da)歷史、生物題(ti)(ti)的(de)(de)得(de)分略低于(yu)ChatGPT,答(da)地理(li)題(ti)(ti)的(de)(de)得(de)分與ChatGPT持平,答(da)政(zheng)治題(ti)(ti)、道德與法(fa)制題(ti)(ti)的(de)(de)表現比ChatGPT更(geng)好。目(mu)前GPT-4.0的(de)(de)水平明顯(xian)優于(yu)其(qi)他系統。

二、行業應用示例:城運治理、設備維修、金融運營、政策解答

要(yao)讓從容基礎大模型真(zhen)正用起(qi)來,需要(yao)構建行業大模型。

云從科技聯合創始人、廣東公司總經理姚志強分享了從容大模型在基層治理場景的(de)應用,比如(ru)面(mian)向(xiang)民眾(zhong)服務的(de)一語智辦、面(mian)向(xiang)公務員及網格隊(dui)伍的(de)智治精靈、面(mian)向(xiang)應用開發者的(de)編程助手、面(mian)向(xiang)城運治理中(zhong)心(xin)的(de)融合指揮。

現場大屏(ping)播(bo)放了(le)針對城運治理(li)中心(xin)場景(jing)的城運智慧(hui)大屏(ping)AI精靈演示(shi)。比如(ru)指揮(hui)員(yuan)提出“把第五個(ge)屏(ping)幕移動到中間(jian)”,AI理(li)解了(le)指令并迅速(su)執行。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

指揮員(yuan)又提問“這個周(zhou)邊(bian)人和車多(duo)嗎(ma)”,AI大模(mo)型(xing)隨即借(jie)助多(duo)模(mo)態能力(li),自動分析人流車況(kuang),選取周(zhou)邊(bian)人和車最多(duo)的幾路視頻(pin)畫面,并告知(zhi)“依據(ju)視頻(pin)內容,湖泊周(zhou)邊(bian)交通狀態良好,但存在車輛占道違停現象(xiang),同時部分位置人員(yuan)較(jiao)為擁擠,建議(yi)安排安保人員(yuan)維持秩(zhi)序(xu)”。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

指揮員繼續提問:“今天對市民游玩有什么建議(yi)?”AI大模(mo)型(xing)回復(fu)了天氣狀(zhuang)況(kuang),并給(gei)出“適合出游”、“做好防(fang)曬”的建議(yi)。

面向設備維修管理場景的(de)例子,是云從科技基(ji)于行業大模型(xing)做的(de)智能維修伴(ban)隨(sui)系統(tong)。

維(wei)修計(ji)劃(hua)有(you)兩(liang)個(ge)(ge)來源:一(yi)是(shi)(shi)(shi)基于設(she)備(bei)分類,設(she)備(bei)歷史的(de)維(wei)修記錄(lu)以及最近的(de)生產計(ji)劃(hua)等會(hui)綜合自動形成(cheng)一(yi)個(ge)(ge)維(wei)檢(jian)修計(ji)劃(hua);二(er)是(shi)(shi)(shi)巡(xun)檢(jian)機(ji)器人或探(tan)頭會(hui)在機(ji)器人巡(xun)檢(jian)過(guo)程(cheng)中發現某地方有(you)個(ge)(ge)問題(ti)(ti),這個(ge)(ge)問題(ti)(ti)可能(neng)是(shi)(shi)(shi)臨(lin)時性的(de),它(ta)會(hui)知道有(you)什么故障、可能(neng)性是(shi)(shi)(shi)什么、是(shi)(shi)(shi)否需要發送一(yi)個(ge)(ge)維(wei)修請求。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

在(zai)維(wei)(wei)(wei)(wei)修(xiu)(xiu)準(zhun)備(bei)環節,大模型基于之前針對(dui)維(wei)(wei)(wei)(wei)修(xiu)(xiu)手冊、維(wei)(wei)(wei)(wei)修(xiu)(xiu)記(ji)錄、專家建議的(de)(de)理解,逐漸成長為一個維(wei)(wei)(wei)(wei)修(xiu)(xiu)的(de)(de)“老師(shi)傅”。在(zai)維(wei)(wei)(wei)(wei)修(xiu)(xiu)前,系統會提供一個包括(kuo)圖文、音視(shi)頻(pin)、維(wei)(wei)(wei)(wei)修(xiu)(xiu)關鍵要點的(de)(de)完整(zheng)預(yu)習課程(cheng),方便維(wei)(wei)(wei)(wei)修(xiu)(xiu)工(gong)程(cheng)師(shi)預(yu)習要維(wei)(wei)(wei)(wei)修(xiu)(xiu)的(de)(de)設備(bei)可能是(shi)(shi)什么(me)(me)故(gu)障、故(gu)障是(shi)(shi)由什么(me)(me)導(dao)致的(de)(de)、應該帶什么(me)(me)工(gong)具、采用什么(me)(me)修(xiu)(xiu)、換什么(me)(me)備(bei)件等等。

在維修過(guo)程中,云從智能維修伴隨系(xi)統提供(gong)兩個典型的(de)解決(jue)方案:一(yi)是“指導”,工程師可以問(wen)大模型設備故障應該怎么修;二是“監督”,大模型可以監測工程師的(de)維修動作(zuo)是否規范、有沒有遺漏重要修程。

在維(wei)修(xiu)(xiu)工(gong)單(dan)關(guan)閉時,無需工(gong)人自己寫,系統會根(gen)據全程的視頻記(ji)錄自動解(jie)析(xi),形成一個圖文(wen)的維(wei)修(xiu)(xiu)記(ji)錄,并伴有這次維(wei)修(xiu)(xiu)中的核心視頻內(nei)容,以便進行維(wei)修(xiu)(xiu)復盤(pan)和(he)對后(hou)續維(wei)修(xiu)(xiu)提供知識源。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

面向金融場景,大模型(xing)能夠提升銀(yin)行內部的業務運(yun)營效率。從容(rong)大模型(xing)可(ke)將(jiang)銀(yin)行海量的數據資源,轉(zhuan)化為更(geng)有價值的信息,突(tu)破了專(zhuan)業知識的供給瓶頸,有助于提升銀(yin)行在普惠金融(rong)、銀(yin)行運(yun)營能力、服務實體經(jing)濟(ji)方面的能力。現(xian)場演示了AI虛擬客戶經(jing)理回(hui)答(da)理財(cai)相關專(zhuan)業問題的表現(xian)。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

相比通用大模型,用本地知(zhi)識(shi)庫(ku)進(jin)行(xing)優化的(de)行(xing)業大模型能夠提供(gong)更專(zhuan)業嚴謹的(de)回答,避(bi)免出現胡編(bian)亂造的(de)情況(kuang)。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

海關政策AI精靈為例(li),海(hai)關政策AI精靈基于海(hai)關總署2000多份材料,形成本地的(de)(de)知識庫,通過語義(yi)分割、語義(yi)檢索(suo)、prompt learning等技術,為從容大(da)模(mo)型(xing)構造(zao)了(le)精準的(de)(de)提(ti)示詞,進而(er)能夠充分發揮大(da)模(mo)型(xing)的(de)(de)能力,為用戶提(ti)供準確的(de)(de)政策解(jie)答。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

云從科(ke)技內部還孵化了若干(gan)大(da)模型應(ying)用創業項目(mu),比如大(da)麥數(shu)字人直(zhi)播平(ping)臺(tai)能夠實現直(zhi)播間智能搭建、直(zhi)播預熱語料提供等功能。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

面向教育場景,智能(neng)教(jiao)育AI精靈能(neng)夠基(ji)(ji)于現(xian)有課程教(jiao)綱、題庫等基(ji)(ji)礎模型,形成自(zi)生(sheng)(sheng)(sheng)題庫,根據學生(sheng)(sheng)(sheng)平時表(biao)現(xian)生(sheng)(sheng)(sheng)成定(ding)制習題及學習計(ji)劃(hua),并(bing)能(neng)夠通過學生(sheng)(sheng)(sheng)表(biao)現(xian)自(zi)動生(sheng)(sheng)(sheng)成對應的(de)綜(zong)合(he)評價分析,減少(shao)老師日常工作負(fu)擔。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

結語:未來幾年,技術會不斷解鎖場景

在展(zhan)示(shi)出語言、數學(xue)、推理等基礎通識(shi)能力后,大模型正在走向行業,展(zhan)現(xian)出在金融、法(fa)律(lv)、醫學(xue)、政策(ce)等專業知識(shi)領域的應用潛能。

云從科(ke)技董(dong)事(shi)長兼總經理周曦認為,大模型(xing)將(jiang)顛覆(fu)傳統交互方(fang)式(shi),主要以問答、伴隨(sui)、托(tuo)管(guan)(guan)三種形式(shi)呈現。其中,“問答”即(ji)(ji)當(dang)前的GPT;“伴隨(sui)”即(ji)(ji)AI會(hui)像一個朋友一樣,伴隨(sui)你(ni)執行很多的事(shi)情(qing);“托(tuo)管(guan)(guan)”即(ji)(ji)一件事(shi)主要交給(gei)AI來做(zuo),類似在網游中的“掛機訓練”。能走到“托(tuo)管(guan)(guan)”這(zhe)一步,人就可(ke)以解放出來,做(zuo)更多有(you)意義、有(you)興趣的事(shi)。

他談(tan)道,有了整(zheng)個平臺(tai)框架,通過基礎大(da)(da)模(mo)型(xing)構造了基礎能力后,可以不斷增加行業(ye)(ye)大(da)(da)模(mo)型(xing)的技能包,那么就能構造出更(geng)加強大(da)(da)的行業(ye)(ye)系統。這個系統可服務于(yu)To G、To B、To C的各行各業(ye)(ye)。

云從AI大模型參戰!支持圖文跨模態理解,跟GPT-4拼做中考題

在(zai)周曦看來,沒(mei)有(you)強大(da)(da)(da)的基(ji)礎(chu)(chu)大(da)(da)(da)模(mo)(mo)型(xing),直接(jie)做(zuo)行業(ye)(ye)大(da)(da)(da)模(mo)(mo)型(xing),不具有(you)長(chang)期持(chi)續的生命力,因為要(yao)想讓行業(ye)(ye)大(da)(da)(da)模(mo)(mo)型(xing)足夠實用,需要(yao)反過來訓練(lian)基(ji)礎(chu)(chu)大(da)(da)(da)模(mo)(mo)型(xing),如(ru)果想要(yao)讓行業(ye)(ye)大(da)(da)(da)模(mo)(mo)型(xing)真正在(zai)產業(ye)(ye)上(shang)量產使用,必須將效率和成本控制做(zuo)到(dao)極致(zhi),而極致(zhi)優化必須要(yao)掌握基(ji)礎(chu)(chu)大(da)(da)(da)模(mo)(mo)型(xing)。

此外,未來產業(ye)的(de)(de)突破伴隨不(bu)斷(duan)的(de)(de)技術(shu)突破而(er)進行,行業(ye)應用不(bu)是(shi)簡(jian)單的(de)(de)靠創意(yi)來解(jie)鎖(suo)(suo),而(er)是(shi)技術(shu)解(jie)鎖(suo)(suo)的(de)(de)。未來幾年,技術(shu)會(hui)不(bu)斷(duan)解(jie)鎖(suo)(suo)場景,場景方(fang)也會(hui)不(bu)斷(duan)探索如何重構行業(ye)的(de)(de)效(xiao)率和體驗(yan)。