智東西（公眾號：zhidxcom）
作者 | 香草
編輯 | 漠影
大模(mo)型訓(xun)練推理，最低能壓(ya)縮(suo)到(dao)多少(shao)成本？
智東西3月29日報道，昨日，AI科創板上市企業云天勵飛（688343）交出了自己的答卷——重磅推出“深目”AI模盒，僅需千元成本即可實現邊緣側訓推一體。
云天勵飛副總裁羅憶現場展示了深目AI模盒。這款用單手即可托起的小小盒子實現了“3個90%”，即覆蓋場景超過90%、算法精度超過90%、使用成本降低90%，解決了大模型在(zai)場(chang)景落(luo)地(di)最后一公里的問題。
▲深目AI模盒
在云天勵飛深耕的城市治理、智慧交通等領域，大部分場景屬于碎片化、頻率低的長尾場景，大模型的落地面臨算法訓練成本高、缺乏訓練數據等(deng)行(xing)業痛點。傳統的訓(xun)推一(yi)體機價格普遍(bian)在(zai)百萬元級別，絕(jue)大多中小企業難以承受如此高(gao)昂的成本。
深目AI模盒應運而生。基于大模型和芯片兩個層面的(de)架構革新，云天勵飛成功將大模型“塞進”了小盒子，成為(wei)人人可用的(de)“平民化(hua)”產品。
那么，在(zai)技術層(ceng)面，深目AI模盒(he)是如(ru)何實(shi)現“3個90%”的？其(qi)具體能(neng)應用在(zai)哪些場景，解(jie)決(jue)什么樣的問(wen)題？深目AI模盒(he)的發(fa)布代(dai)表了(le)什么關鍵節點(dian)，背后有著怎樣的故事(shi)？
智(zhi)東西與云天勵(li)飛(fei)(fei)董(dong)事長兼CEO陳寧、云天勵(li)飛(fei)(fei)首席科學家肖嶸、云天勵(li)飛(fei)(fei)副(fu)總裁(cai)羅憶進行了深(shen)入交談，試圖尋找這(zhe)些問題(ti)的答案(an)。
一、自研多模態大模型+主控級SoC芯片，千元成本把大模型塞進小盒子
把大模型變“小”，離不開云天勵飛背后長期積累的核心能力——算法芯片化。
陳寧告訴(su)智東西，深(shen)目AI模盒主(zhu)要在兩(liang)個方面進行了重大的(de)技術(shu)攻關(guan)。
一是多模態大模型架構革新。
深目AI模盒的大模型能力來源于云天勵飛自研大模型“云天天書”。該模(mo)(mo)型在去年4月推出，目(mu)前(qian)已完成3個版(ban)本(ben)的(de)迭代，此次與深(shen)目(mu)AI模(mo)(mo)盒同步推出的(de)是云(yun)天天書(shu)3.5V版(ban)本(ben)，新(xin)增了多模(mo)(mo)態支持。據悉，云(yun)天天書(shu)下(xia)一(yi)代4.0V版(ban)本(ben)將(jiang)于(yu)今(jin)年6月推出。
▲云天天書大模型的迭代進(jin)程
而(er)針對深目AI模(mo)盒(he)主攻的(de)(de)邊緣推理(li)，云(yun)天(tian)(tian)(tian)勵飛對云(yun)天(tian)(tian)(tian)天(tian)(tian)(tian)書(shu)大模(mo)型(xing)進行了分(fen)層(ceng)解耦、量化優化，使其能夠高效運行在邊緣的(de)(de)算力設(she)備上，不僅能進行推理(li)，還(huan)能完(wan)成(cheng)微調等一系(xi)列任務。
▲深目(mu)AI模盒的SPACE訓練推理引擎
通過(guo)集中的(de)高效訓練架構，深目AI模盒對(dui)比(bi)全量(liang)訓練速(su)度(du)(du)提(ti)升100倍(bei)，內存消(xiao)耗(hao)降低(di)至1/20；其(qi)(qi)采用混合精(jing)度(du)(du)訓練，99%的(de)計算為int8+fp16精(jing)度(du)(du)，其(qi)(qi)他采用fp32精(jing)度(du)(du)訓練。
二是神經網絡處理器及推理芯片設計優化。
深目AI模盒的算力基礎來源于云天勵飛去年推出的14納米Chiplet大模型訓推芯片DeepEdge10 Max。該芯片采用自主可控(kong)的國(guo)產工(gong)藝、國(guo)產RISC-V核，支持大模型訓練推理部署(shu)。
▲云天勵飛自研芯(xin)片DeepEdge10 Max
針對(dui)邊(bian)緣(yuan)計(ji)算(suan)，云(yun)天勵(li)飛通過自定義(yi)大模型專(zhuan)用指(zhi)令(ling)集、專(zhuan)用算(suan)子(zi)，面向Transformer等基座大模型進行指(zhi)令(ling)、工(gong)具鏈優化，使得一顆邊(bian)緣(yuan)芯(xin)片上不僅(jin)能跑大模型，也能完成微調訓練。
▲深目AI模(mo)盒芯片核心
基于這兩個方面的算法芯片化(hua)能(neng)力，深目AI模盒在邊(bian)緣場(chang)景的在線學習能(neng)力大幅(fu)提(ti)升。與傳統模式相比，算法生產從7步縮短(duan)至(zhi)4步，算法調優(you)則從7步縮短(duan)至(zhi)3步。
▲算(suan)法(fa)生產、調優步數壓縮
以云天天書為基(ji)座模型，云天勵飛與(yu)生態合作伙伴聯合完成預訓練場景(jing)算法(fa)，再將其提(ti)供給廣大(da)中(zhong)小企業用戶。隨后，中(zhong)小企業客戶可根(gen)據(ju)自(zi)身(shen)場景(jing)需求，在邊緣端完成算法(fa)微調。在實際部(bu)署后，大(da)模型的(de)泛化(hua)和學習(xi)能(neng)力能(neng)夠根(gen)據(ju)現實應用場景(jing)情況自(zi)進化(hua)，在線學習(xi)、優(you)化(hua)算法(fa)，不(bu)斷提(ti)升算法(fa)精度。
二、解決場景少、缺數據難題，看到“冰山之下”的長尾算法
羅憶談道，AI的發展(zhan)分(fen)為三個階段(duan)。
第一階段是(shi)技(ji)術找場(chang)(chang)景，基礎算法首先(xian)實現突破(po)，并在人臉識別、語(yu)音識別等(deng)頭部(bu)場(chang)(chang)景完成價值驗證(zheng)。
第二階段(duan)是場(chang)景反(fan)哺技(ji)術(shu)，新的細(xi)分場(chang)景不斷反(fan)哺技(ji)術(shu)創新，倒逼算法不斷變(bian)革。
第三階段是場(chang)景(jing)找(zhao)技(ji)術，聚焦不(bu)同(tong)行業、不(bu)同(tong)場(chang)景(jing)需求，找(zhao)到適(shi)合的技(ji)術來解決這些問題(ti)。
如今，我們正處在第一、第二階段轉換的關鍵時期，冰山之下隱藏著大量不容易被看到的長尾場景算法。
▲冰山之(zhi)下的(de)“死亡之(zhi)谷(gu)”
長尾算法指的是除了頭部算法外，大量使用頻率低、應用場景少的算法(fa)，面臨著訓練(lian)數據少，甚至(zhi)沒有訓練(lian)樣(yang)本的痛點。
例如在計算(suan)(suan)(suan)機視覺(jue)領域(yu)，人臉(lian)識(shi)別、車牌識(shi)別等(deng)頭部算(suan)(suan)(suan)法已發展得(de)較為(wei)成熟，但像識(shi)別一種(zhong)特定的(de)產品、識(shi)別一種(zhong)危險的(de)行為(wei)等(deng)細分算(suan)(suan)(suan)法制約(yue)了AI落地(di)行業的(de)最后(hou)一公里。
羅憶(yi)演示(shi)了深(shen)目AI模(mo)盒如何在(zai)數據少、無數據等極端情況(kuang)下，快速(su)完成算(suan)法訓練。
1、算法自學習，少量數據迭代后精度超90%
在算(suan)法(fa)使用初期，只有少量(liang)數(shu)據，用戶如何(he)才(cai)能(neng)快速訓練(lian)高精度(du)算(suan)法(fa)？
以(yi)店外經營為例，用戶需(xu)要訓練識(shi)別算法(fa)(fa)時(shi)，可以(yi)直接使用平臺現有算法(fa)(fa)對目標進行識(shi)別，再對識(shi)別結果(guo)標記(ji)“正確”或“誤(wu)報”，算法(fa)(fa)就能通過(guo)自學(xue)習快速提(ti)升。經過(guo)1周迭代后，算法(fa)(fa)精度可超過(guo)90%。
羅憶稱，云天勵飛算(suan)法(fa)訓練(lian)平臺上提供了大量與生態合作伙伴(ban)共同打造(zao)的算(suan)法(fa)商城，覆蓋14個大類、100+個小(xiao)類、1000+算(suan)法(fa)，用戶可以直接調(diao)用預訓練(lian)算(suan)法(fa)，并上傳自(zi)身場景(jing)圖片完(wan)成算(suan)法(fa)的微調(diao)和升級(ji)，快速訓練(lian)出高精(jing)度(du)算(suan)法(fa)。
2、極端場景零數據樣本，利用生成式AI合成數據
天災人(ren)禍等(deng)極端場景(jing)識別訓練的(de)數據(ju)幾乎空白，面(mian)對這樣“無數據(ju)”的(de)情況，用戶該如何訓練算法(fa)？
以(yi)加(jia)油站場景的(de)吸(xi)煙(yan)(yan)識別為(wei)例(li)，這類危險行為(wei)往往伴隨著成(cheng)不(bu)可挽回的(de)后果，難以(yi)獲取真實樣本。平臺可通過大(da)模型能力生成(cheng)在該(gai)環境抽煙(yan)(yan)的(de)人物，并將(jiang)數據(ju)用于算法訓練中，填補(bu)訓練數據(ju)的(de)空白。
使用AI合成(cheng)數(shu)據來訓練算(suan)法(fa)(fa)，不僅能夠(gou)(gou)填(tian)補數(shu)據空(kong)白，還能夠(gou)(gou)規避隱(yin)私安全等(deng)問題(ti)，已(yi)經逐漸成(cheng)為大模型時代下訓練新算(suan)法(fa)(fa)和(he)提升算(suan)法(fa)(fa)精度的一(yi)條重要路(lu)徑。
3、識別目標標準不統一，利用大模型泛化能力解決
以購物(wu)中心(xin)提袋識別為例，羅憶演示大(da)模型泛化能力如(ru)何解決識別對象(xiang)標準(zhun)不統一帶來的算法訓練(lian)難題(ti)。
大(da)(da)型購物(wu)中心一(yi)般沒有統(tong)一(yi)的(de)結算中心，難以(yi)(yi)掌握逛(guang)街顧客是否(fou)消(xiao)費，也難以(yi)(yi)評估營銷活動對實際消(xiao)費轉化的(de)效果，顧客是否(fou)提(ti)購物(wu)袋是判斷的(de)重(zhong)要(yao)標準(zhun)之一(yi)。但(dan)各品牌購物(wu)袋的(de)大(da)(da)小、顏色均不統(tong)一(yi)，且難以(yi)(yi)與顧客的(de)背包區分，算法無法精準(zhun)識(shi)別。
在云天勵飛算(suan)法訓練平臺上，借助場景自適應(ying)能力(li)，用(yong)戶可(ke)調(diao)用(yong)手(shou)提(ti)(ti)(ti)袋識別算(suan)法識別所有的(de)(de)(de)手(shou)提(ti)(ti)(ti)袋，再基(ji)于(yu)識別結果標(biao)記(ji)進(jin)行特(te)定手(shou)提(ti)(ti)(ti)袋的(de)(de)(de)識別訓練，從而實現專用(yong)門店手(shou)提(ti)(ti)(ti)袋的(de)(de)(de)精準識別。
三、填補模型計算市場空白，抓住生成式AI機遇二次創業
目前市(shi)面上主(zhu)流的(de)模型(xing)計算產(chan)品是百萬級的(de)訓推一體機，其(qi)承擔著數百甚至千(qian)億(yi)級參數規模的(de)大(da)模型(xing)訓練推理等任務。邊(bian)緣側(ce)產(chan)品則(ze)比(bi)較少見，雖然有一些常規推理盒子類(lei)產(chan)品，但(dan)其(qi)主(zhu)要承載(zai)邊(bian)緣端的(de)小模型(xing)，不具備承載(zai)大(da)模型(xing)的(de)能力。
在這兩類產品之間，存在巨大的市場空白——邊緣長尾算法缺乏對(dui)應的大模(mo)型解決方案。
在大模型出現之前，這些低頻問題大多通過小模型算法來解決。陳寧告訴智東西，對于大多數AI公司而言，其實每個小模型的算法成本和周期投入與頭部算法相差無幾，需要大量算法工程師和算力，收集大量數據去解決。但由于使用頻率并不高，因此投入產出比不匹配。
▲深目(mu)AI模盒與常(chang)規(gui)推(tui)理盒子的對(dui)比(bi)
云天(tian)勵飛看到了大(da)模(mo)型在(zai)解決各類長(chang)尾問(wen)題上蘊含的(de)(de)潛力，通過深目AI模(mo)盒這個(ge)統一(yi)的(de)(de)技術平臺，解決多類細分(fen)場(chang)景精度不夠、成本(ben)太高、訓練周期太長(chang)、需要的(de)(de)數(shu)據(ju)量太大(da)等一(yi)系列痛(tong)點問(wen)題，推動AI真正能夠在(zai)更多的(de)(de)場(chang)景、更多的(de)(de)行業落地，形成價(jia)值閉環。
這也是云天勵飛長期在技術落地探索路上的又一重要關鍵節點。
談到“深目(mu)”這(zhe)個名字，了解云天勵飛這(zhe)家企業的讀者可能不陌生。2016年，云天勵飛推出第(di)一款(kuan)產品——動態(tai)人(ren)像(xiang)識別系統“深目(mu)”，將(jiang)科幻作品中的“天眼”第(di)一次帶入現實。
此次推出的AI模盒，是云天勵飛在2023年登陸科創板后推出的首款產品，也是其“二次創業”的第一款產(chan)品(pin)，因此再次(ci)以“深目”來命名(ming)。
當智東西(xi)問道，Sora引爆的(de)文生視頻技術，對云天勵飛(fei)所處的(de)計算(suan)機(ji)視覺領域帶來(lai)了哪些機(ji)遇和挑(tiao)戰？
肖嶸(rong)認為，Sora主要是(shi)一個增量式的(de)進展(zhan)，類似的(de)生成技術被廣(guang)泛地(di)應用在云天天書大模型的(de)研發當中，幫助生成一些缺乏(fa)真(zhen)實數據的(de)場景(jing)。
陳寧稱，相比震撼的(de)視覺效果，云(yun)天勵飛(fei)更關注Sora背后的(de)技(ji)術突破在應(ying)用落地(di)方面帶(dai)來的(de)價值，如對世(shi)界運行規律(lv)的(de)理解(jie)和解(jie)碼(ma)。云(yun)天勵飛(fei)對自己的(de)定位(wei)是做物理世(shi)界的(de)解(jie)碼(ma)者(zhe)，其發展路(lu)(lu)線也(ye)沿著這條路(lu)(lu)徑展開。
▲云天勵飛(fei)的AI發展路(lu)徑
在AI方案化方面，云天勵飛在(zai)安防(fang)、交通、城市治理、人(ren)居(ju)生活四個(ge)基礎行(xing)(xing)業打(da)造(zao)了成熟的(de)解(jie)決(jue)方案(an)(an)，并在(zai)教育、低空經濟等(deng)創新(xin)行(xing)(xing)業不(bu)斷探(tan)索新(xin)的(de)應用，形成“4+X”行(xing)(xing)業解(jie)決(jue)方案(an)(an)。
隨后，基于在大量行業的落地經驗，云天勵飛已形成數據運營、新能源運營平臺，走向AI運營化。
如今，云天勵飛還逐步走向AI產品化，從(cong)去(qu)年與(yu)華為昇(sheng)騰聯合推(tui)(tui)出天舟大(da)模(mo)(mo)型(xing)訓(xun)推(tui)(tui)一體(ti)機(ji)，到此次推(tui)(tui)出面向邊緣訓(xun)推(tui)(tui)場景(jing)的(de)深目AI模(mo)(mo)盒。此外，云天勵(li)飛還通過(guo)收購(gou)和投資，進(jin)軍智能穿戴(dai)、機(ji)器人等硬件(jian)領域，形成日益(yi)完善的(de)大(da)模(mo)(mo)型(xing)產品體(ti)系。（）
結語：挖掘全新“AI+”路徑，打通大模型落地最后一公里
推出深(shen)目AI模盒是(shi)云天(tian)勵飛AI產(chan)品化路徑上的重要一步。據發(fa)布(bu)會透露，此(ci)次發(fa)布(bu)的是(shi)標準版(ban)型號(hao)，云天(tian)勵飛今年還會發(fa)布(bu)一款(kuan)基于云天(tian)天(tian)書4.0V、DeepEdge10 Pro芯片(pian)的輕(qing)量版(ban)產(chan)品，明年將(jiang)推出基于DeepEdge10 Ultra芯片(pian)的旗艦版(ban)。
作為云天勵飛二次創業(ye)的首款產(chan)品，深目AI模盒將于6月30日(ri)正式發售(shou)且面(mian)向(xiang)所有(you)客戶統一發貨，我們(men)期待看(kan)到其在邊(bian)緣長尾場景中的實際(ji)應用，讓大(da)模型(xing)在千行百業(ye)中轉(zhuan)化(hua)為物理世界的新質生產(chan)力(li)。
