智東西（公眾號：zhidxcom）
作者 | 三北
編輯 | 漠影
“大模型只是技術升級不是革命……大模型技術商業化落地的路線一定是：裝備(bei)大模(mo)型化。”宇視科技CEO張鵬國說。
智東西4月16日報道，今日，在2024宇視合作伙伴大會上，宇視科技宣布推出AIoT行業大模型“梧桐2.0”，并發布“獵光 2.0” AI-ISP圖像引(yin)擎感知終端等一系(xi)列大模型(xing)產品，打響AIoT行業“裝備大模型(xing)化”的第一槍。
▲宇視(shi)科技CEO張鵬(peng)國發表題為《AIGC：千(qian)里之(zhi)行，始于足(zu)下》的演(yan)講
從爆火的ChatGPT到Sora，大模型正沖向邊緣側、端側設備，從而重構千行百業。小到一個攝像頭，大到一個個物聯網場景，大模型如何在其中真正跑起來？備受產業關注。
裝備大模型化，是宇視(shi)科技與萬(wan)家渠道伙伴(ban)一起給出(chu)的答案。
▲2024宇視合作伙伴大會(hui)現場
去年5月，宇視(shi)科技(ji)領先AIoT行業(ye)率先推出(chu)大(da)模型“梧桐”，并與多家行業(ye)龍頭聯合(he)啟動“梧桐大(da)模型種子合(he)作伙伴計劃”，探索(suo)大(da)模型在交通、教(jiao)育、零售、體育公共服務等領域的(de)端邊云側的(de)深入落地。
一年后的今天，宇視與合作伙伴不僅帶來了AI體育、AI文旅等各個行業的大模型新落地成果，還通過軟件硬件化、硬件裝備化、裝備序列化的新經驗，為全行業帶來“裝備大模型化”產品底座開放能力的質變。
▲AIoT新生態產品底(di)座2.0
從(cong)實驗室到(dao)(dao)產品(pin)化、從(cong)軟件到(dao)(dao)硬件工程(cheng)化、從(cong)價格昂(ang)貴到(dao)(dao)低門檻化，大模(mo)型(xing)有望通過守護城市和田間地頭的(de)(de)“機器之眼”，完成從(cong)技(ji)術到(dao)(dao)行業(ye)價值的(de)(de)新飛躍。
一、所有裝備，都值得用大模型重做一遍
大模(mo)型是(shi)(shi)技術升級還是(shi)(shi)革命？
不(bu)同的人觀點(dian)不(bu)同：閉(bi)源(yuan)派、技(ji)術信仰(yang)者更傾向于這是一次技(ji)術革命，而開(kai)源(yuan)派、市場信仰(yang)者更傾向于這是一次技(ji)術升級。
站在AIoT行業的角度去看，張鵬國認為，大模型是AIoT行業當下最大的技術變量，但大模型是技術升級，而不是革命。這(zhe)很好理(li)解，就(jiu)像我們說蒸汽機出現不算是(shi)(shi)(shi)工(gong)業革命(ming)，但是(shi)(shi)(shi)把蒸汽機裝到(dao)了火車(che)、輪船(chuan)和各種(zhong)生(sheng)產(chan)工(gong)具上(shang)提(ti)高效率，才是(shi)(shi)(shi)工(gong)業革命(ming)。
如何讓大模(mo)型(xing)發揮出“革命”力量？還要(yao)靠裝備大模(mo)型(xing)化。
“大模型技術是AIoT行業當下最大的技術變量，必定會給我們帶來新的市場機會點。一個大的機會點就是大量在網產品的更新迭代。”張鵬國說，“借助于行(xing)業大模型(xing)技術，邊、端產品有望(wang)用更(geng)低的(de)(de)成(cheng)本，在某(mou)些細分場景下實現更(geng)好的(de)(de)應用效果。”
這意味著最直觀的需求：所有裝備，都值得用大模型重做一遍。
大(da)模型技術升級(ji)對產品和(he)解決方案架構(gou)(gou)提出(chu)新的(de)要求，比如(ru)要求云邊端的(de)芯片(pian)都(dou)支(zhi)持Transfomer架構(gou)(gou)，大(da)規模參數(shu)對設備的(de)顯存和(he)算(suan)力提出(chu)新的(de)要求，進(jin)而產品的(de)形態(tai)和(he)功能也將被改變，比如(ru)支(zhi)持更強大(da)語音對話的(de)攝像機已經出(chu)現。
裝備大模型化時代，“視頻+大模型”首(shou)先(xian)會成為一(yi)大(da)金礦(kuang)。
正如宇視科技首席產品官朱兵所說，大模型的出現，讓我們可以一起用更低的投入去挖掘海量視頻的價值，解決傳統AI技術解決不了的問題。在他看來，視頻的價值如何挖掘落地則可以用一個公式來表達，那就是：“視頻”價值=（邊端裝備+大模型）x 生態業務
基于這樣的理念，宇視今年推出了一大批“裝備大模型化”產品，實現了業界最寬業務場景的覆蓋：
1、AI端側裝備：基于“獵光2.0 -AI-ISP”圖像引擎的AI全(quan)彩感知終端產品。它基于“梧桐”大模型，使(shi)得極(ji)(ji)暗環境(jing)下全(quan)彩畫面畫質(zhi)得到極(ji)(ji)大改善，30米外仍可智能識(shi)別(bie)和(he)分析目標。
2、AI邊緣端裝備：AI NVR、AI BOX、AI控制器和AI互動發布屏等。這些裝(zhuang)備基于(yu)“梧桐(tong)”大模型生成的長尾(wei)算法，可(ke)用于(yu)眾多(duo)行業場景，如用于(yu)校(xiao)園AI體(ti)(ti)育的室外(wai)AI體(ti)(ti)測一體(ti)(ti)機、室內AI體(ti)(ti)鍛屏等。
3、AI邊緣域裝備：基于梧桐(tong)大模型的(de)視(shi)頻智能推訓一體(ti)機、視(shi)頻數據服務(wu)一體(ti)機等。這些產品一般部(bu)署在中(zhong)心機房，可以脫離(li)平(ping)臺(tai)單獨使用，處理能力(li)和路數相(xiang)對邊緣(yuan)端裝(zhuang)備有(you)數倍的(de)增加。
用大模型重做AIoT裝備，首先要注意規避小模型時代踩過的“坑”。
在上一波小模型AI浪潮中，宇(yu)視(shi)科技被認為是(shi)國內AI工程化最成功的(de)AIoT企業之(zhi)一，與海康、大華(hua)等一起把(ba)智能攝像機、邊緣盒(he)子落到了全國各地，同時也踩過(guo)AI落地幾乎所有會遇到的(de)坑。
正是基于先前的經驗，在張鵬國看來，在涉及“AI+還是+AI？”這一重要(yao)路線問題(ti)時，在這場(chang)變革中最容易成功的，還是(shi)后者，也就是(shi)裝備(bei)大模型(xing)化路線。
這背后是深刻的產業邏輯：隨著大模型推(tui)動(dong)的技術平權(quan)加速，大模型落地AIoT行業更(geng)離(li)不開的是，緊(jin)密(mi)合作的客戶(hu)群和渠(qu)道、公(gong)司營銷(xiao)的基本盤以及強(qiang)大工程化落地能力迭(die)代。
二、參天生長的梧桐2.0，行業商業化落地新破局
為了推動裝備大模型化，宇視今日正式發布梧桐2.0大模型。
梧桐2.0從訓練、推理、測試、數據等AI開(kai)發(fa)過程進行全(quan)面(mian)(mian)(mian)升級(ji)(ji)。圖(tu)(tu)像方面(mian)(mian)(mian)，梧(wu)桐2.0新增了大模型AI-ISP、超(chao)分及圖(tu)(tu)像質量評(ping)價等多個模塊；CV方面(mian)(mian)(mian)，由視頻結構化全(quan)面(mian)(mian)(mian)升級(ji)(ji)為(wei)視頻內(nei)容理解；NLP方面(mian)(mian)(mian)，更好地支持業(ye)軟代碼(ma)生成(cheng)；多模態方面(mian)(mian)(mian)，文生圖(tu)(tu)、文生視頻在智慧景區、智慧體育等領域應用(yong)，極大地提升用(yong)戶體驗。
宇視(shi)AI首席科學家李聰廷說，裝(zhuang)備+梧桐大模型，將重(zhong)新定(ding)義圖(tu)像(xiang)質(zhi)量(liang)、視(shi)頻(pin)解析、模型的推(tui)理和訓練(lian)，也將重(zhong)新定(ding)義裝(zhuang)備本身。新一代的AI裝(zhuang)備，在圖(tu)像(xiang)質(zhi)量(liang)、算法精(jing)度、算法生產率、用(yong)戶(hu)體驗等方面有(you)質(zhi)的飛躍，同(tong)時服務效率也大幅提(ti)升(sheng)。
作為一個行業大模型，梧桐2.0的一大顯著特征是“邊用邊升級”。
以宇視在AI體育領域的落地方案為例，基于梧桐大模型的AI體育鍛煉屏可以讓(rang)很多孩子站(zhan)在同一(yi)(yi)個屏幕前一(yi)(yi)塊(kuai)做運動，記錄每個孩子的動作細(xi)節和成績，為其自動打分(fen)并提供鍛煉建議，讓(rang)孩子能(neng)更(geng)快樂且更(geng)科學地鍛煉身(shen)體(ti)。
▲宇視(shi)AI體育(yu)鍛(duan)煉(lian)屏展示
隨著體(ti)育在素質教(jiao)(jiao)育中越來越重要(yao)，體(ti)育教(jiao)(jiao)育缺乏科學的(de)(de)評(ping)判工具和較完備的(de)(de)方法論，成為當下國內(nei)教(jiao)(jiao)育的(de)(de)一大痛點(dian)。基于梧桐大模(mo)型(xing)的(de)(de)AI體(ti)育方案以極低成本(ben)，使系(xi)統實現了(le)遠超小模(mo)型(xing)方案的(de)(de)效果，助力學生體(ti)育教(jiao)(jiao)學的(de)(de)質量(liang)大大提高。
▲宇視AI跑步屏展示
大(da)模型(xing)首先進(jin)(jin)入的(de)(de)(de)行(xing)(xing)業有一些顯(xian)著(zhu)特征。以文(wen)教體行(xing)(xing)業為(wei)例，這一市(shi)場(chang)用戶基數(shu)和市(shi)場(chang)空間龐大(da)，并符合社會(hui)進(jin)(jin)步的(de)(de)(de)方向，且在技術上(shang)沒有過(guo)于(yu)苛刻的(de)(de)(de)精度(du)要求(qiu)，給大(da)模型(xing)固有的(de)(de)(de)幻覺(jue)留出了(le)空間，因此成為(wei)大(da)模型(xing)的(de)(de)(de)一大(da)絕(jue)佳“著(zhu)陸(lu)點”。
可以看到，經過大模(mo)型化(hua)的(de)邊緣、端側裝備融入到具體場景，將為(wei)行業商業化(hua)落地帶(dai)來全新的(de)突破口。
然而，要實現裝備大模型化，也不是一蹴而就的。
正如朱兵所說，其能力隨著時間在算法的大模型能力和裝備部署大模型的能力兩(liang)個維(wei)度上(shang)發展(zhan)，算法前(qian)期(qi)會發展(zhan)更快些(xie)，而(er)裝備(bei)部署大模型的能力未來有(you)望迎來“井噴式”發展(zhan)。
以下這(zhe)張圖(tu)展示了宇視(shi)邊端裝備(bei)大(da)模(mo)型化(hua)的演進路徑：
1、算法+大模型的能力：從CV到多模態充分融合
?對(dui)于安防CV算法，大(da)模(mo)型(xing)的貢獻是從自(zi)動生成樣本數(shu)據，幫助(zhu)小模(mo)型(xing)算法提(ti)高(gao)效率開始的。
?2023年下半(ban)年已(yi)經可以基于更少的數據樣(yang)本+自學習實現(xian)長尾算法開發效率的指數級(ji)提升。
?接下來今年上(shang)半年大模型CV算法(fa)(fa)和NLP語義(yi)理(li)解能(neng)夠充(chong)分結(jie)合，能(neng)夠在客戶現場基(ji)于語義(yi)化描述快速調用多種算法(fa)(fa)按語義(yi)理(li)解的邏輯組成(cheng)新的算法(fa)(fa)。
?未來的算法則會(hui)多模態(tai)化(hua)，基于視圖理解和交互會(hui)充分融合，就像不久(jiu)前谷歌發布Gemini所演(yan)示的一樣，會(hui)成(cheng)熟落地。
2、裝備部署大模型能力：從公有云到邊端側使用門檻降低
?去(qu)年首先實現的是公共云(yun)部(bu)署大模(mo)型的能力，從(cong)去(qu)年下(xia)半年開始(shi)逐步在邊緣裝備上部(bu)署基(ji)于大模(mo)型生成的長尾(wei)算(suan)法，對(dui)算(suan)力的要求相對(dui)較高。
?然后是大模型(xing)本身可以私有(you)化部(bu)署(shu)在邊緣域一(yi)體機中，隨著算力成(cheng)本的(de)降低(di)，今(jin)年年底開始會逐步有(you)感知(zhi)終端部(bu)署(shu)大模型(xing)生成(cheng)的(de)算法。
可以(yi)預(yu)測，隨著AI PC、具身機器人等成為(wei)(wei)具有前景(jing)的(de)大(da)模(mo)型落地方向，作為(wei)(wei)“機器之眼”的(de)視覺傳感設備，有望率先成為(wei)(wei)大(da)模(mo)型落地的(de)載體，發揮出巨大(da)的(de)行業價值。
三、裝備大模型化，宇視與渠道伙伴的雙向奔赴
實際上，裝備大(da)模型化賦能行業(ye)的故事已經越來越多。
基于梧桐大模型(xing)和(he)邊端裝備，過去一年宇視和(he)渠道一起(qi)還做了很多有價值的行業案例(li)：
在國家東北虎野生動物園，10天快速輸出了老虎識別算法，夜間(jian)效(xiao)果準確率達到90%，發現(xian)老虎能實時聯動報警，有效(xiao)防止人虎沖突(tu)。
在湖南某地，一周生成不牽狗繩算法，準確率達到(dao)96%以上，從識別(bie)到(dao)最后(hou)狗主人將狗繩系好，整個過(guo)程不到(dao)3分鐘(zhong)，獲得當地電臺(tai)的報道點贊。
在海南環島公路，集雷視融合檢測、LED屏顯、數據深度處理、無線通信為一體的道路安全預警裝備，實現彎道雙(shuang)向預警，有效降低交通事故發生(sheng)。
在濮院時尚古鎮，宇視與頂度集團一起，基于VR和VLOG AI短視頻融合體驗，讓每一位游客融入“濮院T臺”，記錄(lu)自己的“時裝(zhuang)周”精(jing)彩(cai)瞬(shun)間。
……
碎片化是AIoT行業多年以來面臨的頑疾，但大模型的泛化能力讓這些問題有了一致解法，裝備的大模型化也將帶來AIoT產品底座開放能力的質變。
和去年相比，宇視將提供更徹底的開源能力，新增宇視公共云服務提供的開源組件；提供了覆蓋更全面的OPEN API南北向接口，新增全配置式接口創建以及適配，業務整合效率整體提升70%。
同時，基于梧桐CV大模型能力，1周發布1個新分類檢測模型，合作伙伴可以方便訓練自己的AI長尾算法；其還提供更豐富的輕代碼/零代碼工具，通(tong)過拖拽式點位標記(ji)，1人天即可實(shi)現3D地圖應用發布。
此外，梧桐還提供更智能的軟件開發方式，借助AIGC輔助生成代碼工具，幫助開發人員通過文本交互或原(yuan)型快速自動創(chuang)建代(dai)碼，同時及時糾錯，提高(gao)開發效率。
李聰廷告訴智(zhi)東(dong)西(xi)，過去，很多人可能覺得大模型高不(bu)可攀，用起來(lai)一定很貴。但在大模型落地AIoT邊緣和端側的(de)過程中(zhong)，宇視已經能實現比(bi)傳統(tong)方案成本(ben)降低的(de)情況下，效(xiao)果明顯的(de)提升(sheng)。大模型方案越(yue)來(lai)越(yue)成為更(geng)超值(zhi)的(de)選擇。
結語：裝備大模型化，助力解放新質生產力
隨著「百模大(da)戰」展開一(yi)年多，我(wo)們看到很多軟件(jian)App已經接入大(da)模型，進(jin)而(er)尋求打(da)(da)造(zao)爆款超(chao)級(ji)應用(yong)；而(er)今年，以(yi)宇視(shi)科技為(wei)首的(de)AIoT企業率先打(da)(da)響“裝備大(da)模型化”的(de)變革，展現了大(da)模型跨越(yue)軟硬件(jian)的(de)鴻溝，落(luo)地千行百業的(de)潛力。
“人(ren)工智能+（AI+）”在2024年兩會(hui)中首(shou)次(ci)被寫(xie)進(jin)政府工作報告，國家正加(jia)強頂層設計，加(jia)快形成以AI為引擎(qing)的新質(zhi)生(sheng)產力(li)(li)。“AI+”的落地需要結實(shi)的憑借(jie)和抓(zhua)手。裝(zhuang)備大模型化有望(wang)聚(ju)AIoT生(sheng)態之力(li)(li)，提供(gong)有力(li)(li)的抓(zhua)手，助(zhu)我(wo)國加(jia)速解放新質(zhi)生(sheng)產力(li)(li)。
