智東西（公眾號：zhidxcom）
作者 | 三北
編輯 | 漠影
狂飆500多天后，國內的“百模大戰”正進入落地驗證期。當下，行業和產業對大模型的期待，正從“你家大模型有多強？”變為“你的大模型能幫我干什么？”。
10月22日-10月25日，2024中國國際社會公共安全產品博覽會（簡稱：2024安博會）在北京舉辦。作為多年來AI產業發展的一大風向標，這場盛會被產業人士寄托的使命之一正是回答上述問題。而這，也是AIoT頭部企業宇視科技在做的事。
今年(nian)安(an)博會上，宇視科(ke)技的展臺成為人氣最高(gao)展臺之一。通(tong)過(guo)五大(da)展區(qu)近百個展出(chu)單元，宇視亮(liang)出(chu)了(le)AI大(da)模型落地的實戰成果和作戰圖譜。
g
▲宇視展臺現場人(ren)頭攢動(dong)
像百度搜索一樣檢索視頻內容的“萬物搜”、夜視能力倍增的AI-ISP獵光系列夜視攝像機、能跟用戶互動的AI體育鍛煉屏、助智慧城市治理降本增效的大模型方案……今年宇視已不限于大模型相關部件產品展示，而是實現從軟件、裝備到行業方案全覆蓋。
2023年5月，宇視推出AIoT行業大模型“梧桐”，今年4月升級為“梧桐2.0”版本，多模態及推理能力進一步升級，目前已經衍生和優化了上千種相關AI算法，落地城市、交通、文娛、教育等超十個行業。
▲宇(yu)視展臺現場(chang)展出的梧桐2.0架構圖(tu)
當下，AI亟需完成一次新的價值自證和他證。To C消費類AI大模型產品(pin)的流量高峰已被瓜分一波，第(di)二波機(ji)會來到了與(yu)實體經濟息息相關(guan)的To B數字(zi)化轉型市場。
透過宇視科技本次安博會的展出，回溯其在數字(zi)化轉(zhuan)型中(zhong)的“探模”之路(lu)，我們可以看(kan)到，大模型的底(di)座價(jia)值正如何一步步潛入(ru)千行百業，轉(zhuan)化為新質生(sheng)產(chan)力。
一、智能升級：基于梧桐2.0的“萬物搜”來了
今(jin)年(nian)安博會，要說最(zui)引人關注的AI大模(mo)型新應用是什么(me)？
可能不是(shi)(shi)各家都在做的(de)智(zhi)能聊天(tian)機器人，也不是(shi)(shi)爆火的(de)AI視頻生成(cheng)工(gong)具，而是(shi)(shi)這款名為“萬物搜”的(de)視頻搜索(suo)“神器”。
在宇(yu)視中心區(qu)域(yu)展區(qu)，一塊(kuai)大屏幕(mu)前，圍滿(man)了(le)視頻數據服務系統“萬(wan)物(wu)搜”的體驗者(zhe)。他們只(zhi)需要輸(shu)入文字描述，就能從(cong)現場實時視頻內(nei)容中，快速檢索出貼(tie)近(jin)意圖(tu)的結果。比如搜索“拉行李箱的人”，“萬(wan)物(wu)搜”就會(hui)立(li)刻識別(bie)并輸(shu)出對(dui)應的結果。
▲“萬物搜”被許多觀(guan)(guan)眾圍觀(guan)(guan)體(ti)驗
即便是一些(xie)十分(fen)小眾的(de)(de)情況，“萬物(wu)搜(sou)(sou)”也可(ke)以通過深度解析(xi)和語義理解，搜(sou)(sou)索(suo)(suo)到(dao)用(yong)戶所需內容。比如搜(sou)(sou)索(suo)(suo)“帶狗(gou)頭(tou)頭(tou)套的(de)(de)人”這樣語義更具體的(de)(de)描述，“萬物(wu)搜(sou)(sou)”也能準(zhun)確(que)地識別并找(zhao)到(dao)。
▲“萬物搜(sou)”現(xian)場體(ti)驗
當輸入“一(yi)個(ge)舉著手機拍照的年輕男士”這種多個(ge)任意(yi)元素組合的提示詞，“萬物搜(sou)”也能立刻(ke)識別出(chu)來(lai)貼合表述的視(shi)頻內容。
▲“萬物搜”現場體(ti)驗(yan)
這一(yi)應(ying)用具(ju)有(you)很(hen)強的應(ying)用價(jia)值，比如(ru)可用于失物(wu)招領。在一(yi)個智慧(hui)園區(qu)場(chang)景，某(mou)業主購買了一(yi)份(fen)麥當勞外(wai)賣丟失了，他只需(xu)要借助“萬物(wu)搜”去搜索“拿麥當勞外(wai)賣的人(ren)”，就(jiu)可以查詢(xun)到(dao)相(xiang)關的視(shi)頻記錄，從而尋(xun)回失物(wu)。
宇視相關負責人鄭勇告訴智東西，“萬物搜”基于多模態大模型算法開發。相比于傳統小模型時代的CV識別車牌、衣著等部分有限特征，“萬物搜”的搜索對象的邊界得到了極大擴展，從而(er)使行業價值也(ye)得到大幅(fu)提升。
究其背后主要的技術難點，還是多模態融合。
據(ju)悉，“萬物搜(sou)”基于宇(yu)視(shi)自研(yan)行(xing)業大模型“梧(wu)桐(tong)2.0”，融合自然語(yu)言處(chu)理(li)、視(shi)頻(pin)特征(zheng)提(ti)取和(he)語(yu)音識別多種能力，深度理(li)解分析輸入(ru)文(wen)本、語(yu)音或圖片，及其上下(xia)文(wen)語(yu)境關系，從(cong)而讓(rang)用戶可以準確搜(sou)索到(dao)所需的大部分視(shi)頻(pin)內(nei)容。
“梧桐2.0”是一個(ge)覆(fu)蓋了(le)圖(tu)像編解碼、計(ji)算機視(shi)覺、自然語言(yan)處理(li)、多模(mo)態等多個(ge)領域的AIoT行(xing)業(ye)大(da)模(mo)型。根據宇視(shi)官方數據，其已經基(ji)于“梧桐2.0”大(da)模(mo)型面向十個(ge)行(xing)業(ye)推出(chu)了(le)近(jin)千種長(chang)尾算法。與此同(tong)時，其在這(zhe)十大(da)行(xing)業(ye)“梧桐2.0”均已有(you)產品出(chu)貨和項目實際落地。
“從業者會有一個很直(zhi)觀的感受，越(yue)來越(yue)多的長尾算法的需(xu)求都能(neng)得到(dao)響應，行業對于視頻能(neng)力的期待(dai)也(ye)因大模型提高了。”鄭勇說。
可(ke)以看到(dao)，AI大模型已經(jing)催(cui)生(sheng)了一(yi)大批智能(neng)功能(neng)和行業(ye)算法，呈現(xian)出落(luo)地可(ke)用的效果。
而(er)這(zhe)，只是AI價值(zhi)自證的一(yi)個開始。這(zhe)些智能(neng)功能(neng)還需要在城(cheng)市(shi)管理(li)、交通治理(li)、園區(qu)運營(ying)等各行各業的場(chang)景中廣泛(fan)應用，才能(neng)真(zhen)正發揮出行業價值(zhi)。
二、裝備進化：把大模型“塞進”攝像機
在(zai)大(da)模型(xing)進入行業之(zhi)前，有一個重要中間環(huan)節不(bu)容忽略，那就是(shi)“裝備(bei)大(da)模型(xing)化”。
當下，我們看到微軟正在將大模型“塞進”電腦，華為、蘋果等手機廠商正將大模型“塞進”手機。而以宇視為代表的AIoT頭部企業，也正將大(da)模(mo)型(xing)“塞進”攝像機。
大(da)(da)模(mo)型(xing)正催生新的裝備進化——本次(ci)，在宇(yu)視(shi)展臺上備受關注的AI-ISP獵(lie)光(guang)(guang)系(xi)列智能攝像(xiang)機就是一大(da)(da)代表。基于大(da)(da)模(mo)型(xing)打造的“獵(lie)光(guang)(guang)2.0-AI-ISP”圖(tu)像(xiang)引擎，可以使得前端攝像(xiang)機應對多種極黑、無光(guang)(guang)、微光(guang)(guang)場(chang)景挑(tiao)戰。
在(zai)現場設置(zhi)的暗室中，一臺(tai)僅(jin)僅(jin)數百元的經濟型攝像機(ji)，即使是在(zai)低至令人(ren)難以置(zhi)信的≤0.0001 Lux的照(zhao)度環境下，依然能夠(gou)讓(rang)圖像呈現出如同在(zai)白晝中一般的鮮艷色(se)彩(cai)。
▲AI-ISP獵光系(xi)列(lie)智能攝(she)像機效果展示
大模(mo)型(xing)+智(zhi)能攝像機設備(bei)，讓過去AIoT行業難以解(jie)決(jue)的痛點迎(ying)刃(ren)而解(jie)。
眾所周(zhou)(zhou)知(zhi)，夜(ye)間是安全(quan)隱患的(de)高發時(shi)段。由于(yu)光線不足，人類視覺(jue)難以(yi)清晰地觀察到(dao)周(zhou)(zhou)圍的(de)環境，往往使得安全(quan)隱患難以(yi)察覺(jue)，星(xing)光等夜(ye)視攝像機(ji)(ji)的(de)出現大大緩解了這(zhe)一問(wen)題。但具有高品質成像效(xiao)果(guo)的(de)傳統(tong)夜(ye)視攝像機(ji)(ji)成本較高，在方案部(bu)署的(de)時(shi)候容(rong)易被戰略性舍棄。
缺少高性價比的夜視攝像機，這是行業的一大痛點。
宇視AI-ISP獵(lie)光(guang)系列智能攝像(xiang)(xiang)機(ji)直擊這一痛點。鄭勇(yong)告訴智東西，基于“梧(wu)桐2.0”，攝像(xiang)(xiang)機(ji)算(suan)法(fa)在訓(xun)練(lian)(lian)的(de)過程中，可以采用由AI生成的(de)大(da)量不同場景的(de)視頻素材，例如微光(guang)的(de)魚塘、無光(guang)的(de)鄉村(cun)小路等，從而大(da)大(da)壓(ya)縮了訓(xun)練(lian)(lian)成本。
同時，基于數千種場景的(de)實驗訓練(lian)及測試，AI-ISP獵光(guang)系列智能攝像機算法快速迭代(dai)，強(qiang)化拖影收斂、動態降噪、場景提亮、色彩還原(yuan)、對比度增強(qiang)效果(guo)，使圖(tu)像質(zhi)量突破(po)傳統ISP極(ji)限(xian)。
可以看到，大(da)模型(xing)已經展(zhan)現(xian)出對(dui)裝備“點石成金”的效(xiao)果。
而(er)這只(zhi)是(shi)“裝(zhuang)備(bei)大模型化”眾(zhong)多例子(zi)中的一(yi)個。
今年4月，宇視提出“把所有裝(zhuang)(zhuang)備(bei)(bei)用大(da)模型重做一遍”的理念，隨即(ji)推(tui)出了一大(da)批“裝(zhuang)(zhuang)備(bei)(bei)大(da)模型化”產(chan)品，覆蓋(gai)了AI端側裝(zhuang)(zhuang)備(bei)(bei)、AI邊(bian)緣端裝(zhuang)(zhuang)備(bei)(bei)、AI邊(bian)緣域裝(zhuang)(zhuang)備(bei)(bei)全業務場景。
在(zai)這三(san)大(da)場(chang)景中，除了(le)AI-ISP獵光(guang)系列智能(neng)攝像機，大(da)模型改造的(de)設備(bei)還(huan)涉及AI體(ti)測一(yi)(yi)體(ti)機、室內AI體(ti)鍛屏、視頻(pin)智能(neng)推訓(xun)一(yi)(yi)體(ti)機、視頻(pin)數(shu)據服(fu)務一(yi)(yi)體(ti)機等多種硬(ying)件，都實現了(le)不同(tong)程度的(de)數(shu)倍效(xiao)果提升(sheng)。
▲獵光2.0家族
做“裝(zhuang)備大(da)模型化”的難點是什么？
鄭勇告訴(su)智東西，不同(tong)于手(shou)機(ji)、PC等設備大模型化(hua)，AIoT設備在屬于相對(dui)弱交互但高專業度(du)的(de)領域，這就需要在大模型、AIoT及(ji)行(xing)業中都(dou)有深耕的(de)業務團隊來進行(xing)支(zhi)持開發，這也(ye)成為宇視做這件事的(de)一(yi)大優勢。
宇視正通(tong)過軟(ruan)件硬(ying)件化、硬(ying)件裝備化、裝備序列化等(deng)一(yi)系(xi)列創(chuang)新研發，為全行業帶來(lai)“裝備大(da)模型化”產(chan)品底座(zuo)開放能力的質變(bian)。
當下，無論是面向消費者市場(chang)還是企業級市場(chang)，裝備大(da)模型化已(yi)經(jing)成(cheng)為行業發展(zhan)的必(bi)然趨勢。
而從企業(ye)級數字(zi)化轉(zhuan)型(xing)市場來看(kan)，我國ICT裝(zhuang)備(bei)門(men)類眾(zhong)多(duo)、產品強大而豐富。這(zhe)些(xie)裝(zhuang)備(bei)更是(shi)大模型(xing)落地的(de)重(zhong)(zhong)要載體，是(shi)大模型(xing)落地實體物理世界、釋放千(qian)行百業(ye)新質生產力的(de)重(zhong)(zhong)要抓手。
三、行業破圈：AI技術的一次自證與他證
大模型帶來了智(zhi)能功能和裝備(bei)的(de)進化(hua)，最(zui)終的(de)效果還要在行(xing)業中驗證。
作為一家AIoT產品(pin)方案及能(neng)力(li)提供商，宇(yu)視(shi)在(zai)視(shi)圖(tu)領域有著多年的沉淀(dian)積(ji)累，致力(li)于(yu)在(zai)智慧(hui)城(cheng)市、交通、電力(li)、企業(ye)園區等多個場景領域進(jin)行(xing)視(shi)圖(tu)價值賦能(neng)。如今這(zhe)些行(xing)業(ye)經驗，也(ye)正幫助(zhu)其大(da)模型加(jia)速在(zai)行(xing)業(ye)落地。
在(zai)本(ben)次安博會(hui)上，我(wo)們可(ke)以看到基于“梧桐2.0”的智能功能、裝備已經落地(di)到了(le)文(wen)體娛樂、智慧城市、智慧交(jiao)通、生態(tai)保護等(deng)各個領域。
以宇視在(zai)現場展示的(de)(de)AI體育方案(an)為(wei)(wei)例，基于(yu)梧桐大(da)模型的(de)(de)AI體育鍛(duan)煉(lian)屏可(ke)(ke)以讓(rang)很多(duo)人(ren)站在(zai)同一個屏幕前一起做運動(dong)，記錄他(ta)們(men)的(de)(de)動(dong)作細節和成績，為(wei)(wei)其自動(dong)打分并(bing)提供(gong)鍛(duan)煉(lian)建議。這不僅可(ke)(ke)以幫助(zhu)校園開展運動(dong)、教學，也為(wei)(wei)社區鍛(duan)煉(lian)等(deng)更(geng)多(duo)場景提供(gong)了可(ke)(ke)能性。
▲AI體育解決方案(an)展(zhan)示(shi)
鄭勇(yong)透露(lu)，自梧桐(tong)大模型推出以來，宇視(shi)科技發力文教體(ti)領域(yu)，推出了AI體(ti)鍛屏、AI跑步屏、AI足球(qiu)、旅(lv)拍兔(tu)VLOG、VR導(dao)游(you)產品等多個(ge)(ge)創新解決方(fang)案，已(yi)快速落地全國百余(yu)個(ge)(ge)城市。
在(zai)剛剛結束的(de)“2024吳鉤足(zu)球全國總決賽”中(zhong)，直(zhi)播正是由宇(yu)視的(de)AI全景相機進(jin)行智能導播。在(zai)支持多視頻(pin)拼接畫面(mian)自動矯正消除(chu)畫面(mian)畸變的(de)同時，其基于AI畫面(mian)矯正及運鏡(jing)算(suan)法，讓攝像機進(jin)行自動檢測控球權、自動運鏡(jing)跟蹤，從(cong)而讓AI像人一(yi)樣(yang)去進(jin)行精彩賽事直(zhi)播。
基于(yu)宇視“梧桐2.0”打(da)造的解決方(fang)案，也同時落地到了智(zhi)慧(hui)城(cheng)市(shi)治理、智(zhi)慧(hui)人(ren)行、智(zhi)慧(hui)車(che)行、動(dong)物保護等各個(ge)領(ling)域。
在某地的(de)智慧城(cheng)市(shi)治理(li)中，相(xiang)關(guan)(guan)部門應用了(le)基(ji)于“梧桐2.0”的(de)城(cheng)市(shi)解(jie)決方案，聚焦群眾關(guan)(guan)注的(de)民生問(wen)題(ti)比如廣場舞噪音管理(li)、社區及城(cheng)市(shi)的(de)衛生管理(li)等問(wen)題(ti)，使其得(de)到高效解(jie)決，12345投訴量(liang)下降60%。
在(zai)這(zhe)(zhe)類場(chang)景中，各種細碎的問題都可以找到個性化(hua)長尾算法，比如：噪(zao)音傳感器(qi)加(jia)視(shi)頻聯動，解決(jue)(jue)工(gong)(gong)地(di)超時施工(gong)(gong)擾(rao)民(min)難題；物聯網(wang)油箱蓋加(jia)車載(zai)攝像(xiang)機(ji)，解決(jue)(jue)危險(xian)駕駛隱(yin)患和油耗異常(chang)等。這(zhe)(zhe)些(xie)行業(ye)解決(jue)(jue)方案(an)，都不同程度地(di)助力提升管理效率，減少(shao)安全隱(yin)患。
大模型(xing)為各個(ge)行(xing)業的數字化轉(zhuan)型(xing)帶來了(le)真(zhen)實價值(zhi)，也為各個(ge)行(xing)業的從業者帶來更多(duo)機會和商機。
這不僅是宇(yu)視AI技(ji)術的一(yi)次自(zi)證，也(ye)是其(qi)與集(ji)成商、渠(qu)道(dao)商伙(huo)伴開啟的一(yi)次他證。
在(zai)去年6月的北(bei)京(jing)安(an)博(bo)會(hui)現場，宇視啟(qi)動(dong)了(le)梧(wu)桐大模型(xing)種子合(he)作伙伴計劃，與來自(zi)交通、教育、零售、體育公(gong)共服務等領域(yu)的多位伙伴合(he)作開啟(qi)共創。
宇(yu)視提(ti)供軟件技術賦(fu)能平臺(tai)，推(tui)出了集數據管(guan)理(li)(li)、模型管(guan)理(li)(li)、服務(wu)管(guan)理(li)(li)、快捷工具于一體的行(xing)(xing)業(ye)(ye)大模型生態服務(wu)平臺(tai)；行(xing)(xing)業(ye)(ye)伙伴基于宇(yu)視平臺(tai)和協助(zhu)，進行(xing)(xing)解決方案的開發和推(tui)廣(guang)。
時(shi)隔一年多，鄭勇告(gao)訴智東西(xi)，一些合(he)作比較(jiao)深入的伙伴(ban)已經能夠收(shou)益。他(ta)們通過宇視(shi)推訓一體機去訓練行(xing)業(ye)自有(you)模型，將(jiang)產品(pin)和方(fang)案銷售給同(tong)行(xing)或終(zhong)端用(yong)戶，還能進行(xing)二次(ci)收(shou)益。
可以看(kan)到，當集成(cheng)商、渠道商從“搬箱(xiang)子”的人變為智能化方案咨(zi)詢服務商，與(yu)(yu)上游(you)設備商的關(guan)系由買(mai)賣變為培(pei)育和(he)共創關(guan)系，AI技術的自證(zheng)與(yu)(yu)他證(zheng)也正(zheng)在(zai)接近完成(cheng)時(shi)。
生(sheng)態賦能是一個長期過程。當下，仍然有(you)一些生(sheng)態伙(huo)伴抱有(you)慣性(xing)思維，希(xi)望買回(hui)一臺機器就(jiu)擁有(you)了大模(mo)型能力，因此在初(chu)始(shi)階段存在開發上手(shou)難(nan)的(de)問題。對此，宇(yu)視會(hui)直接(jie)跟進和協助(zhu)伙(huo)伴項(xiang)(xiang)目(mu)，保障(zhang)項(xiang)(xiang)目(mu)看到效果；同(tong)時打(da)磨設備，以開發出讓(rang)伙(huo)伴更易上手(shou)的(de)平臺工具。
可以預測，AI大模(mo)型帶(dai)來的(de)(de)將是整個(ge)行業(ye)數字化生(sheng)態的(de)(de)變革(ge)。AIoT硬件市(shi)場或許會進一步向(xiang)(xiang)頭部(bu)集中，但(dan)算法、軟(ruan)件、解決(jue)方案的(de)(de)能力將更多向(xiang)(xiang)集成商(shang)(shang)、渠道商(shang)(shang)靠近，從而形成新(xin)的(de)(de)行業(ye)秩序。
結語：宇視之路，AIoT行業之變
當全球大模(mo)(mo)(mo)型技術產業競賽加劇，中國(guo)企業與(yu)大模(mo)(mo)(mo)型技術，正(zheng)(zheng)以更快的速(su)度和千行百業搭起橋(qiao)梁，落地見(jian)效(xiao)。宇(yu)視科技圍(wei)繞“裝備大模(mo)(mo)(mo)型化(hua)”的探索之路，也正(zheng)(zheng)印證了中國(guo)AIoT行業之變(bian)。
獨行(xing)快，眾行(xing)遠(yuan)。裝備大模型化及產業落地前景遠(yuan)大，但道阻且(qie)長，這是(shi)一(yi)條必(bi)須有伙(huo)伴同(tong)行(xing)的(de)(de)路。我(wo)們看(kan)到，產業鏈上的(de)(de)不少玩家已經(jing)在轉換角(jiao)色和(he)思路，融入全(quan)新的(de)(de)生態共融秩序。AI技術的(de)(de)自(zi)證(zheng)與(yu)他證(zheng)仍在進行(xing)中，宇視和(he)他的(de)(de)伙(huo)伴們將(jiang)一(yi)起合力推動(dong)新業態的(de)(de)形成。
