智東西（公眾號：zhidxcom）
作者 | 韋世瑋
編輯 | 心緣
近年來隨(sui)著(zhu)物聯網(wang)及AIoT行業的興起(qi)，邊(bian)緣計算作為一(yi)種能夠在本地智能分析、處理(li)數據的計算方式，以時延(yan)低(di)、效(xiao)率高(gao)、安全(quan)隱(yin)私性高(gao)等優(you)勢，逐漸成為行業青睞(lai)的技(ji)術，需求(qiu)呈(cheng)井噴式爆發(fa)。
據(ju)市場研(yan)究機構CB Insights數據(ju)，預計2016-2023年(nian)，邊緣計算市場的復合增長率將達35%，到2023年(nian)，整(zheng)體市場規模(mo)將接(jie)近340億美元(yuan)。還有分析(xi)師預測(ce)，從2025年(nian)開(kai)始，邊緣側(ce)AI芯片(pian)(pian)的市場營(ying)收規模(mo)將超過云端AI芯片(pian)(pian)。
在這個趨勢下，整個行業也掀起了一股邊緣計算創新創業浪潮。其中，OPEN AI LAB（開放智能）是這股浪潮中不可小覷的玩家之一。
從2016年12月成立至今，OPEN AI LAB不斷深耕邊緣計算AI（人工智能）開發平臺，推出了國內自主的邊緣AI計算框架和一系列滿足各類場景需求的生產工具，助力國內AI生態(tai)發展的同(tong)時，也(ye)通(tong)過賦能幫助企(qi)業完成數字化(hua)轉型和智能化(hua)升級。
2020年，OPEN AI LAB聯合創始人(ren)兼(jian)CTO黃明飛曾(ceng)告訴智(zhi)東西(xi)，國內(nei)AI開(kai)(kai)源生態(tai)仍在(zai)起(qi)步(bu)階段，而(er)OPEN AI LAB的(de)基本工作是(shi)把產品做好，為開(kai)(kai)發(fa)者提供更豐富的(de)內(nei)容和工具，享受更加簡(jian)單(dan)靈(ling)活(huo)的(de)開(kai)(kai)發(fa)體(ti)驗，一同推動(dong)開(kai)(kai)源生態(tai)的(de)發(fa)展。
現在，OPEN AI LAB取得了哪些收獲和技術進展？國內的AIoT行業又發生了什么新變化？時隔一年，智東西再度與黃明飛進行深入交流，了解他們在過去一年的成長閃光點。
5月25日(ri)，覆蓋(gai)輕量級(ji)神經網絡模(mo)型設(she)計、模(mo)型壓縮、AI推理引擎、嵌入(ru)式(shi)AI芯片架(jia)構創新等主題的GTIC 2021嵌入(ru)式(shi)AI創新峰會將(jiang)于(yu)北京(jing)新云南皇冠假日(ri)酒店舉行。屆時，黃明飛(fei)將(jiang)帶(dai)來《Tengine：加速邊緣計算中的AI部(bu)署與落地》主題演講。
一、過去一年：生態拓展是關鍵詞，Tengine深入行業合作
“在疫情的影響下，實際上整個行業的發展節奏放慢了。”黃明飛談到，在過去一年時間里，OPEN AI LAB的工作主要是兩件事，一是通過AI實現快速行業落(luo)地，降低企業開(kai)發門(men)檻，二(er)是(shi)做生態建(jian)設。
一方面，OPEN AI LAB在2020年打造了一個能實現從數據到算法、從算法到應用、從應用到部署，并自動更新迭代的邊云自動化部署平臺MLOps，能大大簡化企(qi)業應(ying)用部署(shu)環節，降低開發(fa)門檻。
另一方面，越來越多的開發者從云計算入場邊緣計算場景，這也讓OPEN AI LAB在生態構建的同(tong)時，積累了越來(lai)越多的行業伙伴。
“從行業大背景(jing)上看，2020年還有(you)一個國(guo)際關系問題(ti)。”黃(huang)明飛解釋，以(yi)華(hua)為(wei)為(wei)例，中美(mei)貿易摩擦對(dui)華(hua)為(wei)芯片(pian)供應鏈的影響，讓國(guo)產(chan)化芯片(pian)成(cheng)為(wei)人們十分關注的行業話題(ti)，這也給(gei)OPEN AI LAB帶來了(le)更多思考。
“這(zhe)么多(duo)的國(guo)產芯片，實(shi)際上(shang)(shang)更(geng)需要一個像Tengine這(zhe)樣的AI框架，通過(guo)開放(fang)更(geng)多(duo)內容(rong)，讓大家一起促進中國(guo)AI生態(tai)的繁榮。”他說，因此公司在過(guo)去一年仍(reng)將(jiang)工作重點放(fang)在Tengine的生態(tai)發展上(shang)(shang)。
簡單來說，Tengine是(shi)一個嵌(qian)入(ru)式的(de)AI推理框架，能夠幫助開(kai)發者解決AI在快(kuai)速(su)產業化落地(di)中遇(yu)到的(de)各個瓶頸(jing)難(nan)題。與同(tong)行(xing)相比(bi)，Tengine有兩個特(te)點(dian)，一是(shi)重(zhong)點(dian)面向嵌(qian)入(ru)式邊緣計算應用，涉及海量的(de)AIoT應用設(she)備，而非(fei)服務器集群(qun)；二(er)是(shi)它(ta)的(de)工作重(zhong)點(dian)在于AI推理，并非(fei)AI訓練。
在生態發展上，過去一年開始Tengine陸續與MegEngine、OneFlow、PaddlePaddle等業內主流開源(yuan)框架進行了深度合作與(yu)拓(tuo)展(zhan)，包括通過連(lian)接訓練(lian)和推理兩個平臺形成完整的解決方案。
此外(wai)，Tengine還(huan)與老(lao)牌跨平臺計算機視覺庫OpenCV進(jin)一步深入合作，成為OpenCV在AI領域(yu)的重要部分。
二、Tengine Framework的三大重構，面向開發者與用戶
一(yi)直以(yi)來，國內邊緣(yuan)(yuan)側應用規模化落(luo)地的(de)難點在(zai)于，行業中大(da)部(bu)分的(de)云端訓(xun)練框(kuang)架(jia)和算法模型無法與邊緣(yuan)(yuan)AI芯(xin)片直接(jie)適配，需(xu)要(yao)一(yi)個聚焦邊緣(yuan)(yuan)側的(de)計(ji)算部(bu)署平臺。
Tengine就(jiu)在這(zhe)一(yi)需求下應運而生，它(ta)可以實現從芯片(pian)到場景的全棧打通。
其中，Tengine Framework是OPEN AI LAB自主(zhu)設計的邊緣(yuan)AI計算框(kuang)架，向(xiang)下幾乎(hu)兼容所(suo)(suo)有(you)主(zhu)流(liu)國產AI芯(xin)片，現階段已與超20+主(zhu)流(liu)芯(xin)片廠商SoC的底層(ceng)全(quan)面適配，例如(ru)紫光展(zhan)銳、全(quan)志(zhi)科技、地平線、寒武紀、恒玄(xuan)等；向(xiang)上則支(zhi)撐所(suo)(suo)有(you)主(zhu)流(liu)訓(xun)練框(kuang)架及網絡模型(xing)，包括TensorFlow、PyTorch、Caffe、PaddlePaddle等。
另一方(fang)面，OPEN AI LAB推出的(de)商業化(hua)的(de)邊(bian)云自(zi)動(dong)化(hua)部署平臺，名為(wei)Tengine MLOps。它是(shi)一個能實現從(cong)數據(ju)到(dao)算(suan)(suan)法、從(cong)算(suan)(suan)法到(dao)應用、從(cong)應用到(dao)部署的(de)AI系(xi)統平(ping)臺，能大(da)(da)大(da)(da)簡化(hua)企業應用部署(shu)環節(jie)，降低(di)開發門檻(jian)。
目前商業項目已覆蓋數十個細分行業場景：安全生產、智慧教育、智慧電力、智慧社區、信創領域等；產業鏈合作伙伴達上千個，覆蓋芯片公司、算法公司、IDH公司、OEM/ODM公司、行業解決方案商等；為數百個AI項(xiang)目(mu)落地提供加速動力(li)。
黃明飛談到，為了不斷滿足客戶的需求，公司在疫情期間對Tengine Framework進行了重構，主要涉及三個方面。
一是根據Tengine發布四年來(lai)從開(kai)源社區(qu)和(he)商業客戶中得到(dao)(dao)的(de)大量反饋，對整個框架(jia)進行了軟件的(de)優(you)化升級，目的(de)是讓開(kai)發者能更高效地(di)使用Tengine，從而更好地(di)參(can)與(yu)到(dao)(dao)架(jia)構的(de)開(kai)發建設中。
二是針對(dui)Tengine Framework做了新的生態項目，包(bao)括Tengine Kit、Tengine Factory，目的(de)是(shi)讓用戶能更(geng)容易地使用Tengine。
三是AutoKernel，也是Tengine Framework的子項目。不同的是，它主要負責底層算子的自動化優化。“這個工具將是我們對國內開源社區的一個非常大貢獻，因為之前我們國內一直沒有底層算子自動優化的開源項目。”黃明飛說。
三、成本是AI落地本質問題，未來將開放更多Tengine功能
在黃明(ming)飛看來，現在AI行業(ye)已經從最(zui)初的概(gai)念驗證階段(duan)轉向落地的關鍵階段(duan)，但在這個落地階段(duan)也面臨(lin)著(zhu)不(bu)少困難，其中最(zui)本(ben)質的問題(ti)是成本(ben)問題(ti)。例(li)如，許多解決方案(an)都采(cai)用機器視覺來做監控，但成本(ben)卻降不(bu)下來，還不(bu)如用原來的員工更實惠。
黃明飛認為，實際上解(jie)決這個問題就(jiu)需要平臺和工具來降低開發成本，尤其是軟件產(chan)品的(de)成本，能夠用于一些低成本的(de)硬件平臺，從(cong)而真正實現性價比提升。
其次，當成本下降突破落地的第一道關口后，還需要進一步思考國產AI芯片的發展問題。他解釋，OPEN AI LAB成立時，曾預期國產AI芯片可能在2019-2020年爆(bao)發(fa)，但目前看來整體還處在發(fa)展期。
黃(huang)明(ming)飛談到(dao)，盡管國(guo)家一(yi)直投入(ru)資金扶持國(guo)產芯(xin)片的發展，但(dan)行(xing)業仍需(xu)一(yi)個開(kai)源生態來讓玩家共同(tong)推動。
“如果說什么東西(xi)都自己干(gan)，實際上效(xiao)率是(shi)不高的(de)(de)，需要大家各(ge)自做擅長(chang)的(de)(de)地方，通過生態(tai)合作產生合力，才(cai)能形成一個良好環(huan)境，讓(rang)國產AI生態(tai)從芯片到基礎軟件都迅速(su)發(fa)展(zhan)。”黃明飛說。
“目(mu)前邊(bian)緣計算已經成為AI行業公認的(de)(de)發展趨勢。”在黃明飛(fei)看來(lai)，與過去幾年比較(jiao)熱門的(de)(de)云原生相(xiang)似(si)，行業在未來(lai)也可(ke)能(neng)會出(chu)現類似(si)的(de)(de)邊(bian)緣原生技術(shu)。基于(yu)此，OPEN AI LAB也將繼續(xu)打造(zao)一(yi)個(ge)從開(kai)發到部署的(de)(de)一(yi)整套邊(bian)緣原生的(de)(de)AI系統平(ping)臺(tai)。
談(tan)及產品的后續計劃，黃(huang)明飛談(tan)到，未來(lai)Tengine會逐步開(kai)放更多(duo)內容，與越(yue)來(lai)越(yue)多(duo)芯片廠商合作；另一方面(mian)，OPEN AI LAB也會逐步將Tengine MLOps中(zhong)(zhong)的功能(neng)開(kai)放到Tengine Factory中(zhong)(zhong)，開(kai)源更多(duo)內容，從而讓整個生態更加獲益(yi)。
結語：從軟件源頭推動邊緣計算發展
從云端到邊緣側，人工智能的發展給(gei)我國(guo)高新技術(shu)行業催生了無數創業創新機會。如今嵌入式邊緣計(ji)算(suan)作為(wei)信息(xi)數據處理的重(zhong)要手(shou)段之一，如何從軟件層(ceng)出發大大降低開發及部署(shu)門檻，也是這股浪(lang)潮中每一位玩(wan)家都在(zai)思考的事。
OPEN AI LAB作為我(wo)國(guo)AI開源(yuan)大軍中的一(yi)股重(zhong)要力量，一(yi)手開源(yuan)框架推動國(guo)內生態社區發展，一(yi)手端到(dao)端AI系統(tong)平臺助力企業(ye)智能化轉型，也給未來(lai)AI行業(ye)的廣泛落地深踩(cai)了一(yi)腳油門(men)。
