芯東西（公眾號：aichip001）
作者 | ?ZeR0
編輯 | ?漠影
芯東西2月27日報道，今日，Arm發布全球首個Armv9邊緣AI計算平臺。該平臺以全新Arm Cortex-A320 CPU和邊緣AI加速器Ethos-U85 NPU為核心，專為物聯網應用優化，可支持運行超10億參數的(de)端側(ce)AI模型，已獲(huo)得亞馬遜云科技(ji)（AWS）、西門子、瑞(rui)薩電子等多(duo)家行業領先企業的(de)支持。
該平(ping)臺能夠(gou)支持基于(yu)智能體的AI應用上運行經過調(diao)優的大語(yu)言(yan)模(mo)型 （LLM）和小語(yu)言(yan)模(mo)型（SLM），開辟全新類別的邊緣應用場景。未來智能決策將更接近數(shu)據采集源(yuan)頭，這不僅能顯著減少延(yan)遲，還(huan)能有效提(ti)升隱私(si)保護水平(ping)。
Arm物聯(lian)網事業部(bu)業務拓展(zhan)副(fu)總裁馬健談道，大模(mo)型智(zhi)能體在(zai)(zai)(zai)邊(bian)緣(yuan)(yuan)的落地，需要更高性能、更高能效的邊(bian)緣(yuan)(yuan)計(ji)算平(ping)臺(tai)(tai)，保證邊(bian)緣(yuan)(yuan)設備(bei)安(an)全可靠(kao)將會成為(wei)邊(bian)緣(yuan)(yuan)AI大規(gui)模(mo)部(bu)署的必要條(tiao)件。作為(wei)Arm在(zai)(zai)(zai)邊(bian)緣(yuan)(yuan)計(ji)算平(ping)臺(tai)(tai)領(ling)導者，Arm在(zai)(zai)(zai)工業自動(dong)化(hua)、智(zhi)能家居、智(zhi)慧城(cheng)市等領(ling)域(yu)多看到OEM軟(ruan)件開發者們(men)正在(zai)(zai)(zai)積極尋求(qiu)與(yu)Arm聯(lian)手營建AI推理(li)的生態(tai)系統。
新型邊(bian)緣(yuan)AI計算(suan)平臺的推出標志著邊(bian)緣(yuan)計算(suan)發展(zhan)的重要里程碑(bei)，Arm現已(yi)能(neng)(neng)為(wei)物聯網提供最為(wei)先進的Armv9 Cortex處(chu)理器(qi)系列，覆蓋從極致性能(neng)(neng)到成本和能(neng)(neng)效受限的設(she)備。
超高能效的Arm Cortex-A320有兩大突出特點：增強的安全性和增強的AI計算特性。它通過(guo)Armv9架(jia)構(gou)提高物聯網應用的效(xiao)率、性能和安全性，推動工業自動化、智(zhi)能攝像頭等領域的進步。
Cortex-A320充分發揮Armv9架構的優勢，如針對機器模型性能的SVE2。相較于前代產品Cortex-A35，Cortex-A320的機器學習（ML）性能提升了10倍，標量性能提升了30%。這為物聯網(wang)帶來(lai)了先進的(de)AI功能(neng)(neng)和(he)開發者優(you)勢(shi)，將Armv9架構的(de)功能(neng)(neng)擴展到高能(neng)(neng)效設備，并提供全面的(de)軟件支持。
全新Armv9邊緣AI計算平臺兼顧效率、安全和智能，其內部集成的Ethos-U85 NPU支持Transformer算子網絡。相較于去年推出的基于Cortex-M85的平臺，新邊緣AI計算平臺的機器學習性能提高了8倍。
邊緣設備通常在暴露的環境中運行并處理敏感數據。Armv9邊緣AI計算平臺所采用的Armv9.2架構還為最小的Cortex-A設備帶來了高級的安全功能，例如指針驗證（PAC）、分支目標識別（BTI）和內存標記擴展（MTE），能夠有(you)效抵御黑(hei)客攻(gong)擊。
當(dang)前物(wu)聯網應用不(bu)斷(duan)攀(pan)升，包括自(zi)動(dong)駕駛車(che)輛(liang)在(zai)工(gong)廠環境中的精(jing)準導航、智能攝像頭(tou)通過軟件(jian)升級靈(ling)活調整功能、構(gou)建能夠(gou)提供更(geng)自(zi)然AI交互體驗的人機界面等。為了快(kuai)速創(chuang)新和(he)擴展，OEM廠商(shang)需要在(zai)合適的位置(zhi)靈(ling)活執行AI工(gong)作(zuo)負載，以實(shi)現更(geng)強大(da)的安(an)全性和(he)更(geng)高的軟件(jian)靈(ling)活性。
邊緣AI普及面臨的最主要障礙之一是軟件開發和部署的復雜性。Arm將Arm Kleidi延伸應用到物聯網領域，可實現高達70%的性能提升，助力(li)全球2000多萬Arm開發(fa)者無(wu)縫集(ji)成領先(xian)AI框(kuang)架(jia)，簡化邊緣AI開發(fa)流程。
Arm Kleidi是一套面向AI框架開發者的計算庫，旨在優化基于Arm CPU的AI和ML工作負載，無需開發者額外操作。KleidiAI已集成到常見的物聯網AI框架中，如Llama.cpp、ExecuTorch、LiteRT（通過XNNPACK），加速了Meta Llama 3 和Phi-3等關鍵模型的性能。例如在Llama.cpp上運行微軟的Tiny Stories數據集時，KleidiAI為新的Cortex-A320帶來了高達70%的性能提升。
在當今(jin)快(kuai)節(jie)奏的(de)(de)技術環境中，產品(pin)的(de)(de)上市速度往往決定其成敗。新邊緣AI計算平臺確(que)保了與(yu)更高性能(neng)Cortex-A處理(li)器在軟件層面的(de)(de)無縫兼(jian)容(rong)，使開(kai)發(fa)者能(neng)夠打造(zao)可隨需求變化而靈活調整(zheng)的(de)(de)解(jie)決方(fang)案，加快(kuai)產品(pin)上市時間，并降低(di)總(zong)體擁有成本。
馬(ma)健認為，除了帶來(lai)商業(ye)化機遇(yu)外(wai)，AI還會對一些更廣泛的全球性問(wen)題產(chan)生(sheng)(sheng)深遠影響，比如減少(shao)人類活動對氣候的影響、改善生(sheng)(sheng)物多樣性、保護(hu)瀕危野生(sheng)(sheng)動物、改變醫療健康(kang)領(ling)域(yu)等，我們正站在這一變革的起點。
據亞(ya)馬遜云科技(ji)物聯網技(ji)術負責人(ren)Yasser Alsaied分(fen)享，全新Arm邊緣(yuan)(yuan)AI計算平臺為客戶(hu)實現(xian)了在Armv9技(ji)術上運(yun)行AWS IoT Greengrass的(de)輕量(liang)級設(she)備(bei)運(yun)行時環境—— Nucleus Lite，從而讓邊緣(yuan)(yuan)設(she)備(bei)以最低的(de)內存需(xu)求(qiu)高效運(yun)行。這兩項技(ji)術的(de)無縫集成為開發(fa)者(zhe)提(ti)供了優化的(de)解決方(fang)案，支持構建(jian)現(xian)代(dai)邊緣(yuan)(yuan)AI應用，例如精準農(nong)業(ye)中、智能制(zhi)造和(he)自動(dong)駕駛的(de)異常檢(jian)測(ce)。
Arm全新邊緣(yuan)AI計(ji)算平(ping)臺(tai)提供了構建下一代多(duo)樣(yang)化(hua)物(wu)聯(lian)網(wang)(wang)設備(bei)的(de)基(ji)礎(chu)，將助(zhu)力(li)各行各業打造出(chu)更(geng)智能、更(geng)高(gao)效(xiao)、更(geng)安全的(de)AI應用。Arm高(gao)級副總裁兼(jian)物(wu)聯(lian)網(wang)(wang)事業部總經理Paul Williamson談(tan)道：“AI的(de)革新已不再(zai)局限于云(yun)端。隨著(zhu)世界(jie)的(de)互聯(lian)和智能化(hua)水平(ping)的(de)日益(yi)提升，從智慧城市到工業自動(dong)化(hua)，在(zai)邊緣(yuan)側處理AI工作負載不僅帶來顯著(zhu)的(de)優勢(shi)，其(qi)必要性更(geng)是不可或(huo)缺。專為物(wu)聯(lian)網(wang)(wang)打造的(de)Armv9邊緣(yuan)AI計(ji)算平(ping)臺(tai)的(de)推出(chu)，標志著(zhu)這(zhe)一發展趨勢(shi)邁入(ru)了重(zhong)要的(de)里程碑。”
