在物聯(lián)網(wǎng)與AI融合的浪潮中，考慮延時、隱私、成本等因素，相比于將數(shù)據(jù)上傳到云，市場對邊緣AI計算平臺的需求日益迫切。從智慧城市到工業(yè)自動化，隨著世界的互聯(lián)和智能化水平的日益提升，在邊緣側(cè)處理AI工作負載的必要性已不可或缺。

Arm公司近日發(fā)布專為物聯(lián)網(wǎng)優(yōu)化的Armv9邊緣AI計算平臺，該平臺以全新的Arm Cortex-A320 CPU和領(lǐng)先的邊緣AI加速器Arm Ethos-U85 NPU為核心，覆蓋多個應(yīng)用場景，實現(xiàn)包括視覺和自然語言在內(nèi)的多模態(tài)的環(huán)境感知與理解，進而運行智能體AI、自主規(guī)劃、執(zhí)行復(fù)雜任務(wù)。該平臺具備強大的計算能力，比去年的基于Cortex-M85搭配Ethos-U85的平臺提升了八倍的ML計算性能，帶來了顯著的AI計算能力突破。該平臺可賦能邊緣AI設(shè)備輕松運行超過10億參數(shù)的大模型，助力大模型與生成式AI在物聯(lián)網(wǎng)領(lǐng)域的落地。

一、Armv9邊緣AI計算平臺：CPU和NPU的深度配合助推邊緣AI創(chuàng)新

Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健表示，此次發(fā)布的邊緣AI計算平臺并非CPU和AI加速器的簡單堆疊，而是實現(xiàn)了深度配合，讓CPU和NPU相得益彰。

Cortex-A320可以為Ethos-U85提供更高的內(nèi)存容量與帶寬，讓大模型在Ethos-U85上的執(zhí)行如虎添翼。任何開發(fā)者們不希望在Ethos-U85上運行的AI操作，可以回退到Cortex-A320，利用其Neon/SVE2引擎更靈活有效地在CPU上執(zhí)行。這使智能物聯(lián)網(wǎng)與消費類電子生態(tài)系統(tǒng)能夠在正確的時間，并在合適的地方運行最適合的工作負載。在Arm看來，這一創(chuàng)新將推動邊緣AI領(lǐng)域在未來多年內(nèi)的持續(xù)發(fā)展。

目前，全新Armv9邊緣AI計算平臺已獲得亞馬遜云科技(AWS)、西門子和瑞薩電子等多家行業(yè)領(lǐng)先企業(yè)的支持。以AWS為例，AWS IoT Greengrass是一個開源的邊緣執(zhí)行程序和云服務(wù)，用于構(gòu)建、部署和管理設(shè)備端軟件。目前，該邊緣執(zhí)行程序已經(jīng)能夠在眾多基于Arm架構(gòu)的設(shè)備上運行，并支持遠程部署、管理和持續(xù)優(yōu)化AI功能。在云邊協(xié)同服務(wù)的場景下，安全性至關(guān)重要。因此，Armv9的安全特性成為物聯(lián)網(wǎng)服務(wù)成功落地，以及為終端用戶創(chuàng)造價值的關(guān)鍵創(chuàng)新。

二、Cortex-A320：首個專為物聯(lián)網(wǎng)應(yīng)用優(yōu)化，基于Armv9架構(gòu)的超高能效CPU

聚焦物聯(lián)網(wǎng)設(shè)備的邊緣AI能力時，此次全新發(fā)布的基于Arm架構(gòu)的Cortex-A320為物聯(lián)網(wǎng)帶來了先進的AI功能和開發(fā)者優(yōu)勢，將Armv9架構(gòu)的功能擴展到高能效設(shè)備，并提供全面的軟件支持。

Cortex-A320充分發(fā)揮了Armv9架構(gòu)的優(yōu)勢，如針對ML性能的SVE2。相較于前代產(chǎn)品Cortex-A35，Cortex-A320的ML性能提升了十倍，標量性能提升了30%。

其所采用的Armv9.2架構(gòu)還為最小的Cortex-A設(shè)備帶來了高級的安全功能，例如指針驗證(PAC)、分支目標識別(BTI)和內(nèi)存標記擴展(MTE)。這些功能至關(guān)重要，因為邊緣設(shè)備通常在暴露的環(huán)境中運行并處理敏感數(shù)據(jù)。

Cortex-A320支持廣泛的邊緣AI應(yīng)用類型，從入門級通用MPU、智能揚聲器、軟件定義智能攝像頭，到工廠車間內(nèi)的自動駕駛車輛、自動化邊緣AI助手、AI人機界面和機器人控制器，Cortex-A320可在廣泛的應(yīng)用中發(fā)揮上述優(yōu)勢。除邊緣AI應(yīng)用外，Cortex-A320還可惠及包括智能手表和智能可穿戴設(shè)備，以及服務(wù)器基板管理控制器(BMC)等基礎(chǔ)設(shè)施設(shè)備在內(nèi)的眾多關(guān)鍵細分市場。

三、強大的軟件生態(tài)支持

邊緣AI普及面臨的最主要障礙之一是軟件開發(fā)和部署的復(fù)雜性，為此，Arm將Arm Kleidi擴展到物聯(lián)網(wǎng)。作為一套面向AI框架開發(fā)者的計算庫，旨在優(yōu)化基于Arm CPU的AI和ML工作負載，無需開發(fā)者額外操作。KleidiAI已集成到常見的物聯(lián)網(wǎng)AI框架中，如Llama.cpp和ExecuTorch或LiteRT（通過XNNPACK），加速了Meta Llama 3和Phi-3等關(guān)鍵模型的性能。例如，在Llama.cpp上運行微軟的Tiny Stories數(shù)據(jù)集時，KleidiAI為新的Cortex-A320帶來了高達70%的性能提升。

可以說，軟件生態(tài)一直是Arm的聚焦重點之一。過去幾年中，Arm在IoT標準化方面推出了Arm SystemReady，旨在不同的IoT平臺上可以支持各種主流軟件和操作系統(tǒng)，確?！伴_機即用”。Arm SystemReady項目在全球的推廣非常成功，目前已經(jīng)累計頒發(fā)了超過了160張認證。在中國市場，去年11月Arm攜手中科創(chuàng)達成立了中國大陸首個Arm SystemReady Devicetree合規(guī)實驗室。該實驗室融合了中科創(chuàng)達在操作系統(tǒng)和工程方面全方位的專業(yè)能力，以及Arm經(jīng)過全球驗證的SystemReady項目，為芯片廠商、OEM/ODM 廠商 、系統(tǒng)集成商提供端到端的測試和技術(shù)支持服務(wù)，為智能設(shè)備啟動固件的標準化，加速萬物智能互聯(lián)時代的到來。

小結(jié)

展望未來，AI的發(fā)展趨勢將繼續(xù)轉(zhuǎn)向邊緣側(cè)，而全新Arm邊緣AI計算平臺將成為新一輪物聯(lián)網(wǎng)創(chuàng)新的催化劑。Armv9架構(gòu)的特性、先進的AI功能和全面軟件支持的結(jié)合，為OEM廠商和開發(fā)者創(chuàng)造了新的可能性。隨著技術(shù)的不斷演進，我們也期待Armv9邊緣AI計算平臺能持續(xù)推動邊緣AI的廣泛應(yīng)用和創(chuàng)新。