導(dǎo)讀:近日,美格智能發(fā)揮軟硬件一體協(xié)同開發(fā)能力,融合阿加犀卓越的AI優(yōu)化部署技術(shù),在搭載高通QCS8550平臺的高算力AI模組上,成功運行了一系列大語言模型,包括LLaMA-2、通義千問Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,展現(xiàn)出卓越的邊緣端大模型部署能力。
近日,美格智能發(fā)揮軟硬件一體協(xié)同開發(fā)能力,融合阿加犀卓越的AI優(yōu)化部署技術(shù),在搭載高通QCS8550平臺的高算力AI模組上,成功運行了一系列大語言模型,包括LLaMA-2、通義千問Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,展現(xiàn)出卓越的邊緣端大模型部署能力。
▌構(gòu)建智算底座,加速大模型端側(cè)部署
大模型和生成式AI的浪潮席卷全球,帶來人工智能新紀(jì)元。大模型誕生之初主要是與云端綁定,而隨著應(yīng)用場景的拓展,AI開始賦能千行百業(yè),大模型也需要在越來越多的終端設(shè)備上運行。如果說生成式AI是正在高速向前行駛的列車,那算力就是燃料。終端側(cè)AI的落地應(yīng)用,離不開硬件和設(shè)備算力的升級。
今年,高通推出了AI算力芯片QCS8550,整合了強大的NPU算力和邊緣側(cè)AI處理技術(shù)、Wi-Fi 7連接技術(shù)以及增強型圖形和視頻處理能力,提供高速、低功耗的AI計算平臺,為終端側(cè)AI賦能。
基于高通QCS8550芯片平臺,美格智能推出了高算力AI模組SNM970,綜合AI算力高達(dá)48Tops,并支持混合精度計算,為IoT設(shè)備打造全新的智算底座。高算力AI模組是承載端側(cè)AI無限創(chuàng)造空間的最佳形式,為海量碎片化場景提供穩(wěn)定的通信能力和強大的邊緣算力,讓終端開發(fā)者能夠基于標(biāo)準(zhǔn)化的模組完成低成本、短流程的產(chǎn)品設(shè)計和制造,降低大模型的開發(fā)和使用成本。
另一方面,AI從芯片到應(yīng)用還需要解決跨平臺遷移、異構(gòu)芯片效率丟失、碎片化的場景需求等挑戰(zhàn)。阿加犀具備成熟的AidLux平臺和行業(yè)領(lǐng)先的開箱即用AI工具鏈,能夠全面提升邊緣設(shè)備的AI性能和模型執(zhí)行效率,為AI項目在豐富場景中快速落地提供專業(yè)支持,進(jìn)一步推動AI應(yīng)用的終端部署。
此次,美格智能高算力AI模組產(chǎn)品團隊攜手阿加犀,在基于高通驍龍800系列平臺的自研高算力AI模組上成功運行一系列大語言模型,成功驗證了算力模組作為未來大模型邊緣AI算力底座的通用性,對邊緣端生成式AI的支持進(jìn)一步成熟,有望將生成式AI拓展至更多領(lǐng)域。
美格智能提供具備出色能效比、強大的計算能力的算力模組,結(jié)合阿加犀獨有的AI工具鏈帶來的領(lǐng)先的SoC性能調(diào)度能力,二者強強聯(lián)合發(fā)揮出模組的極致性能,讓多個參數(shù)達(dá)70億的語言大模型,包括LLaMA-2、通義千問Qwen、百川大模型、RedPajama、ChatGLM2、Vicuna,都能在算力模組上保持高效運行。
▌高算力AI模組,讓AI觸手可及
美格智能高算力AI模組產(chǎn)品專為終端側(cè)、邊緣側(cè)AI應(yīng)用設(shè)計,依靠強大的軟硬件一體研發(fā)能力,美格智能持續(xù)推進(jìn)高算力AI模組的AI硬件不斷升級,至今已經(jīng)歷經(jīng)多代產(chǎn)品演進(jìn),涵蓋入門級、中端、旗艦級多層次產(chǎn)品,包括SNM930、SNM950、SNM960、SNM970、SNM972等系列,對應(yīng)AI算力覆蓋14Tops~48Tops。
同時,美格智能研發(fā)團隊在AI應(yīng)用場景開發(fā)、AI性能優(yōu)化和AI低功耗程序研發(fā)等領(lǐng)域的設(shè)計研發(fā)能力處于行業(yè)領(lǐng)先水平,相關(guān)算力產(chǎn)品在各類核心場景大規(guī)模應(yīng)用,讓智慧零售、智能機器人、智慧交通、智慧農(nóng)業(yè)、智能制造等各行各業(yè)快速于邊緣端部署大模型,以AI驅(qū)動業(yè)務(wù)創(chuàng)新。
針對AI邊緣計算領(lǐng)域,美格智能基于高算力AI模組SNM972,助力客戶打造SoC陣列服務(wù)器產(chǎn)品。該模組采用MiniPCIe封裝方式,支持16GB LPDDR5X + 256GB UFS 4.0內(nèi)存,并支持混合精度計算,支持ONNX、Pytorch、CAFFE、TensorFlowLite等模型框架,可輕松賦能各類AI場景。
方案中每個算力節(jié)點采用刀片+陣列式設(shè)計,內(nèi)部實現(xiàn)模塊化及熱插拔設(shè)計,可以實現(xiàn)不停機維護(hù)。最高可配置80路算力模組,單顆模組內(nèi)部支持Android虛擬化,可虛擬出多路計算單元,更好地進(jìn)行算力配置,為實時互動云計算、邊緣AI云計算、云渲染等業(yè)務(wù)場景提供最佳算力底座。
AI正在改變世界,美格智能始終以市場需求為導(dǎo)向,與合作伙伴緊密合作,圍繞高算力AI模組打造更多適配行業(yè)的解決方案,拉近大模型和應(yīng)用之間的距離,把握智慧先機,實現(xiàn)讓AI觸手可及的目標(biāo),賦能數(shù)字經(jīng)濟發(fā)展。