人工智能是一項正在常規(guī)基礎上進行大量研究的技術。世界各地的研究人員都在努力讓AI的應用和實施更快、更好。多年來，人類遇到了人工智能帶來潛在突破的例子。無論是在心臟病的早期檢測，還是在發(fā)現(xiàn)歷史事件方面，人工智能自誕生以來都取得了長足的進步。

為了減輕日常瑣事，麻省理工學院(MIT)和國立臺灣大學的研究人員合作，在微控制器上嵌入了深度神經(jīng)網(wǎng)絡。這意味著，微小芯片形式的AI可以在智能穿戴設備和家用電器中實現(xiàn)，從而實現(xiàn)物聯(lián)網(wǎng)(Device)和AI的高級融合。這篇題為《MCUNet：物聯(lián)網(wǎng)設備上的微小深度學習》的研究論文將于12月在神經(jīng)信息處理系統(tǒng)會議上發(fā)表。研究人員希望通過這種方法，在物聯(lián)網(wǎng)設備的傳感器附近進行數(shù)據(jù)分析，從而拓寬人工智能的應用范圍。

了解MCUnet

研究人員發(fā)明的這種設備被稱為MCUnet。它是一種神經(jīng)網(wǎng)絡架構，能夠在現(xiàn)成的微控制器上實現(xiàn)ImageNet規(guī)模的深度學習。ImageNet是一個圖像數(shù)據(jù)庫，每個節(jié)點由數(shù)千張圖像描述。在該模型中，深度學習設計和推理庫進行了聯(lián)合優(yōu)化，以消除傳統(tǒng)微控制器片上有限內(nèi)存的挑戰(zhàn)，降低內(nèi)存使用量。

TinyNAS是一種深度學習設計，具有兩階段神經(jīng)結構搜索(NAS)方法，可處理各種微控制器上微小而多樣的存儲限制。研究指出，TinyNAS首先自動優(yōu)化搜索空間以適應微小的資源限制，然后在優(yōu)化后的空間進行神經(jīng)結構搜索，從而解決了這個問題。TinyNAS通過縮放輸入分辨率和模型寬度來生成不同的搜索空間，然后收集搜索空間內(nèi)滿足網(wǎng)絡的計算失敗分布來評估其優(yōu)先級。此外，TinyNAS依賴于搜索空間能夠容納的洞察力。內(nèi)存限制下的失敗次數(shù)越多，深度學習模型就越好。實驗表明，優(yōu)化后的空間提高了NAS搜索模型的準確率。TinyNAS可以在低搜索成本下自動處理與傳統(tǒng)微控制器相關的各種約束，如設備、延遲、能源、內(nèi)存等。

研究人員指出，TinyEngine是一個內(nèi)存高效的推理庫，消除了不必要的內(nèi)存開銷，因此搜索空間得到了擴展，以適應更大的深度學習模型，并具有更高的準確率。由于推理庫是基于解釋的，需要額外的運行時內(nèi)存，TinyEngine編譯了基于代碼生成器的方法，消除了內(nèi)存開銷，并適應內(nèi)存調(diào)度，而不是分層優(yōu)化，以更好地為減少內(nèi)存使用制定策略。最后，對不同層次進行專門的計算優(yōu)化，即循環(huán)平鋪、循環(huán)展開、OP融合，加快了推理速度。

研究人員觀察到，與傳統(tǒng)的深度學習相比，MCUNet通過系統(tǒng)算法協(xié)同設計更好地利用了資源。研究人員得出結論，現(xiàn)有的模型在外殼式微控制器上達到了創(chuàng)紀錄的70.7%的ImageNet精確度。