| 本文作者：

Johanna Pingel，MathWorks 產(chǎn)品市場經(jīng)理

Jack Ferrari，MathWorks 產(chǎn)品經(jīng)理

Reed Axman，MathWorks 高級合作伙伴經(jīng)理

隨著人工智能模型從設(shè)計(jì)階段走向?qū)嶋H部署，工程師面臨著雙重挑戰(zhàn)：在計(jì)算能力和內(nèi)存受限的嵌入式設(shè)備上實(shí)現(xiàn)實(shí)時(shí)性能。神經(jīng)處理單元(NPU)作為強(qiáng)大的硬件解決方案，擅長處理 AI 模型密集的計(jì)算需求。然而，AI 模型體積龐大，部署在 NPU上常常面臨困難，這凸顯了模型壓縮技術(shù)的重要性。要實(shí)現(xiàn)高效的實(shí)時(shí)邊緣 AI，需要深入探討NPU 與模型壓縮技術(shù)(如量化與投影)如何協(xié)同工作。

NPU 如何在嵌入式設(shè)備上實(shí)現(xiàn)實(shí)時(shí)性能

在嵌入式設(shè)備上部署AI模型的關(guān)鍵挑戰(zhàn)之一是最小化推理時(shí)間——即模型生成預(yù)測所需的時(shí)間，以確保系統(tǒng)具備實(shí)時(shí)響應(yīng)能力。例如，在實(shí)時(shí)電機(jī)控制應(yīng)用中，推理時(shí)間通常需要低于10 毫秒，以維持系統(tǒng)穩(wěn)定性與響應(yīng)性，并防止機(jī)械應(yīng)力或部件損壞。工程師必須在速度、內(nèi)存、功耗與預(yù)測質(zhì)量之間取得平衡。

NPU 專為 AI 推理與神經(jīng)網(wǎng)絡(luò)計(jì)算而設(shè)計(jì)，非常適合處理能力有限且對能效要求極高的嵌入式系統(tǒng)。與通用處理器(CPU)或高性能但耗能較大的圖形處理器(GPU)不同，NPU 針對神經(jīng)網(wǎng)絡(luò)中常見的矩陣運(yùn)算進(jìn)行了優(yōu)化。雖然 GPU 也能執(zhí)行AI推理任務(wù)，但 NPU 在成本與能耗方面更具優(yōu)勢。

從成本角度看，NPU是比微控制器(MCU)、GPU 或 FPGA 更具經(jīng)濟(jì)性的AI處理方案。盡管集成 NPU 的芯片初期成本可能高于傳統(tǒng)微控制器，但其卓越的能效與 AI 處理能力使其在整體價(jià)值上更具吸引力。NPU專為加速神經(jīng)網(wǎng)絡(luò)推理而設(shè)計(jì)，在功耗遠(yuǎn)低于 CPU 的同時(shí)提供更高的性能。這種效率不僅降低了運(yùn)行成本，還延長了嵌入式設(shè)備的電池壽命，從而在長期使用中更具成本效益。此外，NPU 可實(shí)現(xiàn)實(shí)時(shí)AI處理，無需依賴更昂貴、耗能更高的 GPU 或 FPGA，進(jìn)一步增強(qiáng)了其經(jīng)濟(jì)吸引力。

NPU 是一種經(jīng)濟(jì)、高能效的解決方案，專為嵌入式系統(tǒng)中的高效 AI 推理與神經(jīng)網(wǎng)絡(luò)計(jì)算而設(shè)計(jì)。

盡管 NPU 在 AI 推理方面效率極高，但在嵌入式系統(tǒng)中，其內(nèi)存與功耗仍然有限。因此，模型壓縮成為關(guān)鍵手段，以減小模型體積與復(fù)雜度，使 NPU 在不超出系統(tǒng)限制的前提下實(shí)現(xiàn)實(shí)時(shí)性能。

利用投影與量化壓縮 AI 模型

模型壓縮技術(shù)通過減小模型體積與復(fù)雜度，提升推理速度并降低功耗，從而幫助大型AI模型部署到邊緣設(shè)備。然而，過度壓縮可能會影響預(yù)測精度，因此工程師需謹(jǐn)慎評估在滿足硬件限制的前提下可接受的精度損失范圍。

投影與量化是兩種互補(bǔ)的壓縮技術(shù)，可聯(lián)合使用以優(yōu)化 AI 模型在 NPU 上的部署。投影通過移除冗余的可學(xué)習(xí)參數(shù)來減小模型結(jié)構(gòu)，而量化則將剩余參數(shù)轉(zhuǎn)換為低精度(通常為整數(shù))數(shù)據(jù)類型，從而進(jìn)一步壓縮模型。兩者結(jié)合可同時(shí)壓縮模型結(jié)構(gòu)與數(shù)據(jù)類型，在保持精度的同時(shí)提升效率。

推薦的做法是先使用投影對模型進(jìn)行結(jié)構(gòu)壓縮，降低其復(fù)雜度與體積，再應(yīng)用量化以進(jìn)一步減少內(nèi)存占用與計(jì)算成本。

投影

神經(jīng)網(wǎng)絡(luò)投影是一種結(jié)構(gòu)壓縮技術(shù)，可通過將層的權(quán)重矩陣投影到低維子空間來減少模型中的可學(xué)習(xí)參數(shù)。在MATLAB Deep Learning Toolbox中，該方法基于主成分分析(PCA)，識別神經(jīng)激活中變化最大的方向，并通過更小、更高效的表示來近似高維權(quán)重矩陣，從而移除冗余參數(shù)。這種方式在保留模型準(zhǔn)確性與表達(dá)能力的同時(shí)，顯著降低了內(nèi)存與計(jì)算需求。

量化

量化是一種數(shù)據(jù)類型壓縮技術(shù)，通過將模型中的可學(xué)習(xí)參數(shù)(權(quán)重與偏置)從高精度浮點(diǎn)數(shù)轉(zhuǎn)換為低精度定點(diǎn)整數(shù)類型，來減少模型的內(nèi)存占用與計(jì)算復(fù)雜度。這種方法可顯著提升模型的推理速度，尤其適用于NPU部署。雖然量化會帶來一定的數(shù)值精度損失，但通過使用代表實(shí)際運(yùn)行情況的輸入數(shù)據(jù)對模型進(jìn)行校準(zhǔn)，通?？梢栽诳山邮艿姆秶鷥?nèi)保持準(zhǔn)確性，滿足實(shí)時(shí)應(yīng)用需求。

應(yīng)用案例：在 STMicroelectronics 微控制器上部署量化模型

STMicroelectronics 開發(fā)了一套基于 MATLAB 與 Simulink 的工作流程，用于將深度學(xué)習(xí)模型部署到 STM32 微控制器。工程師首先設(shè)計(jì)并訓(xùn)練模型，隨后進(jìn)行超參數(shù)調(diào)優(yōu)與知識蒸餾以降低模型復(fù)雜度。接著，他們應(yīng)用投影技術(shù)移除冗余參數(shù)以實(shí)現(xiàn)結(jié)構(gòu)壓縮，并使用量化將權(quán)重與激活值轉(zhuǎn)換為8位整數(shù)，從而減少內(nèi)存使用并提升推理速度。這種雙階段壓縮方法使得深度學(xué)習(xí)模型能夠在資源受限的 NPU 與 MCU 上部署，同時(shí)保持實(shí)時(shí)性能。

對一個(gè)包含LSTM層的循環(huán)神經(jīng)網(wǎng)絡(luò)在建模電池荷電狀態(tài)時(shí)，投影并調(diào)優(yōu)前后的準(zhǔn)確率、模型大小與推理速度進(jìn)行對比。

在 NPU上部署 AI 模型的最佳實(shí)踐

投影與量化等模型壓縮技術(shù)可顯著提升 AI 模型在 NPU 上的性能與可部署性。然而，由于壓縮可能影響模型精度，因此必須通過仿真與硬件在環(huán)(HIL)驗(yàn)證進(jìn)行迭代測試，以確保模型滿足功能與資源要求。盡早且頻繁地測試有助于工程師在問題擴(kuò)大前及時(shí)發(fā)現(xiàn)并解決，從而降低后期返工風(fēng)險(xiǎn)，確保嵌入式系統(tǒng)部署順利進(jìn)行。

統(tǒng)一的開發(fā)生態(tài)系統(tǒng)也能解決 AI 模型部署中面臨的諸多挑戰(zhàn)，簡化集成流程，加快開發(fā)進(jìn)度，并在整個(gè)過程中支持全面測試。在當(dāng)今軟件環(huán)境日益碎片化的背景下，這一點(diǎn)尤為重要。工程師常常需要將不同代碼庫集成到仿真流程或更大的系統(tǒng)環(huán)境中。由于各平臺與標(biāo)準(zhǔn)開發(fā)環(huán)境分離，集成與驗(yàn)證的復(fù)雜性進(jìn)一步增加。引入 NPU 后，工具鏈的復(fù)雜性也隨之上升，因此更需要統(tǒng)一的生態(tài)系統(tǒng)來應(yīng)對這些挑戰(zhàn)。

面向邊緣設(shè)計(jì)：在功耗、精度與性能之間尋求平衡

嵌入式 AI 的未來以性能為核心，專為邊緣環(huán)境而構(gòu)建，并由驅(qū)動復(fù)雜工程系統(tǒng)的 AI 模型提供動力。工程師的成功依賴于對模型壓縮權(quán)衡的深入理解、在硬件上盡早進(jìn)行測試，以及構(gòu)建具備適應(yīng)性的系統(tǒng)。通過將智能的 NPU 與 AI 模型設(shè)計(jì)相結(jié)合，并輔以戰(zhàn)略性的壓縮技術(shù)，工程師能夠?qū)⑶度胧皆O(shè)備轉(zhuǎn)變?yōu)閺?qiáng)大的實(shí)時(shí)決策引擎。

| 本文作者

Johanna Pingel, MathWorks

Johanna Pingel 是 MathWorks 的產(chǎn)品市場經(jīng)理。她專注于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)應(yīng)用，致力于讓人工智能變得實(shí)用、有趣且易于實(shí)現(xiàn)。她于 2013 年加入公司，專長于使用 MATLAB 進(jìn)行圖像處理和計(jì)算機(jī)視覺應(yīng)用。

Jack Ferrari, MathWorks

Jack Ferrari 是 MathWorks 的產(chǎn)品經(jīng)理，致力于幫助 MATLAB 和 Simulink 用戶將 AI 模型壓縮并部署到邊緣設(shè)備和嵌入式系統(tǒng)中。他擁有與多個(gè)行業(yè)客戶合作的經(jīng)驗(yàn)，包括汽車、航空航天和醫(yī)療器械行業(yè)。Jack 擁有波士頓大學(xué)機(jī)械工程學(xué)士學(xué)位。

Reed Axman, MathWork

Reed Axman 是 MathWorks 的高級合作伙伴經(jīng)理，負(fù)責(zé)為 STMicroelectronics、Texas Instruments 和 Qualcomm 等公司提供以硬件為中心的 AI 工作流程支持。他與 MathWorks 的合作伙伴及內(nèi)部團(tuán)隊(duì)協(xié)作，幫助客戶將嵌入式 AI 能力集成到其產(chǎn)品中。他擁有亞利桑那州立大學(xué)機(jī)器人與人工智能碩士學(xué)位，研究方向?yàn)橛糜卺t(yī)療應(yīng)用的軟體機(jī)器人。