隨著工業(yè)4.0的推進,傳統(tǒng)工業(yè)設備正向智能化和自動化方向轉型。這要求設備具備更高的算力、更強的實時處理能力以及支持AI算法的能力,以應對工業(yè)機器人、電機控制、預測性維護等復雜應用場景。
近年來越來越多的芯片廠商紛紛推出工業(yè)“MCU+AI”產品,MCU的算力持續(xù)提升,已經(jīng)能夠滿足邊緣端低算力人工智能的需求,將AI加速器集成在MCU上,實現(xiàn)端側部署的單芯片解決方案正逐漸成為主流方案。
下面,我們盤點一下2024年度頭部芯片廠商發(fā)布的主要“MCU+AI”產品,梳理下相關產品的AI功能實現(xiàn)方式、AI生態(tài)構建,以及典型的工業(yè)應用等。
AI功能實現(xiàn)方式各異
采用Arm Helium?技術
Arm Helium?是Arm公司在2019年推出的,為Armv8?M架構的Arm Cortex-M處理器提供的M-Profile矢量擴展技術,能夠顯著提升機器學習(ML)和數(shù)字信號處理(DSP)應用的性能。目前Arm Cortex-M52、Arm Cortex-M55和Arm Cortex-M85支持Arm Helium技術。
過去一年,瑞薩電子推出的RA8x1 MCU以及RZ/V2H MPU等產品,均集成了專為AI應用設計的硬件加速引擎,能夠滿足工業(yè)市場的需求。其中RA8x1 MCU屬于瑞薩RA8系列,采用Arm Cortex-M55內核,高達480MHz,引入Arm Helium?技術,與基于Arm Cortex-M7處理器的MCU相比,在DSP和ML應用層面實現(xiàn)高達4倍的性能提升。
極海半導體的G32R501系列實時控制MCU,采用Arm Cortex-M52內核,同樣引入了Arm Helium?技術,大幅提升DSP和ML的性能,有效降低了MCU內核的實時負載,支持實時處理并減少延遲,從而降低了系統(tǒng)的整體復雜度和軟件開發(fā)難度。
集成NPU
2024年8月,國芯科技推出了CCR4001S系列MCU,基于國芯科技自主RISC-V架構C*Core CPU內核研發(fā),內部配置了AI NPU,支持智能控制算法與自適應變頻控制算法。
2024年9月,恩智浦推出的i.MX RT700系列跨界MCU,集成了NXP自研的eIQ? Neutron系列NPU AI/ML加速器。其內核采用異構架構,包含有兩個Arm Cortex-M33,主頻分別為325MHz和250MHz,包含兩個DSP分別為HiFi-4和HiFi-1,以及包含一個基于開放式指令集架構的EZH-V IO協(xié)處理器。
2024年12月,德州儀器業(yè)內率先推出具有NPU的TMS320F28P55x系列實時MCU,采用主頻150MHz的32位C28x DSP內核,內置單精度浮點單元、三角函數(shù)加速器,采用150MHz的可編程控制律加速器。
集成NPU+ Arm Helium技術
2024年4月,英飛凌推出的PSOC Edge E8x系列產品,采用Arm Cortex-M55內核,支持Arm Helium? DSP并搭配Arm Ethos?-U55的神經(jīng)網(wǎng)絡處理器,以及Cortex-M33內核搭配著英飛凌超低功耗NNLite(用于加速神經(jīng)網(wǎng)絡的專有硬件加速器)。
Arm Ethos?-U55是Arm公司推出的首款面向Cortex-M系列的microNPU(微神經(jīng)處理單元),專為在面積受限的嵌入式和物聯(lián)網(wǎng)(IoT)設備中加速機器學習(ML)推理而設計。
2024年12月,意法半導體推出的STM32N6系列產品,采用Arm Cortex-M55內核,頻率高達800MHz,是其首款引入Arm Helium?向量處理技術的CPU,也是首款采用自研的嵌入式推理專用Neural-ART Accelerator? NPU的產品。
其他方式
除了集成NPU或Arm Helium?技術之外,MCU也可以通過其他方式實現(xiàn)一定程度的AI功能。如:通過優(yōu)化軟件算法,MCU可以在其處理能力范圍內執(zhí)行簡單的AI算法;集成DSP單元,DSP對于執(zhí)行數(shù)字信號處理任務(如FFT、濾波等)非常高效,這些任務在AI算法中也很常見;配備其他類型的協(xié)處理器,如FPU(浮點處理單元)或特殊功能協(xié)處理器,這些協(xié)處理器可以在一定程度上加速AI算法的執(zhí)行。
此外,MCU還可以通過外部接口連接專門的AI加速器芯片,AI加速器芯片可以處理復雜的AI算法,并將結果返回給MCU進行后續(xù)處理。
本土頭部MCU廠商兆易創(chuàng)新在“MCU+AI”領域的布局也走在前列。2024年11月,兆易創(chuàng)新推出的GD32G5采用Arm Cortex-M33內核,高達216MHz,內置高級DSP硬件加速器和單精度浮點單元,以及硬件三角函數(shù)加速器和濾波算法、快速傅里葉等多類硬件加速單元。2023年推出的高性能GD32H7系列芯片,同樣可以為復雜運算、多媒體技術、邊緣AI等高級創(chuàng)新應用提供強大的算力支撐,采用600MHz Arm Cortex-M7高性能內核,支持多種硬件加速,新增了大量通用外設資源。
AI生態(tài)構建
隨著邊緣AI技術的發(fā)展和應用場景的不斷落地,MCU廠商都在持續(xù)構建自身的生態(tài)。除了社區(qū)支持外,目前各大頭部MCU廠商都在以“MCU+AI”硬件為基石,持續(xù)豐富升級自身的軟件工具鏈,更好的助力客戶產品落地。
瑞薩電子全球銷售與市場副總裁、瑞薩電子中國總裁賴長青在接受與非網(wǎng)采訪時表示:“下游客戶希望MCU廠商管得“越來越寬”,不僅僅滿足于單一的芯片產品,并期望芯片公司能夠提供包括開發(fā)工具、軟件以及后續(xù)支持在內的完整解決方案。這種需求的變化,促使芯片公司不僅在硬件上不斷創(chuàng)新,而且還需要在軟件棧上進行大量投入,以構建更加完善的開發(fā)生態(tài)。”
瑞薩電子全球銷售與市場副總裁、瑞薩電子中國總裁賴長青
恩智浦于2021年就推出了eIQ? Toolkit工具包,可以使用戶快速地開發(fā)基于圖像任務的軟件程序。恩智浦更是于近期發(fā)布了eIQ? Time Series Studio,并集成于eIQ? Toolkit工具包,專門用于時間序列數(shù)據(jù)處理。
德州儀器的邊緣AI模型開發(fā)主要依賴于其TI Edge AI Tools軟件。針對特定應用場景,客戶可以利用該軟件及神經(jīng)網(wǎng)絡運算單元模型,通過大量數(shù)據(jù)進行訓練。經(jīng)過充分的實驗與驗證,例如在故障檢測中,該模型可達到超過99%的準確率,滿足設計目標。隨后,TI Edge AI Tools可將訓練好的模型編譯為可識別的二進制代碼部署運行。
兆易創(chuàng)新也正在構建其通用的嵌入式AI平臺(Embedded AI)。兆易創(chuàng)新MCU事業(yè)部產品市場總監(jiān)陳思偉表示:“Embedded AI能夠將業(yè)界主流的AI模型部署至GD32 MCU,為用戶提供廣泛的開發(fā)支持。同時,公司還提供定制化AI服務,以滿足客戶的差異化需求。我們專注于開發(fā)多樣化的AI解決方案,如拉弧檢測等,未來將推出更多參考設計,為智能應用開辟更廣闊的空間。”
兆易創(chuàng)新MCU事業(yè)部產品市場總監(jiān)陳思偉
與第三方人工智能平臺的合作,也是MCU廠商完善AI工具鏈的重要方式。Nordic半導體亞太區(qū)銷售及市場推廣副總裁Bj?rn ?ge "Bob" Brandal表示:“Nordic與Edge Impulse等人工智能平臺進行合作,在我們的設備上實現(xiàn)機器學習功能,例如與Edge Impulse合作開發(fā)的nRF Edge Impulse app,可使用Edge Impulse Studio在Nordic Thingy:53上訓練和部署嵌入式機器學習模型?!?/p>
Nordic半導體亞太區(qū)銷售及市場推廣副總裁Bj?rn ?ge "Bob" Brandal
此外,與生態(tài)合作伙伴的協(xié)作也至關重要。
賴長青表示:“瑞薩電子在邊緣AI領域投入了大量的資源并取得了顯著的成果。不僅僅在研發(fā)和生產功能完備的硬件產品維度,軟件方面,公司推出了面向邊緣AI的一站式開發(fā)平臺Reality AI,幫助開發(fā)者在云端構建專屬的模型,并在本地邊緣節(jié)點上完成部署。同時,瑞薩還聯(lián)合超過250家生態(tài)合作伙伴合作,共同打造完善的邊緣AI生態(tài)系統(tǒng),為客戶提供豐富的軟件庫和解決方案?!?/p>
典型的工業(yè)應用
“MCU+AI”的應用場景主要分為時間序列信號分析、圖像識別、聲音識別等。
時間序列信號分析:獲取電流,電壓,溫度,壓力,聲音,多軸加速度傳感器,生物傳感器等多種基于時間序列的變量,可用于預測性維護、扭矩計算、工業(yè)探傷、電弧檢測、電池電芯壽命預測等。
值得一提的是,太陽能及供電系統(tǒng)中的電弧檢測應用是“MCU+AI”在工業(yè)領域非常典型的時間序列信號分析應用。當接觸發(fā)生時,高壓導線或觸點間常常會產生電弧現(xiàn)象,這一潛在危險源可能引發(fā)火災,因此,對電弧的有效檢測與預防顯得尤為重要。
眾多芯片廠商的“MCU+AI”產品都可以提供電弧檢測的解決方案:德州儀器集成NPU的TMS320F28P55X實時控制MCU,邊緣AI技術用于實時檢測電弧,提高電弧檢測的準確率和實時性,其在太陽能及供電系統(tǒng)中的電弧檢測的準確率可高達99%;兆易創(chuàng)新基于GD32H7的AI直流拉弧檢測方案,克服了多路高頻信號采集、資源受限環(huán)境中的高效AI推理、以及模型訓練與部署一體化的技術難點,自研AI算法與硬件優(yōu)化,能夠對直流拉弧進行精確識別和實時響應,降低了因系統(tǒng)故障或錯誤檢測帶來的維修和維護成本。
同時,人工智能與預測性維護的結合已成為提高工業(yè)設備生命周期的一種變革,預測性維護也是“MCU+AI”在工業(yè)領域的典型應用。通過算法分析實時數(shù)據(jù),各行各業(yè)都能在設備故障發(fā)生之前對其進行預測,減少停機時間并顯著降低維修成本。
在工業(yè)自動化的生產線上,意法半導體的STM32N6可以對生產設備的運行狀態(tài)進行智能監(jiān)控,通過傳感器收集的數(shù)據(jù),快速分析設備是否存在故障隱患。例如,在電機運行過程中,檢測其溫度、轉速、振動等參數(shù),一旦發(fā)現(xiàn)異常,及時調整參數(shù)或者發(fā)出停機指令,避免設備損壞和生產事故的發(fā)生,從而極大提高生產效率和保障生產安全。
極海半導體高級市場經(jīng)理趙亮表示:“在商用打印機售后維護的應用案例中,通過在關鍵設備上安裝溫度、振動等傳感器,基于Arm架構的邊緣計算G32R501實時控制MCU,可實時收集并分析這些數(shù)據(jù),并利用內置的機器學習模型,識別出可能導致的故障模式,并在問題發(fā)生前發(fā)出預警信號??梢燥@著降低因設備故障導致的非計劃停工時間,提高生產效率?!?/p>
極海半導體高級市場經(jīng)理趙亮
圖像識別:如人臉識別,手勢識別,人數(shù)統(tǒng)計,產品缺陷識別,物流倉儲管理等。由于MCU的低功耗和實時性,針對這些場景,可以實現(xiàn)靈活的休眠喚醒方式,可以采用小型電池長時間工作。
值得關注的是,在端側AI的場景中,恩智浦于2021年就推出了eIQ? Toolkit工具包,可以使用戶快速地開發(fā)基于圖像任務的軟件程序。
恩智浦半導體高級市場經(jīng)理弋方表示:“恩智浦的i.MX RT700系列跨界MCU,在圖像方面集成了新一代的圖像加速器包括硬件JEPG/PNG解碼,矢量圖像處理,以及MIPI-DSI顯示接口,廣泛適用于人機交互、醫(yī)療、消費電子等諸多場景?!?/p>
恩智浦半導體高級市場經(jīng)理弋方
聲音識別:如關鍵詞喚醒,簡單的語義識別,以及噪聲消除,人聲消除等算法。在工業(yè)領域,可以用于人機交互,特殊聲音信號檢測等。
兆易創(chuàng)新的GD32H7可以很好的支持聲音識別應用,基于GD32H7的AI語音識別解決方案,依托Sensory平臺實現(xiàn)高效的關鍵詞訓練,支持多語言、多關鍵詞的識別能力,還能將關鍵詞檢測的結果通過LCD屏顯示。該方案能夠在MCU端側部署輕量化模型,具備實時語音處理功能,包括精準的人聲檢測與噪聲抑制,有效保障用戶指令的準確識別和響應。
寫在最后
2024年頭部MCU廠商在“MCU+AI”領域成果顯著。隨著人工智能技術的持續(xù)進步,未來“MCU+AI”產品將在工業(yè)4.0進程中發(fā)揮更為重要的作用,進一步推動傳統(tǒng)工業(yè)設備的智能化和自動化轉型,提升工業(yè)效率,降低成本,確保穩(wěn)定運行。