傳說(shuō)中的STM32N6終于要來(lái)了？盤(pán)點(diǎn)近期AI MCU/MPU大事記

嵌入式專欄

關(guān)注+星標(biāo)公眾號(hào)，不錯(cuò)過(guò)精彩內(nèi)容
作者 | 付斌
來(lái)源 | 電子工程世界

把NPU放進(jìn)MCU，已經(jīng)不是什么新鮮事，但STM32好像來(lái)得一直有點(diǎn)慢。早在2022年，ST就曾宣布，STM32N6將成為ST首個(gè)加入NPU的產(chǎn)品。而后，在Embedded World 2023 上，ST又展示了這款產(chǎn)品。對(duì)工程師來(lái)說(shuō)，這款產(chǎn)品一直非常神秘，又非常誘人，畢竟能跑AI的STM32誰(shuí)不想試一試。最近，關(guān)于STM32N6有了確切的消息，今年年底或亮相STM32峰會(huì)（報(bào)名鏈接：https://bbs.eeworld.com.cn/thread-1299660-1-1.html），同時(shí)在近期放出了更多細(xì)節(jié)。意法半導(dǎo)體微控制器、數(shù)字和射頻產(chǎn)品部總裁Remi El-Ouazzane更是霸氣地說(shuō)道：“意法半導(dǎo)體是‘微型邊緣人工智能之王’。”
STM32N6有什么細(xì)節(jié)值得關(guān)注


首先，ST對(duì)于STM32N6這一產(chǎn)品披露了更多細(xì)節(jié)。El-Ouazzane表示ST在大約30個(gè)月前宣布了STM32N6，它已經(jīng)在開(kāi)發(fā)中，并被全球50多家客戶采用，反饋非常好。他更是立下了豪情壯志，預(yù)計(jì)STM32N6將成為ST收入最快達(dá)到1億美元的產(chǎn)品之一。“STM32N6的推出可能是AI出現(xiàn)后第三次推出開(kāi)創(chuàng)性的產(chǎn)品。前兩個(gè)是2016年推出的 Nvidia的Pascal，表明GPU可用于AI，以及Apple于2017年推出的A11仿生芯片，這是第一個(gè)為AI提供硬件支持的應(yīng)用處理器。”如此自信并非沒(méi)有原因，根據(jù)El-Ouazzane介紹，ST的微控制器客戶群中AI MCU應(yīng)用強(qiáng)勁增長(zhǎng)，2024年前9個(gè)月通過(guò)公司的邊緣AI開(kāi)發(fā)工具啟動(dòng)了超過(guò)51000個(gè)活躍項(xiàng)目，是上一年的三倍。

雖然ST沒(méi)有說(shuō)明推出這些內(nèi)核的時(shí)間表或可能采用的制造工藝技術(shù)，但EEWorld在ST的官方頁(yè)面中找到了其中一些細(xì)節(jié)：STM32N6是ST首款集成自研硬件NPU神經(jīng)網(wǎng)絡(luò)硬件處理單元的通用微控制器，其算力可達(dá)0.6TOPS(每秒0.6萬(wàn)億次運(yùn)算)。STM32N6還集成了新IP和視頻外設(shè)，如MIPI CSI攝像機(jī)、機(jī)器視覺(jué)圖像信號(hào)處理器（ISP）、H.264視頻編碼器和支持時(shí)間敏感網(wǎng)絡(luò)（TSN）端點(diǎn)的千兆以太網(wǎng)控制器。此外，STM32N6是一款通用STM32產(chǎn)品，符合工業(yè)客戶的所有要求，包括在高溫環(huán)境中工作。

其次在NPU方面，ST也公布了自己的路線圖。ST在自研NPU已經(jīng)不是什么秘密。El-Ouazzane表示：“ST在微控制器中的通用處理內(nèi)核方面與Arm緊密合作，但與一些較小的微控制器供應(yīng)商不同，ST選擇不使用Arm提供的AI硬件內(nèi)核�！盓EWorld認(rèn)為，很多有實(shí)力的廠商都選擇了自研NPU，比如NXP就從Arm Ethos轉(zhuǎn)到自研，畢竟NPU屬于AI MCU的核心科技，自己做可以更貼合自己的產(chǎn)品線，也能打造更好的生態(tài)。而且不光MCU要用NPU，MPU、跨界MCU之類的產(chǎn)品也要用NPU。三年前，意法半導(dǎo)體開(kāi)發(fā)了第一款神經(jīng)網(wǎng)絡(luò)加速器Neural-ART 1，作為STM32N6微控制器的內(nèi)核。其最大性能為4.6 TOPS，能效為1～5TOPS/W，具體取決于應(yīng)用。這是基于使用INT8數(shù)據(jù)類型。El-Ouazzane說(shuō)：“我們的路線圖是進(jìn)一步發(fā)展第二代數(shù)字內(nèi)存計(jì)算D-IMC，這將帶來(lái)比第一代 4 倍的性能提升，我們預(yù)計(jì)第三代的性能將比第二代再提升10倍�！皫в蠨-IMC的Neural-ART 2將能夠達(dá)到18TOPS和20～40TOPS/W的幻燈片，Neural-ART 3被描述為具有混合架構(gòu)和50+ TOPS/W的性能。同樣，據(jù)說(shuō)性能是針對(duì) INT8 數(shù)據(jù)類型的。

最后再來(lái)復(fù)盤(pán)一下STM32的Portfolio，其中包括價(jià)格和8位MCU媲美的STM32C0系列，STMU0、U5這樣的低功耗MCU，STM32WBA這樣的專注無(wú)線的MCU，高性能的STM32H7以及更高性能的STM32MP2 MPU，STM32N6則定位高性能MCU。

目前，ST已經(jīng)建立了傳感、音頻、詩(shī)句NANOEDGE AI STUDIO、STM32 Cube.AI以及硬件的完整生態(tài)，保證開(kāi)發(fā)者能夠在MCU和MPU上優(yōu)化和運(yùn)行AI模型，幫助工業(yè)用戶快速落地。


NXP的RT700和i.MX 94相繼登場(chǎng)


恩智浦10月推出了擁有NPU的跨界MCU i.MX RT700，至此，恩智浦MCU、跨界MCU、應(yīng)用處理器三大系列均擁有了NPU。也就是說(shuō)，恩智浦整個(gè)產(chǎn)品線都內(nèi)置了AI/ML加速器功能，算力覆蓋從10G到幾T TOPS。R700相比于前代產(chǎn)品，提升幅度非常之大，可以說(shuō)是“降維打擊”，早在發(fā)布之前就引發(fā)了工程師群體的討論。相比上一代產(chǎn)品，其在邊緣提供高達(dá)172倍的速度提升和119倍的節(jié)能，同時(shí)功耗比上一代產(chǎn)品降低了30～70%。

通過(guò)與前代對(duì)比，不難發(fā)現(xiàn)RT700整體設(shè)計(jì)更傾向于把特定工作分流于其他子系統(tǒng)，從而獲得更好的功耗和效率。RT700主要包括三個(gè)子系統(tǒng)，包括額外的一個(gè)M33+DSP的“傳感計(jì)算子系統(tǒng)“，一個(gè)eIQ Neutron NPU的AI子系統(tǒng)，一個(gè)基于RISC-V的2.5D GPU的圖像子系統(tǒng)（可通過(guò)LCD或MIPI提供720p@60Hz）。
不止如此，RT700還將主CPU的 M33內(nèi)核頻率提升到325 MHz (RT500為200 MHz, RT600為300 MHz)；將片上SRAM最高增加到7.5 MB （RT500最高5 MB, RT600為4.5 MB)，減少對(duì)于外部存儲(chǔ)的訪問(wèn)，以防止耗電；針對(duì)可穿戴設(shè)備應(yīng)用，首次支持eUSB（嵌入式USB），提供比原來(lái)USB更好的安全和加密性能。

緊接著在11月20日，NXP發(fā)布i.MX 94系列應(yīng)用處理器，成為首個(gè)集成以太網(wǎng)時(shí)間敏感網(wǎng)絡(luò)（TSN）交換機(jī)的i.MX應(yīng)用處理器系列，結(jié)合實(shí)時(shí)處理與工業(yè)網(wǎng)絡(luò)協(xié)議支持，實(shí)現(xiàn)工業(yè)控制。i.MX 94系列64位應(yīng)用處理器采用多核設(shè)計(jì)，最多配備四個(gè)Cortex-A55內(nèi)核，兩個(gè)Cortex-M33內(nèi)核和兩個(gè)Cortex-M7內(nèi)核，用于增強(qiáng)實(shí)時(shí)處理能力。NPU方面，恩智浦的eIQ Neutron NPU具備0.5 TOPS的機(jī)器學(xué)習(xí)性能，可提供實(shí)時(shí)預(yù)測(cè)性維護(hù)和操作指導(dǎo)以及缺陷掃描和機(jī)器診斷。值得關(guān)注的是，i.MX 94系列率先集成2.5 Gbps以太網(wǎng)TSN交換機(jī)，兼?zhèn)淇焖俪跏蓟�和低功耗模式支持。支持等多種工業(yè)協(xié)議，涵蓋傳統(tǒng)實(shí)現(xiàn)及新開(kāi)發(fā)協(xié)議，如OPC-UA FX和OPC-UA PubSub等。支持傳統(tǒng)的串行現(xiàn)場(chǎng)總線協(xié)議，如Profibus、Modbus、CANopen和IO-Link，以及基于以太網(wǎng)的實(shí)時(shí)網(wǎng)絡(luò)協(xié)議，如Profinet、EtherCAT、Ethernet/IP和CC-Link等。此外，還支持這些協(xié)議的TSN實(shí)現(xiàn)，包括AVB/TSN、以太網(wǎng)OPC-UA和Profinet Over TSN等。


TI給C2000塞了個(gè)NPU


TI在最近也推出了搭載NPU的C2000產(chǎn)品TMS320F28P55x系列（簡(jiǎn)稱F28P55x系列），并號(hào)稱是業(yè)界首款具有集成神經(jīng)處理單元（NPU）的實(shí)時(shí)微控制器產(chǎn)品。F28P55x的NPU具有600～1200MOPS（每秒百萬(wàn)操作）的能力（600MOPS at 75MHz on 8bWx8bD，1200MOPS at 75MHz on 4bWx8bD），與僅基于軟件的實(shí)現(xiàn)相比，最多可提供10倍的NN推理周期改進(jìn)。這個(gè)算力看似很低，但要知道，C2000本身是比較專的MCU，所以不是追求多少TOPS的產(chǎn)品，其在頻率上的表現(xiàn)非常亮眼，達(dá)到了75MHz。實(shí)時(shí)內(nèi)核則采用C28x系列的32位150MHz DSP MCU，通過(guò)浮點(diǎn)單元（FPU）、三角函數(shù)數(shù)學(xué)單元（TMU）和VCRC（循環(huán)冗余檢查）擴(kuò)展指令集得到進(jìn)一步增強(qiáng)，加快了實(shí)時(shí)控制系統(tǒng)中關(guān)鍵的通用算法的速度；擁有獨(dú)立的32位浮點(diǎn)加速器150MHZ CLA，其擁有專用內(nèi)存資源，可以直接訪問(wèn)典型控制系統(tǒng)中所需的鍵外圍設(shè)備。

帶NPU怎么用？根據(jù)TI的說(shuō)法，過(guò)去在電弧檢測(cè)和預(yù)測(cè)性維護(hù)上面，都是用軟件做，同時(shí)還要專門(mén)的MCU。而現(xiàn)在，C2000上配備一個(gè)NPU，在單芯片上就能做一些專用的AI算法，可以幫助系統(tǒng)實(shí)現(xiàn)超過(guò)99%的故障檢測(cè)準(zhǔn)確率。比雙芯片解決方案更簡(jiǎn)潔，準(zhǔn)確率更高。


英飛凌有自研也有Arm Ethos

今年4月，英飛凌發(fā)布新一代PSOC Edge產(chǎn)品組合。從具體產(chǎn)品來(lái)看，有用Arm NPU的，也有自家神經(jīng)網(wǎng)絡(luò)加速器：PSOC Edge E83和E84內(nèi)置Arm Ethos -U55 NPU處理器，E81采用Arm Helium DSP技術(shù)和英飛凌NNLite神經(jīng)網(wǎng)絡(luò)（NN）加速器（一種用于加速神經(jīng)網(wǎng)絡(luò)的專有硬件加速器）。PSoC Edge器件搭載高性能Arm Cortex-M55 ，包括與Arm Ethos-U55 和 Cortex-M33配對(duì)的Helium DSP支持，以及英飛凌的超低網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)加速器。引線器件采用超低功耗22nm嵌入式RRAM 技術(shù)。PSoC Edge E83和E84內(nèi)置Arm Ethos-U55微型NPU處理器，與現(xiàn)有的Cortex-M系統(tǒng)相比，其機(jī)器學(xué)習(xí)性能提升了480倍，并且它們支持英飛凌NNlite神經(jīng)網(wǎng)絡(luò)加速器，適用于低功耗計(jì)算領(lǐng)域的機(jī)器學(xué)習(xí)應(yīng)用。從應(yīng)用角度來(lái)看，使用E81 MCU可以實(shí)現(xiàn)基本功能，如LCD顯示和基于云的語(yǔ)音識(shí)別。而對(duì)于更高級(jí)的恒溫器，設(shè)計(jì)人員可以選擇E83 MCU，實(shí)現(xiàn)本地語(yǔ)音識(shí)別和更多的智能功能。最高端的設(shè)備則可以選擇E84 MCU，實(shí)現(xiàn)更復(fù)雜的功能，如手勢(shì)和運(yùn)動(dòng)控制、圖形用戶界面等。

Alif：NPU、Matter、BLE 5.3全都要

今年4月，Alif也更新了一款非常強(qiáng)大的MCU，Ballett系列，據(jù)稱這是第一個(gè)包含藍(lán)牙低功耗 (BLE) 、Matter 以及神經(jīng)處理單元 (NPU) 加速器的微控制器，用于機(jī)器學(xué)習(xí)和人工智能（ML 和 AI）工作負(fù)載。Alif總裁兼聯(lián)合創(chuàng)始人Reza Kazerounian在談到該產(chǎn)品時(shí)表示：“Alif Semiconductor 的 Balletto 系列產(chǎn)品旨在通過(guò)適應(yīng)高比特率音頻和 Matter 生態(tài)系統(tǒng)的平臺(tái)，應(yīng)對(duì)當(dāng)今無(wú)線音頻和智能家居行業(yè)面臨的BLE挑戰(zhàn)。隨著多協(xié)議支持的推出，再加上我們行業(yè)領(lǐng)先的AI/ML 支持的MCU，構(gòu)建電池壽命友好的互聯(lián)智能邊緣設(shè)備變得更為簡(jiǎn)單。”Balletto芯片圍繞Arm Cortex-M55內(nèi)核構(gòu)建，具有Helium矢量處理擴(kuò)展（運(yùn)行頻率高達(dá) 160MHz）和 Ethos-U55 神經(jīng)處理單元 (NPU) 協(xié)處理器，Alif 表示，每個(gè)芯片可提供高達(dá) 46GOPS算力。這些部件還包括用于安全任務(wù)的專用Arm Cortex-M0+芯片，以及處理網(wǎng)絡(luò)堆棧的RISC-V內(nèi)核。該網(wǎng)絡(luò)堆棧連接到藍(lán)牙5.3低功耗 (BLE) 和IEEE 802.15.4.2011射頻，后者支持Matter 智能家居標(biāo)準(zhǔn)，前者包括BLE音頻和Auracast 功能——在該公司提出的一個(gè)用例中得到了充分證明，可應(yīng)用于真無(wú)線立體聲 (TWS) 耳機(jī)和助聽(tīng)器中。Alif 還表示，Balletto部件可能是可穿戴設(shè)備的理想選擇。該芯片的其他功能包括高達(dá)2MB的零等待狀SRAM和2MB MRAM、SPI接口、I3C、USB 高速、兩個(gè)CAN FD通道、DAC和24位 Σ-Δ 模數(shù)轉(zhuǎn)換器 (ADC) 的模擬前端、具有 2D 圖形處理器的攝像頭和顯示接口，以及多達(dá)77個(gè)GPIO引腳。

從官網(wǎng)上，我們還看到，Alif已經(jīng)在設(shè)計(jì)采用Ethos-U85的下一代產(chǎn)品。根據(jù)Alif的說(shuō)法，由于認(rèn)識(shí)到Ethos-U85的潛力，Alif成為首批在Arm發(fā)布該技術(shù)時(shí)獲得許可的合作伙伴之一。
據(jù)了解，與上一代產(chǎn)品相比，Ethos-U85性能提升四倍，能效提高20%，同時(shí)，其MAC單元可從128個(gè)擴(kuò)展到2048個(gè)（在1GHz 時(shí)，算力實(shí)現(xiàn)4 TOPs），能夠?yàn)橹T如工廠自動(dòng)化和商用或智能家居攝像頭等需要更高性能的應(yīng)用提供有力的支持。
參考文獻(xiàn)
[1]ST：https://www.stmcu.com.cn/mkt_info/3012[2]EEnews：https://www.eenewseurope.com/en/st-adds-to-roadmap-for-ai-capable-microcontrollers/------------ END ------------



●專欄《嵌入式工具》
●專欄《嵌入式開(kāi)發(fā)》
●專欄《Keil教程》
●嵌入式專欄精選教程

關(guān)注公眾號(hào)回復(fù)“加群”按規(guī)則加入技術(shù)交流群，回復(fù)“1024”查看更多內(nèi)容。
點(diǎn)擊“閱讀原文”查看更多分享。