樹莓派默默發(fā)力AI，你怎么看？

嵌入式專欄

關(guān)注+星標公眾號，不錯過精彩內(nèi)容

付斌｜作者
來源 | 電子工程世界

全民AI時代，世界似乎陷入了一種狀態(tài)，如果產(chǎn)品不沾點AI，都不好意思拿出來宣傳一番。現(xiàn)在我們正處在AI的第四次浪潮之中，相比前幾次浪潮，無論從智能化上來講，還是從商業(yè)化來講，AI都更加成熟了。樹莓派作為重要的嵌入式產(chǎn)品，也在默默發(fā)力，在最近不斷合作推出AI套件產(chǎn)品，為創(chuàng)客提供更強大的AI能力。


與索尼推出AI攝像頭


去年，索尼半導體解決方案公司（SSS, Sony Semiconductor Solutions）宣布對樹莓派進行戰(zhàn)略投資，并為其提供AI技術(shù)支持。彼時，索尼就表示，將會把圖像傳感器融入到樹莓派之中。
最近兩天，產(chǎn)品終于正式亮相，索尼半導體（SSS）和Raspberry Pi宣布推出一款內(nèi)置AI處理器的新型 AI 相機。該相機與所有Raspberry Pi計算機兼容，并圍繞索尼的IMX500智能視覺傳感器構(gòu)建。
IMX500具有內(nèi)置的AI攝像頭功能，可卸載Raspberry Pi的AI功能，也就是說有自己的計算資源，不會占用樹莓派的資源，也不用單門配一個GPU。IMX500可以捕獲圖像并進行AI處理，然后再將數(shù)據(jù)發(fā)送到主機。該傳感器采用堆疊式配置，具有片上SRAM和數(shù)字信號處理（DSP）引擎。

AI攝像頭的主要參數(shù)包括：

4056 x 3040 分辨率（約12.3 MP）

7.857毫米對角線，寬高比為1/2.3

1080p視頻，最高240 fps

AI處理視頻幀率達到30 fps

片上AI處理、ISP和HDR視頻

Tensor input大小從64 x 48到640 x 480（int8或uint8）

8.4 MB固件、網(wǎng)絡(luò)權(quán)重文件和工作內(nèi)存

攝像頭尺寸25 mm × 24 mm × 11.9 mm

libcamera和Picamera2庫以及rpicam-apps應(yīng)用程序套件已經(jīng)提供對Tensor元數(shù)據(jù)的軟件支持。支持一直是Raspberry Pi的強項之一，這款相機也不例外。與其他Pi硬件一樣，AI相機附帶了大量的設(shè)置和應(yīng)用文檔。任何Raspberry Pi用戶只需一個 Linux 命令行操作即可完成安裝。使用包含的示例可以立即開始設(shè)置后操作。除此之外，Pi AI 相機與索尼的 AITRIOS AI 傳感開發(fā)平臺兼容。



與Hailo推出AI套件


前陣子，樹莓派與Hailo基于合作開發(fā)了AI套件Raspberry Pi AI Kit。它將本地、高性能、高能效的推理集成到各種應(yīng)用程序中，同時支持x86和Arm架構(gòu)，價格為70美元。
可能有的人會說， Raspberry Pi 3本身就已經(jīng)可以應(yīng)用在AI中了，不過它主要基于云端的AI，而最新的AI套件與Raspberry Pi 5可以在邊緣獨立運行較小的模型和優(yōu)化的AI大模型。
Raspberry Pi AI套件包括M.2 HAT+和13TOPS性能的Hailo-8L AI加速模塊。HAT指的是硬件附加在頂部，也就是把這個套件擰在另一塊板子上。
M.2 HAT+本質(zhì)上是一個PCIe到NVMe的轉(zhuǎn)換器，它允許用戶將M.2外設(shè)（如NVMe固態(tài)硬盤以及其他PCIe外設(shè)）連接到樹莓派5的PCIe接口上。這對于連接提供更高讀寫速度和更大容量的NVMe SSD尤為重要。

13TOPS在邊緣領(lǐng)域已經(jīng)非常強了，畢竟RISC-V Linux 筆記本電腦僅提供 2TOPS的邊緣AI算力。而Hailo這家以色列的一家初創(chuàng)邊緣AI公司，曾經(jīng)將Hailo-8與英偉達的Jetson Nano和 Xavier NX的性能進行了比較，并且取得了不小的優(yōu)勢。
Hailo首席技術(shù)官Avi Baum表示，Hailo-8L每處理3 TOPS約消耗1瓦功率，最高約5瓦。對于典型的嵌入式工作負載（如實時處理60 FPS視頻），只需要1～2瓦。

Raspberry Pi AI Kit主要功能包括：

每秒13萬億次運算（TOPS）的推理性能

以8Gbps運行的單通道PCIe3.0接口

與Raspberry Pi圖像軟件子系統(tǒng)完全集成

與第一方或第三方相機的兼容性

加速器硬件的高效調(diào)度：在單個攝像頭上運行多個神經(jīng)網(wǎng)絡(luò)，或同時運行兩個攝像頭的單個/多個神經(jīng)網(wǎng)絡(luò)對AI套件，Hailo給出了六大應(yīng)用潛力：

物體檢測：這一突破性技術(shù)賦予了人工智能程序通過機器學習精準識別圖像中各類物體并自動分類的能力。物體檢測作為人工智能辨識不同主體的核心手段，它能夠解析物體的圖像內(nèi)容、精準定位其在畫面中的坐標，并能快速匹配與之相同標簽的物體特征；

圖像分割與增強：人工智能通過圖像分割技術(shù)，將像素群劃分為更小的、更易于管理的區(qū)域。這一過程不僅有助于物體檢測，還能通過每次專注于一個區(qū)域來加速圖像處理。圖像分割對于圖像增強至關(guān)重要。

姿態(tài)預(yù)測：為了全面理解圖像的構(gòu)成，人工智能程序不僅需要能夠識別圖像中的內(nèi)容，還需要能夠識別物體的位置。這正是姿態(tài)預(yù)測發(fā)揮作用的地方。姿態(tài)預(yù)測對于機器學習程序收集圖像和視頻數(shù)據(jù)至關(guān)重要，同時，在生成新圖像和視頻時，生成式人工智能軟件也可能會用到這一技術(shù)。

面部檢測與識別：對于人工智能系統(tǒng)而言，更為艱巨的任務(wù)在于應(yīng)對人類面部表情的千變?nèi)f化，它須具備識別并準確標注這些不同情緒表達的能力。樹莓派人工智能套件所搭載的這項面部識別技術(shù)，可用于安全軟件、娛樂、社交媒體等多個領(lǐng)域，還能強化圖像生成技術(shù)。例如，在移除圖像中的某些物體后，該技術(shù)能夠智能填充背景，確保圖像的完整性和自然度。

深度估測：深度估測技術(shù)通過精準度量圖像內(nèi)部像素間的距離，科學計算出物體與鏡頭間的實際距離。最新的人工智能技術(shù)則能獨辟蹊徑，自主構(gòu)建獨特的視覺視角，實現(xiàn)更為精準與高效的深度估測。

語義分割：語義分割作為計算機視覺領(lǐng)域的一項關(guān)鍵任務(wù)，通過精細地為圖像中的像素組分配標簽，實現(xiàn)了對復(fù)雜場景中不同物體的準確辨識與理解。

工程師怎么看


目前來說，可以說樹莓派已經(jīng)提供了兩種AI選擇，不過兩者稍有區(qū)別：AI套件的理論性能高于AI攝像頭，可以支持更廣泛的模型，但只Raspberry Pi 5兼容；AI攝像頭更緊湊，總成本更低，與所有型號Raspberry Pi兼容。
工程師認為，可以說樹莓派開始正兒八經(jīng)的做AI開發(fā)了，加上樹莓派5的售價也沒那么離譜了，如果搭配AI套件能夠在千元以內(nèi)，千以內(nèi)13TOPS算力已經(jīng)非常足夠了；如果不是樹莓派5，并且正在進行需要圖像分類的項目，那么AI攝像頭絕對值得考慮，特別是它的易用性。
不過，對于樹莓派來說，RK3588依然是一座大山，這種情況下，在性價比上就要和RK3588的各種派掰掰手腕了。
參考文獻
[1]AAC：https://www.allaboutcircuits.com/news/raspberry-pi-teams-up-with-sony-to-launch-ai-camera/
[2]Raspberry Pi：https://www.raspberrypi.com/news/raspberry-pi-ai-kit-available-now-at-70/
[3]樹莓派開發(fā)者：https://mp.weixin.qq.com/s/fhSQYBPL7gnnVH6idVmafw
[4]Hailo：https://mp.weixin.qq.com/s/UliD2gLwi_6mn0zctc5gDQ
聲明：本文素材來源網(wǎng)絡(luò)，版權(quán)歸原作者所有。如涉及作品版權(quán)問題，請與我聯(lián)系刪除。
------------ END ------------



●專欄《嵌入式工具》
●專欄《嵌入式開發(fā)》
●專欄《Keil教程》
●嵌入式專欄精選教程

關(guān)注公眾號回復(fù)“加群”按規(guī)則加入技術(shù)交流群，回復(fù)“1024”查看更多內(nèi)容。
點擊“閱讀原文”查看更多分享。