#前言
首先,非常感謝得捷電子和電源網(wǎng)共同舉辦的Digikey年度寵粉活動(dòng),使得我能夠有機(jī)會(huì)接觸到新興的開(kāi)發(fā)版設(shè)備,希望活動(dòng)以后辦的越來(lái)越好。
本次購(gòu)買(mǎi)的是Hailo 開(kāi)發(fā)的一款高性能邊緣 AI 處理器(NPU),它專為低功耗、高效率的深度學(xué)習(xí)推理任務(wù)設(shè)計(jì),可以提供高達(dá) 26 TOPS 的計(jì)算能力,適用于各種邊緣計(jì)算場(chǎng)景。為了和已有的樹(shù)莓派5開(kāi)發(fā)版適配,我購(gòu)買(mǎi)的是AI HAT版本,是專門(mén)為樹(shù)莓派設(shè)計(jì)的ai算力擴(kuò)展板??上У氖沁@個(gè)開(kāi)發(fā)板只支持圖像模型的推理,而不支持最近大火的大語(yǔ)言模型。購(gòu)買(mǎi)地點(diǎn)是在線上的得捷電子官方,里面的元器件開(kāi)發(fā)板都很齊全,而且有質(zhì)量保證,發(fā)貨速度快,值得推薦。
AI HAT模塊非常適合樹(shù)莓派5,剛好利用了樹(shù)莓派5上的mini PCIE接口。組裝好的兩者展示如下
其擁有26tops的算力,推理速度和英偉達(dá)的低端系列jetson相比略勝一籌。
官方也對(duì)相關(guān)應(yīng)用有代碼支持。
經(jīng)過(guò)測(cè)試,yolov8模型使用720p分辨率進(jìn)行視頻推理可以穩(wěn)定保持實(shí)時(shí)30fps的幀率。而且hailo官方也提供了模型轉(zhuǎn)換工具,用于將pc機(jī)器上面訓(xùn)練好的模型權(quán)重放到hailort運(yùn)行時(shí)環(huán)境中運(yùn)行,類似于在rk瑞芯微的板卡上運(yùn)行模型需要將pt或者onnx格式的模型保存為rknn進(jìn)行npu推理加速。在以后我會(huì)嘗試,將埂新的模型移植到hailo8板卡上,如yolov10,yolov11等。
yolov8模型結(jié)構(gòu)
最后,我還得感謝電源網(wǎng)和得捷電子提供這次活動(dòng)參加機(jī)會(huì),我會(huì)利用這個(gè)ai模塊學(xué)習(xí)更多ai部署相關(guān)知識(shí)。