機(jī)器人靈巧手是一種模擬人類手部結(jié)構(gòu)和功能的仿生機(jī)器人末端執(zhí)行器，通過(guò)多指、多關(guān)節(jié)的仿人結(jié)構(gòu)，通過(guò)肌腱驅(qū)動(dòng)、連桿機(jī)構(gòu)或柔性材料模擬人手的骨骼、肌肉和韌帶，通過(guò)多模態(tài)感知系統(tǒng)、智能控制與AI算法技術(shù)，完成抓取、操作、人機(jī)交互等復(fù)雜任務(wù)。它可以突破傳統(tǒng)機(jī)械夾爪的局限性，實(shí)現(xiàn)對(duì)不規(guī)則物體、柔軟材質(zhì)或微小部件的更精細(xì)、更復(fù)雜的操控，為蓬勃發(fā)展的人工智能和機(jī)器人應(yīng)用帶來(lái)了更多可能。

在近日舉辦的慕尼黑上海電子展上，意法半導(dǎo)體帶來(lái)一款引人關(guān)注的基于STM32N6和STM32MP257PLC的高級(jí)手勢(shì)識(shí)別與跟隨系統(tǒng)。電源網(wǎng)有幸邀請(qǐng)到意法半導(dǎo)體自動(dòng)化技術(shù)創(chuàng)新中心應(yīng)用工程師黃凱杰，就“基于最新AI技術(shù)，用于運(yùn)動(dòng)識(shí)別及實(shí)時(shí)跟蹤的自動(dòng)化解決方案“進(jìn)行深入溝通與交流。

意法半導(dǎo)體自動(dòng)化技術(shù)創(chuàng)新中心應(yīng)用工程師黃凱杰

讓靈巧手性價(jià)比更高的關(guān)鍵技術(shù)大揭秘

該自動(dòng)化解決方案由三大部分構(gòu)成：基于STM32N6的手勢(shì)識(shí)別與數(shù)據(jù)采集的感知部分、基于STM32MP257的數(shù)據(jù)轉(zhuǎn)換與處理任務(wù)的PLC部分以及基于STM32G431實(shí)現(xiàn)運(yùn)動(dòng)控制與手勢(shì)跟隨的靈巧手部分。STM32N6單片機(jī)的內(nèi)部NPU處理器能夠運(yùn)行復(fù)雜的手勢(shì)識(shí)別模型，搭配VD66GY高靈敏度彩色圖像傳感器，可以準(zhǔn)確捕捉并識(shí)別21個(gè)關(guān)鍵手勢(shì)點(diǎn)位。PLC控制器演示板STM32MP257能夠?qū)ψR(shí)別出來(lái)的21個(gè)手部關(guān)鍵點(diǎn)位數(shù)據(jù)進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，并控制由15個(gè)伺服電機(jī)構(gòu)成的靈巧機(jī)械手，實(shí)現(xiàn)實(shí)時(shí)精確的手勢(shì)響應(yīng)。意法半導(dǎo)體面向現(xiàn)場(chǎng)觀眾，展示了其整合微控制器與先進(jìn)傳感器，實(shí)現(xiàn)實(shí)時(shí)手勢(shì)識(shí)別控制的優(yōu)秀整合能力。

具體來(lái)說(shuō)，感知部分是由STM32N6完成對(duì)手的識(shí)別，核心是攝像頭，它能夠?qū)崟r(shí)捕捉手部視頻。而負(fù)責(zé)處理這些視頻的是STM32N6微控制器，它具有MPU級(jí)別的人工智能性能和MCU的功耗和成本，集成了意法半導(dǎo)體強(qiáng)大的Neural-ART加速器神經(jīng)處理單元（NPU），在視覺(jué)數(shù)據(jù)處理方面表現(xiàn)出色，可以確保手勢(shì)識(shí)別的高效與精準(zhǔn)。同時(shí)，ST也提供了完整的計(jì)算機(jī)視覺(jué)和人工智能生態(tài)系統(tǒng)。

成本高昂是目前靈巧手技術(shù)普及的一大障礙。STM32N6是高性能STM32 MCU的旗艦產(chǎn)品，也是ST采用MCU+NPU架構(gòu)的開(kāi)山之作。它采用Cortex-M55內(nèi)核，800MHz主頻，算力可達(dá)到600GOPS，具有3TOPS/W功耗比，是ST迄今為止最強(qiáng)大的MCU，也是ST首個(gè)集成神經(jīng)網(wǎng)絡(luò)硬件加速單元的STM32 MCU。這種全新架構(gòu)為微控制器應(yīng)用領(lǐng)域開(kāi)辟了新方向——在MCU上實(shí)現(xiàn)強(qiáng)大的AI性能。

該靈巧手選擇谷歌的MediaPipe Landmark手勢(shì)識(shí)別模型，其核心是掌部檢測(cè)和手部關(guān)鍵點(diǎn)檢測(cè)兩個(gè)模型。其中，掌部檢測(cè)模型識(shí)別到圖像中的手部區(qū)域，并拆解出手部圖像，之后手部關(guān)鍵點(diǎn)檢測(cè)模型再拆解出的手部圖像上進(jìn)一步提取出21個(gè)關(guān)鍵點(diǎn)，通過(guò)STM32N6可以對(duì)手勢(shì)識(shí)別達(dá)到29幀/秒的效果，最后將計(jì)算得到的21個(gè)關(guān)鍵點(diǎn)的數(shù)據(jù)通過(guò)485總線，發(fā)送給STM32MP257的PLC，為后續(xù)的工業(yè)控制提供精準(zhǔn)的輸入數(shù)據(jù)。

計(jì)算整合部分是基于STM32MP257的PLC解決方案參考板，PLC將識(shí)別到手的數(shù)據(jù)通過(guò)計(jì)算得到各個(gè)關(guān)節(jié)的數(shù)據(jù)，再打包成靈巧手能識(shí)別的數(shù)據(jù)幀，最后由靈巧手完成對(duì)手勢(shì)變化的跟隨。STM32MP257集成了當(dāng)前主流的軟PLC平臺(tái)CODESYS，用戶可以直接上手使用。該P(yáng)LC解決方案的核心是STM32MP257的MPU處理器，意法半導(dǎo)體可以提供絕大多數(shù)的外圍電路芯片，方便用戶進(jìn)行一站式采購(gòu)。

“該自動(dòng)化解決方案中最大的技術(shù)亮點(diǎn)是STM32M6的AI處理能力。STM32N6作為視覺(jué)識(shí)別的信號(hào)處理器。與傳統(tǒng)GPU方案相比，其性價(jià)比更高且功耗更低，尤其適合資源受限型應(yīng)用場(chǎng)景。PLC作為中央控制單元，實(shí)現(xiàn)了模塊化架構(gòu)設(shè)計(jì)，顯著提升了系統(tǒng)集成效率。”黃凱杰總結(jié)到：“該設(shè)計(jì)凸顯了四大核心優(yōu)勢(shì)。首先是靈活擴(kuò)展，模塊化組件支持無(wú)縫升級(jí)與維護(hù)，無(wú)需停機(jī)即可完成系統(tǒng)迭代；其次是高可靠性與安全性，PLC的自主操作系統(tǒng)（CODESYS）相較板卡級(jí)控制系統(tǒng)，具有更強(qiáng)的抗干擾能力和數(shù)據(jù)保護(hù)機(jī)制；接下來(lái)是長(zhǎng)期成本可控，它可以減少對(duì)專用硬件（如GPU）的依賴，有效規(guī)避供應(yīng)商鎖定風(fēng)險(xiǎn)，降低后續(xù)升級(jí)與維護(hù)成本；同時(shí)ST保證供貨穩(wěn)定。

在談及STM32N6與STM32MP257 PLC如何協(xié)同工作以確保低延遲時(shí)，黃凱杰表示，該方案在人機(jī)交互場(chǎng)景下目前可以達(dá)到毫秒級(jí)別的實(shí)時(shí)性，用戶幾乎感受不到太大延遲。而對(duì)于實(shí)時(shí)性通信較高的場(chǎng)合，可以考慮SPI發(fā)送攝像頭數(shù)據(jù)，PLC直接連接攝像頭，本PLC所使用的MP257內(nèi)部也有NPU來(lái)處理AI模型，使用EtherCAT直接控制伺服電機(jī)，PLC也集成了EtherCAT總線協(xié)議。但這種方式需要單獨(dú)來(lái)開(kāi)發(fā)，不利于實(shí)際落地。不如做成本系統(tǒng)這種模塊化方式，更接近于實(shí)際使用習(xí)慣。

“STM32+AI”解鎖機(jī)器人應(yīng)用新場(chǎng)景

工業(yè)場(chǎng)景更注重穩(wěn)定性與低成本，而ST的靈巧手方案可以通過(guò)關(guān)鍵功能平衡性能和成本。在技術(shù)實(shí)現(xiàn)優(yōu)勢(shì)方面，盡管手勢(shì)識(shí)別模型在訓(xùn)練階段需要大量計(jì)算資源，但部署后的解決方案僅需運(yùn)行在STM32N6處理器上。憑借其600GOPS的算力，N6以GPU方案成本的一小部分即可滿足性能需求，實(shí)現(xiàn)顯著的硬件成本節(jié)約。在工業(yè)級(jí)設(shè)計(jì)理念方面，采用PLC（可編程邏輯控制器）作為控制核心的設(shè)計(jì)，刻意與真實(shí)工業(yè)自動(dòng)化架構(gòu)保持一致。這確保了與現(xiàn)有工業(yè)工作流程的無(wú)縫銜接——只需對(duì)現(xiàn)有設(shè)施配置進(jìn)行微小改造即可部署系統(tǒng)。

值得一提的是，即使工人佩戴手套或在環(huán)境光線復(fù)雜時(shí)，這套系統(tǒng)也可以準(zhǔn)確識(shí)別手勢(shì)。黃凱杰表示，當(dāng)前基于視覺(jué)的解決方案采用光學(xué)攝像頭，但ST的系統(tǒng)可無(wú)縫集成VL53L8CX矩陣飛行時(shí)間(ToF)傳感器，適用于光線復(fù)雜或完全黑暗的環(huán)境。這種基于ToF的技術(shù)方案不依賴環(huán)境光照條件，同時(shí)保持穩(wěn)健的手勢(shì)識(shí)別能力。針對(duì)需佩戴手套的用戶場(chǎng)景（如工業(yè)環(huán)境），可通過(guò)在訓(xùn)練數(shù)據(jù)集中增加包含手套的樣本進(jìn)一步優(yōu)化識(shí)別性能。該方案在有毒處理環(huán)境（如化工廠）中還具有特殊應(yīng)用價(jià)值，可實(shí)現(xiàn)遠(yuǎn)程設(shè)備調(diào)節(jié)、自動(dòng)化物料搬運(yùn)、非接觸式操作控制，顯著提升工作場(chǎng)所安全性。同時(shí)它的視覺(jué)優(yōu)勢(shì)可以使操作人員在不具有專業(yè)知識(shí)背景下就可以完成對(duì)機(jī)械的操作，交互方式更簡(jiǎn)單。

那么STM32的AI技術(shù)未來(lái)還有可能會(huì)拓展到哪些領(lǐng)域？黃凱杰表示，目前有針對(duì)振動(dòng)傳感器在工業(yè)上的預(yù)測(cè)性維護(hù)案例，ToF的手勢(shì)識(shí)別案例，人體追蹤的案例，如果未來(lái)有需要ST也會(huì)融合這些方案做成多模態(tài)模型。在軟件方面，意法半導(dǎo)體也會(huì)豐富擴(kuò)展行業(yè)垂直模型庫(kù)（如機(jī)械臂抓取、焊縫檢測(cè)）。具有NPU的MCU STM32N6將把一些難以落地的人工智能方案以非常具有性價(jià)比的方式實(shí)現(xiàn)，實(shí)現(xiàn)低成本智能檢測(cè)、智能分析等功能，同時(shí)它還具有低功耗的特點(diǎn)，可以集成到遠(yuǎn)端傳感器中，真正實(shí)現(xiàn)邊緣計(jì)算，讓人工智能更廣泛使用?；赟T提供的開(kāi)發(fā)工具以及生態(tài)，用戶可以將模型快速部署到N6中，省去開(kāi)發(fā)者時(shí)間。另外基于STM32MP275的中高端PLC方案也可以滿足工業(yè)上復(fù)雜的控制需求。結(jié)合二者在工業(yè)上的應(yīng)用會(huì)很有前景。

除此之外，STM32的AI技術(shù)將推動(dòng)工廠人機(jī)協(xié)作邁向“直覺(jué)化交互”，通過(guò)手勢(shì)、眼動(dòng)甚至肌電信號(hào)替代傳統(tǒng)物理控制器，使工人能更安全、自然地指揮機(jī)器人協(xié)同作業(yè)（如手勢(shì)引導(dǎo)AGV搬運(yùn)重型部件）；該技術(shù)還可拓展至農(nóng)業(yè)自動(dòng)化（果實(shí)分揀）、智能倉(cāng)儲(chǔ)（無(wú)人叉車調(diào)度）、消費(fèi)電子（AR手勢(shì)交互）及醫(yī)療康復(fù)（假肢精準(zhǔn)控制）等領(lǐng)域，其低功耗、高性價(jià)比特性正加速AI在邊緣計(jì)算場(chǎng)景的普惠化落地。如果有需要，或許會(huì)有雙手、語(yǔ)音、多傳感器融合的升級(jí)，語(yǔ)音和振動(dòng)傳感器已經(jīng)在意法半導(dǎo)體其他芯片上有了相應(yīng)的成熟案例。借助于ST的生態(tài)和開(kāi)發(fā)工具NANOEDGE AI以及STM32CUBEAI等，可以很容易實(shí)現(xiàn)相關(guān)方案。

工業(yè)4.0是工廠自動(dòng)化的下一個(gè)發(fā)展階段。未來(lái)，隨著人工智能、傳感器技術(shù)、材料科學(xué)等多學(xué)科的持續(xù)進(jìn)步，靈巧手將朝著更高的智能化、擬人化發(fā)展，有望具備更強(qiáng)大的感知和學(xué)習(xí)能力，更加自然、靈活地與人類和環(huán)境進(jìn)行交互。意法半導(dǎo)體在工廠自動(dòng)化和工業(yè)應(yīng)用產(chǎn)品的設(shè)計(jì)和制造方面擁有30多年的經(jīng)驗(yàn)，能夠利用旗下的優(yōu)秀解決方案幫助開(kāi)發(fā)人員應(yīng)對(duì)各種設(shè)計(jì)挑戰(zhàn)，通過(guò)不斷的技術(shù)創(chuàng)新與產(chǎn)品優(yōu)化，推動(dòng)靈巧手技術(shù)發(fā)展與相關(guān)應(yīng)用普及，賦能新型工業(yè)高質(zhì)量發(fā)展。