本文轉(zhuǎn)自徐飛翔的“【動作識別相關(guān)，第一篇】skeleton骨骼點數(shù)據(jù)類型介紹”

版權(quán)聲明：本文為博主原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接和本聲明。

1. 骨骼點數(shù)據(jù)1.1 骨骼點數(shù)據(jù)和其獲得方法骨骼點數(shù)據(jù)是一種landmark類型的數(shù)據(jù)，指的是用關(guān)鍵點去描述整個人體的動作，我們可以稱之為動作描述的pose信息，因此對這類數(shù)據(jù)的估計在文獻中一般也稱為姿態(tài)估計(Pose Estimation)，效果如下圖Fig1和Fig2所示：

Fig 1. 利用Openpose[2]對RGB視頻估計出來的骨骼點數(shù)據(jù)。

Fig 2. 利用Kinect v2.0[1]得到的骨骼點排序。

根據(jù)[3]中的研究，對于一個人體動作而言，可以通過10 ∼ 12 10 \sim 1210∼12個人體關(guān)節(jié)點有效地表達其動作內(nèi)容1。為了獲取到這種pose信息，按照使用器械不同或者原始模態(tài)不同，目前一般來說通過三種手段，分別是：

MoCap[4]全稱為Motion Capture，是一種讓表演者全身主要關(guān)節(jié)點穿戴好傳感器之后，將傳感器信息匯集到計算機中進行處理后，得到人體的關(guān)節(jié)點數(shù)據(jù)的一種系統(tǒng)。其得到的數(shù)據(jù)一般來說都是3D數(shù)據(jù)，既是有著關(guān)節(jié)點的(x,y,z)坐標(biāo)的。

Fig 3. MoCap系統(tǒng)的示例，表演者需要全身穿戴傳感器。

隨著深度攝像頭的發(fā)展，通過結(jié)構(gòu)光或者ToF技術(shù)，我們現(xiàn)在已經(jīng)可以用傳感器對物體的深度信息進行描述了，這點是傳統(tǒng)的RGB攝像頭所難以解決的，效果如下圖所示：

Fig 4. 用Kinect捕獲的深度信息，越深的顏色表示距離離攝像頭越遠，越淺代表越近。

基于這種技術(shù)，我們可以描述物體到攝像頭的遠近距離了，結(jié)合彩色攝像頭提供的色彩信息，就可以對物體進行更為精確的描述?；谏疃葓D和彩色圖像，一些公司開發(fā)了可以對其進行骨骼點估計的算法[5]，典型的產(chǎn)品如Kinect和RealSense。這些產(chǎn)品因為是基于圖像進行處理的，不能觀測到物體被遮擋的一面，因此這樣估計出來的結(jié)果其實不是 完美的3D信息 ，其被遮擋部分或多或少都是 “估計，猜” 出來的，因此看成是 2.5D 的信息。盡管如此，大多數(shù)這類產(chǎn)品都提供(x,y,z)等對關(guān)節(jié)點的估計。

盡管深度攝像頭比起MoCap傳感器來說的確便宜很多了，但是價格也還不夠親民，因此就產(chǎn)生了一類研究是關(guān)于如何僅僅依靠RGB圖像對人體進行姿態(tài)估計，這個姿態(tài)估計可以是2D信息的[8]，有些研究甚至是關(guān)于3D信息的[7]，如Fig 5所示。

Fig 5. 利用RGB模態(tài)信息進行3D關(guān)節(jié)點的姿態(tài)估計。

目前，基于RGB的姿態(tài)估計基本上都是對遮擋部分魯棒性不夠，有部分工作[9-10]是考慮了對其進行遮擋部分的恢復(fù)的，但是似乎普遍對遮擋部分的效果都不是特別好，目前開源的最好結(jié)果似乎就是OpenPose了。（不是很了解姿態(tài)估計的進展，希望研究此的朋友給予指點）。

1.2 骨骼點數(shù)據(jù)的優(yōu)劣

根據(jù)我們在1.1節(jié)討論的，我們總結(jié)下這幾類由不同手段得到的骨骼點數(shù)據(jù)的優(yōu)劣點：

1.基于身體佩戴傳感器的手段

優(yōu)點：姿態(tài)估計結(jié)果準(zhǔn)確，不存在因為身體遮擋導(dǎo)致的估計失敗問題，魯棒性高。

缺點：價格昂貴，不方便日常使用。

2.基于深度攝像頭和彩色攝像頭的手段

優(yōu)點：方便使用，價格較為低廉，準(zhǔn)確率較高。

缺點：對遮擋部分同樣無能為力，只能通過時序上的上下文信息對某幀的遮擋部分進行推測，經(jīng)常造成遮擋部分估計失敗。

3.基于RGB視頻的姿態(tài)估計

優(yōu)點：價格最為低廉，一般攝像頭就可以部署，可以大規(guī)模使用。

缺點：缺少了深度信息，導(dǎo)致對光照等信息比較敏感，同樣無法克服遮擋部分的影響，準(zhǔn)確率不如基于深度和彩色攝像頭聯(lián)合使用的效果。

從信息的角度來說，對比RGB視頻信息，骨骼點信息極為緊湊，冗余量少，但是同樣的，總體信息量也不如RGB模態(tài)的高，比如對于某些和物體交互的動作，光用骨骼點信息就很難完全描述。而且，因為其冗余量少，只要存在噪聲，比如遮擋部分的推斷噪聲或者姿態(tài)估計算法不穩(wěn)定導(dǎo)致的噪聲，就會造成原信息的較大干擾，影響后續(xù)的識別或者其他任務(wù)的進行。如下圖Fig 6和Fig 7所示，基于第二種和第三種方法的姿態(tài)估計通常對遮擋部分魯棒性都不佳。

Fig 6. 用OpenPose對遮擋動作進行姿態(tài)估計，可以看到左手因為被遮擋而沒有估計出來。

Fig 7. 用Kinect對遮擋動作進行姿態(tài)估計，左手部分被遮擋，但是Kinect還是對時序上的上下文進行了估計，但是這種估計常常效果不佳，容易引入估計噪聲。

不過目前來說，基于骨骼點信息的應(yīng)用因為其對于光照魯棒性較強，對動作的表達能力強等特點，已經(jīng)越來越受到了研究者的青睞。

Reference

[1]. Understanding Kinect V2 Joints and Coordinate System [需要特殊的上網(wǎng)姿勢，你懂得]

[2]. OpenPose Github Project Page

[3]. Johansson G. Visual perception of biological motion and a model for its analysis[J]. Perception & psychophysics, 1973, 14(2): 201-211.

[4]. Rogez G, Schmid C. Mocap-guided data augmentation for 3d pose estimation in the wild[C]//Advances in Neural Information Processing Systems. 2016: 3108-3116.

[5]. Shotton J, Fitzgibbon A, Cook M, et al. Real-time human pose recognition in parts from single depth images[C]//Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on. Ieee, 2011: 1297-1304.

[6]. Kinect Introduction from Wikipedia

[7]. Pavllo D, Feichtenhofer C, Grangier D, et al. 3D human pose estimation in video with temporal convolutions and semi-supervised training[J]. arXiv preprint arXiv:1811.11742, 2018.

[8]. Cao Z, Simon T, Wei S E, et al. Realtime multi-person 2d pose estimation using part affinity fields[J]. arXiv preprint arXiv:1611.08050, 2016.

[9]. Sárándi I, Linder T, Arras K O, et al. How robust is 3D human pose estimation to occlusion?[J]. arXiv preprint arXiv:1808.09316, 2018.

[10]. Guo X, Dai Y. Occluded Joints Recovery in 3D Human Pose Estimation based on Distance Matrix[C]//2018 24th International Conference on Pattern Recognition (ICPR). IEEE, 2018: 1325-1330.