本文轉(zhuǎn)自徐飛翔的“相機的針孔模型及其內(nèi)參數(shù)，外參數(shù)的理解”

版權(quán)聲明：本文為博主原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接和本聲明

相機的針孔模型為了簡單地解釋一個相機為什么能夠成像，我們通常會引入相機的針孔模型(pinhole model)。如Fig 1.1所示，在針孔模型中，相機呈現(xiàn)的都是倒像，這點其實很好理解，因為光線都是直線傳播的，因此物理世界的實體(entity)在相機中的像必然是倒過來的。這里，為了讓光只能通過一束（因為只有一束才能確保實體到像的一對一關(guān)系，然而實際中不可能做到理想的情況。），我們通常假設(shè)這個針孔是無限小的，然而因為無限小的針孔不能透光，為了使得成像有著充足的光線，針孔又必須足夠的大，這倆要求顯然是個矛盾，因此一般我們需要在針孔處安置透鏡，而透鏡的引入，包括透鏡的厚度，透光度等等不理想的因素，使得成像分析變得復(fù)雜起來，但是我們這里還是按照針孔模型的結(jié)構(gòu)去理解，以簡化分析。（透鏡這里的作用是為了更好的聚集光線。）

Fig 1.1 相機的成像。

我們需要知道的是，理想的相機模型是不需要透鏡的，因為沒有透鏡的引入，因此成像沒有因透鏡產(chǎn)生的幾何變形和模糊。在這個模型中，我們其實是在描述從實體的3D坐標(biāo)到成像平面的2D坐標(biāo)之間的映射關(guān)系 (注：此處是維度表達是非齊次坐標(biāo))。如Fig 1.2所示，現(xiàn)實中的實體點X XX坐標(biāo)為( x , y , z ) ，其光線通過焦點C聚集在成像平面上，但是這個像是倒像，不方便分析，為了方便，我們通常假設(shè)和倒像的成像平面對稱的一端也有個成像平面，這個平面成像是正面的，其特性和真實的成像平面一模一樣，除了呈現(xiàn)的是正像之外，因此我們正式地將其稱為成像平面(image plane)。其真實實體的映射點坐標(biāo)為x = ( u , v )。

Fig 1.2 相機的針孔模型。

這里，為了方便接下來的討論，我們將定義和解釋以下術(shù)語：

1. 焦點(camera center, optic center)： 所有光線都會聚集的點，比如Fig 1.2中的點C。
2. 成像平面(image plane)：相機的CCD平面，圖像在這個平面上形成，注意后續(xù)討論的image plane一般會是指的呈現(xiàn)正像的那個平面。
3. 光軸(principal axis)：經(jīng)過焦點，并且與成像平面垂直的線。
4. 光軸面(principal plane)： 包含著焦點，并且和成像平面平行的面。
5. 焦距(focal length)： 通常表示為f，指的是焦點到成像平面的距離。
6. 幀(frame): 這里提到的幀和我們通常視頻處理里面的幀不太一樣，這里提到的幀指的是一種度量，用于衡量一個特定的坐標(biāo)系系統(tǒng)。
7. 世界坐標(biāo)系(world frame, world coordinate system)：一個固定的坐標(biāo)系，用于表示現(xiàn)實實體的坐標(biāo)（比如點線面等等）。
8. 相機坐標(biāo)系(camera frame, camera coordinate system)：將相機的焦點作為其原點，光軸作為其Z軸的坐標(biāo)系。
9. 圖像坐標(biāo)系(image frame, image coordinate system)：描述二維圖像的像素位置，通常以圖像的左上角或者圖像的中心視為坐標(biāo)原點。
10. 外參數(shù)(extrinsic parameters): 外參數(shù)描述了如何將實體的3D點（以世界坐標(biāo)系描述）映射到以相機坐標(biāo)系描述的3D點上，顯然，這個是坐標(biāo)系的平移和旋轉(zhuǎn)過程。
11. 內(nèi)參數(shù)(intrinsic parameters)：內(nèi)參數(shù)描述了如何將已經(jīng)是用相機坐標(biāo)系描述的3D點投射到成像平面上。
12. 視網(wǎng)膜平面（image, retina plane）：圖像在這個平面上成像，注意到，圖像平面用相機坐標(biāo)系度量，其單位是mm，毫米，屬于物理單位。
13. 圖像幀(image frame)：這個幀和我們通常理解的幀一致，其用像素(pixel)去描述圖像平面，而不是mm了，屬于邏輯單位。（比如一個像素對應(yīng)多少mm的距離是不同的。）
14. 光心(principal point)： 指的是光軸和成像平面的交點。

這里我們給出一個圖取參數(shù)上面談到的一些概念，注意到的是其中的virtual image plane其實是本文中談到的成像平面。[1]

Fig 1.3 相機針孔成像過程及其術(shù)語解析。

坐標(biāo)系的改變?yōu)榱藢⒁粋€在世界坐標(biāo)系中表示的點，以相機坐標(biāo)系的形式進行表達，我們需要進行坐標(biāo)系的平移和旋轉(zhuǎn)變化（即是歐幾里德變換[4]）。比如Fig 2.1所示，我們需要通過平移和旋轉(zhuǎn)將轉(zhuǎn)換到，容易知道，在不同坐標(biāo)系中，對于同一個實體點P來說，其表達形式都不同。我們接下來考慮怎么進行這個坐標(biāo)系轉(zhuǎn)換。

通常來說，這個過程可以簡單表示為，平移向量和旋轉(zhuǎn)矩陣的操作，如：

其中，是世界坐標(biāo)系坐標(biāo)，是相機坐標(biāo)系坐標(biāo)，是旋轉(zhuǎn)矩陣（注意這里是齊次坐標(biāo)系的表達方法，見[5]），是用世界坐標(biāo)系描述的焦點。通過式子(2.1)我們實現(xiàn)了世界坐標(biāo)系到相機坐標(biāo)系的變換，不過注意到這里還停留在三維點之間的歐幾里德變換。

在以上的討論中，我們把坐標(biāo)從世界坐標(biāo)系轉(zhuǎn)換成了相機坐標(biāo)系，但是我們通常是需要用圖像坐標(biāo)系去表示圖片中的某個像素點的，這里涉及到了三維點到二維點的映射問題，因此我們還需要進行 相機坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換，即是。

我們考慮到在中心投影中，如Fig 2.2中，我們根據(jù)相似三角形的規(guī)律有，其中以相機坐標(biāo)系描述的點投影到成像平面上有

用矩陣形式表達就是:

可知此時有: ，其是用齊次坐標(biāo)系表達的，等價于非齊次形式的 。

考慮到公式(2.1)和(2.3)，我們能夠把一個3D點映射成2D點：

這里的稱之為外參數(shù)(extrinsic parameters)，這些參數(shù)描述了如何將世界坐標(biāo)系的實體3D點轉(zhuǎn)換到以相機坐標(biāo)系描述的3D點。而前面乘上的形狀為3 × 4 的矩陣是投影矩陣，負(fù)責(zé)從相機坐標(biāo)系的三維點映射到二維上，當(dāng)然這個形式并不完整，我們接下來會繼續(xù)探討這一部分，我們要繼續(xù)考慮相機成像過程中的工藝導(dǎo)致的問題修正。

那么總結(jié)來說，其實對于坐標(biāo)系的平移和旋轉(zhuǎn)，我們可以用下面的幾副圖來表示：

首先，我們有兩個不同的坐標(biāo)系，左邊的世界坐標(biāo)系(X,Y,Z)和右邊的相機坐標(biāo)系(u,v,w)

然后，我們通過將兩者的原點O和C以平移的方式挪到一起，我們通過平移矩陣T去實現(xiàn)。

最后，利用旋轉(zhuǎn)矩陣，將其進行坐標(biāo)軸的旋轉(zhuǎn)和對齊即可。

考慮更多因素

注意到通過上面的討論，我們轉(zhuǎn)換得到的二維像點的單位仍然是物理單位mm，如果我們需要用像素去度量（實際上也是用像素度量的），我們?nèi)孕枰M行其他處理。（內(nèi)參數(shù)的協(xié)助）? 在這里是以光心作為其原點的，而傳統(tǒng)的表示中，我們一般以左上角的作為原點進行描述。因為一些制造工藝上的不精確性，我們的成像傳感器CCD通常不是完美的矩形網(wǎng)格，可能會有變形。比如偏斜(skewness)用于描述CCD單元的變形程度，見Fig 2.3。

Fig 2.3 CCD單元的偏斜。

那么經(jīng)過矯正，其正確的坐標(biāo)應(yīng)該是:

考慮到CCD的偏斜，和物理單位到像素單位的轉(zhuǎn)變，我們有以下公式：

其中有 。在這個公式(2.6)中，我們發(fā)現(xiàn)有很多陌生的符號，其中我們將：

中的參數(shù)稱之為內(nèi)參數(shù)(intrinsic parameters)，我們這里討論下這些參數(shù)：

和是在x軸和y軸（指的是有偏斜過后的），每個單位長度的像素數(shù)量。通過這倆參數(shù)可以將物理單位mm轉(zhuǎn)換為像素。f 是相機的焦距。和是在偏斜的圖像幀中的光心（以像素為單位）。s是偏斜系數(shù)(skewness factor)，當(dāng)像素是矩形的時候其為0。是兩個圖像SSD平面邊緣之間的偏斜角度，見Fig 2.3。這三個內(nèi)參數(shù)矩陣可以合為一個矩陣，通過這個矩陣，我們可以將用相機坐標(biāo)系表示的3D點映射到成像平面上，從而得到我們目標(biāo)需要的2D點。

總結(jié)在這篇博文中，我們討論了相機的針孔模型，其中涉及到了相機的內(nèi)參數(shù)和外參數(shù)等，我們將會在以后的文章中發(fā)現(xiàn)，這些參數(shù)對于相機的呈像是很重要的，因此需要去通過相機標(biāo)定（camera calibration）去計算這些參數(shù)。

更新說明Update 2020/9/5： 感謝評論區(qū)的Zeroan_朋友提供的意見，之前版本的文章沒有統(tǒng)一坐標(biāo)系的表達方式，容易造成誤解，現(xiàn)在已經(jīng)統(tǒng)一成齊次坐標(biāo)系，齊次坐標(biāo)系內(nèi)容可見[5]。

Update 2020/11/5：評論區(qū)有個朋友的問題

ID->curryche:請問一下博主，R[I|-C]這個是怎么得出的？看不懂，，

在這里回答一下，注意到式子(2.1)，其實只是對式子(2.1)的改寫而已，式子(2.1)中的旋轉(zhuǎn)矩陣以齊次坐標(biāo)形式表達，為 ，而 ，這點不難理解，提取公因子之后有：

因此可以寫成R [ I ∣ − C ] \mathbf{R}[\mathbf{I} | \mathbf{-C}]R[I∣−C]。

Reference

[1]. https://jp.mathworks.com/help/vision/ug/camera-calibration.html

[2]. Forsyth D , JeanPonce, 福賽斯, et al. Computer vision : a modern approach[M]. 電子工業(yè)出版社, 2012.

[3]. 電子科技大學(xué)自動化學(xué)院 楊路 老師 計算機視覺課程課件。

[4]. https://blog.csdn.net/LoseInVain/article/details/104533575

[5]. https://blog.csdn.net/LoseInVain/article/details/102756630