本文轉(zhuǎn)自徐飛翔的“圖像校正(Image Rectification)——使得在對極線上尋找對應(yīng)點更加容易 ”
版權(quán)聲明：本文為博主原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接和本聲明
為什么我們需要圖像矯正
我們在[1]曾經(jīng)聊到了在對極線上尋找對應(yīng)點的方法，如Fig 1.1所示。這種方法將對應(yīng)點可能的范圍約束到了一條直線上，而不是一個二維平面，這樣大大減小了搜索空間。同時，我們也在[1]中聊過，每個對極面都是會經(jīng)過基線的，每個對極線也是會經(jīng)過對應(yīng)的對極點的，正是因為如此，其實對于單張圖的對極線組來說，如果延伸每條對極線，我們會發(fā)現(xiàn)每條對極線都會匯聚于對極點上，如Fig 1.2所示。也正是因為如此，我們得到的對極線們都不是平行的，如Fig 1.3所示。
Fig 1.1 在對極線l和l'上尋找對應(yīng)點。
Fig 1.2 對極線的延長線將會匯聚在對極點上。
Fig 1.3 兩張圖對應(yīng)的對極線對(epipolar lines pair)，我們發(fā)現(xiàn)這兩組對極線都是不平行的。
我們在后續(xù)的處理中，將會發(fā)現(xiàn)不平行的對極線會使得尋找對極點的運(yùn)算變得復(fù)雜，我們期望的是， 如果每對對極線都是平行的，那將會大大減少后續(xù)算法的復(fù)雜度，特別是在求視差時，平行的對極線將會提供極大的便利。 理想的對極線對的效果如Fig 1.4所示。我們后續(xù)就討論如何才能從不平行的對極線轉(zhuǎn)換成平行的，也就是 圖像矯正(image rectification) 的具體操作。
Fig 1.4 上圖表示的是未經(jīng)過圖像矯正的對極線配對，我們發(fā)現(xiàn)其是不平行的。下圖是經(jīng)過圖像矯正的對極線配對，我們發(fā)現(xiàn)其平行了，這個效果正是我們所期望的。
圖像矯正
需要明確的是，進(jìn)行圖像矯正之前需要知道相機(jī)的內(nèi)參數(shù)和外參數(shù)[4]。
我們首先要知道，為什么我們的對極線對會不平行呢？如圖Fig 2.1所示，其不平行的原因是因為我們的成像平面沒有共面(coplanar)，那么自然地，我們的直接做法就是矯正我們的成像平面，使得其共面，效果如圖Fig 2.2的黃色面所示。其總體效果，如Fig 2.3所示，我們可以發(fā)現(xiàn)，通過這種手段，我們的對應(yīng)點的搜索空間進(jìn)一步縮小到了水平線上，只用一個水平線上的參數(shù)x xx表示其距離就可以描述對應(yīng)點了，這樣其實是大大減少了運(yùn)算量的。
Fig 2.1 使得對極線不平行的根本原因是我們的不同攝像機(jī)的成像平面之間并不是共面的。
Fig 2.2 通過矯正成像平面到共面，我們可以使得對極線對平行。
Fig 2.3 通過矯正到(2)的情況，我們的搜索空間進(jìn)一步減少了。
我們后續(xù)具體分析這個矯正過程，我們要想怎么樣才能將成像平面矯正到共面呢？我們觀察圖Fig 2.4，我們延伸射線和
分別得到
,
，使得
，同時，我們確保
到平面
的距離相同，那么我們的平面
就是期望得到的矯正成像平面了。其實這個也不難理解，因為每個對極面都是經(jīng)過基線的，而基線平行于
，那么
在基線上的投影必然是平行于
的，同時，我們保證了兩個焦點到兩個平面的距離相同，確保了其是
的投影。
Fig 2.4 平行對極線(粉色)平行于基線（黑色OO'），而且焦點分別到其對應(yīng)的成像平面的距離相同。
我們?yōu)槭裁匆由线@個焦點到兩個矯正后的成像平面的距離相同這個約束呢？讓我們看一個例子。
在如圖Fig 2.5的系統(tǒng)中，我們假設(shè)兩個成像平面是共面的，其焦點之間的距離，兩個攝像頭之間不存在有旋轉(zhuǎn)關(guān)系，那么我們可以知道其相機(jī)參數(shù)為：、
從[1]中提到的對極約束的代數(shù)表達(dá)形式，我們有：
從中我們發(fā)現(xiàn)，我們必須引入這個約束去約束成像平面的位置。
我們知道極點e 是本征矩陣的零空間向量，也就是說我們有，我們可以解出：
我們?nèi)绻麖凝R次坐標(biāo)的角度去看待那么我們知道其實這個時候極點是在無限遠(yuǎn)處了。(關(guān)于齊次坐標(biāo)系，見[2,3])
于是，其實矯正成像平面的后果就是，我們的極點被挪到了無限遠(yuǎn)處，這個和我們圖Fig 1.2的推論相同。
Fig 2.6 經(jīng)過矯正之后，圖像的極點被移到了無限遠(yuǎn)處。
我們到現(xiàn)在算是對圖像矯正有了直觀上的印象，接下來我們嘗試用算法去描述這個過程。圖像矯正算法主要分四步。
用旋轉(zhuǎn)矩陣旋轉(zhuǎn)左相機(jī)，使得左成像平面的極點到無限遠(yuǎn)處。
用和第一步相同的旋轉(zhuǎn)矩陣旋轉(zhuǎn)右相機(jī)。
用外參數(shù)中的旋轉(zhuǎn)繼續(xù)旋轉(zhuǎn)右相機(jī)。
對坐標(biāo)系調(diào)整尺度。
我們首先需要確定旋轉(zhuǎn)矩陣? 。為了確定這個矩陣，我們需要構(gòu)造一組彼此正交的單位向量
。我們一般選擇以其中一個焦點為原點構(gòu)建，選擇
作為一個基底，然后進(jìn)行單位化，我們有：
構(gòu)造則只有和
正交并且是單位向量這約束，因此比較任意，如：
容易定義:
因此旋轉(zhuǎn)矩陣為:
然后設(shè)置左右攝像機(jī)的旋轉(zhuǎn)矩陣
其中的R \mathbf{R}R是外參數(shù)的旋轉(zhuǎn)矩陣。
隨后進(jìn)行旋轉(zhuǎn)和調(diào)整坐標(biāo)系尺度，如：對于左相機(jī)的點 ，計算出
，隨后計算器調(diào)整后的坐標(biāo)系，最終有:
對于右相機(jī)，其操作相同。
最后的矯正結(jié)果展示如：
Reference
[1]. https://blog.csdn.net/LoseInVain/article/details/102665911
[2]. Hartley R, Zisserman A. Multiple View Geometry in Computer Vision[J]. Kybernetes, 2008, 30(9/10):1865 - 1872.
[3]. https://blog.csdn.net/LoseInVain/article/details/102756630
[4].https://blog.csdn.net/LoseInVain/article/details/102632940