圖像配準
本文為原創(chuàng)文章，轉(zhuǎn)載請注明出處**
目錄
一,、圖像配準概述
二,、圖像匹配算法
SIFT
SURF
ORB
暴力匹配
FLANN
深度學習（superpoint）
三、各算法對比
四,、圖像配準在SLAM中的應用
圖像配準概述
匹配：指尋找兩幅影像中相似的部分(基于特征點或灰度等),，從而找到與搜索圖像相似的圖像
配準：將不同時間、不同傳感器(成像設備)或不同條件下(天候,、照度,、攝像位置和角度等)獲取的兩幅或多幅圖像進行匹配、疊加的過程
特征點
特征點：圖像當中具有代表性的部分
可重復性：相同的區(qū)域可在不同的圖像中被找到。
可區(qū)別性：不同的區(qū)域有不同表達,。
高效率：同一圖像中,，特征點的數(shù)量應遠小于像素的數(shù)量。
本地性：特征僅與一小片圖像區(qū)域有關
特征點信息：
位置,、大小,、方向、評分等------關鍵點
特征點周圍圖像的信息------描述子
特征描述應該在光照,、視角發(fā)生少量變化時仍能保持一致
基于特征點配準的優(yōu)缺點
■ 提取待配準圖像中的點,、線、邊緣等特征信息,，不需要其它輔助信息,，在減少計算量、提高效率的同時,，能夠?qū)D像灰度的變化有一定的魯棒性
■ 只采用了圖像一小部分的特征信息,，所以這種算法對特征提取和特征匹配的精度及準確性要求非常高，對錯誤非常敏感
■ 特征點所包含的信息相對較少,，只能反映出其在圖像中的位置坐標信息,，所以在兩幅圖像中尋找匹配的特征點是關鍵所在
基于特征圖像的配準流程
1.首先對兩幅圖像進行特征提取得到特征點；
2.通過進行相似性度量找到匹配的特征點對,；
3.然后通過匹配的特征點對得到圖像空間坐標變換參數(shù),；
4.最后由坐標變換參數(shù)進行圖像配準。
高斯金字塔與尺度空間
■ 高斯核是唯一的線性核,，對圖像模糊不會引入其他噪聲
■ 對每層最模糊的一幅圖像繼續(xù)下采樣,，繼續(xù)高斯模糊處理
■ 上采樣（分辨率逐級升高）和下采樣（分辨率逐級降低）
■ 尺度空間（O,S）
– O—octave
– S-層
– （o，s）能夠確定高斯金字塔中的唯一一幅圖像δ
其中δ為尺度大小,，k的幾次冪為每個八度（octave）的第幾個模糊層
尺度空間圖例
差分高斯金字塔
同一個八度的相鄰兩模糊層做差得到差分高斯金字塔
特征點檢測與描述------SIFT
在不同的尺度空間上查找關鍵點（特征點）,，計算關鍵點的大小、方向,、尺度信息,，利用這些信息組成關鍵點對特征點進行描述
具體步驟：
■ 1. 生成高斯差分金字塔（DOG金字塔），尺度空間構(gòu)建
■ 2. 空間極值點檢測 （在高斯金字塔中搜索對尺度和旋轉(zhuǎn)不變的特征點）
■ 3. 穩(wěn)定關鍵點的精確定位 （離散空間用曲線擬合尋找極值點）
■ 4. 穩(wěn)定關鍵點方向信息分配 （圖像局部的梯度方向）
■ 5. 關鍵點描述 （將得到的特征點位置,、方向,、尺度信息，使用一組向量來描述特征點及其周圍鄰域像素的信息）
■ 6. 特征點匹配
優(yōu)缺點
■ 1. 對旋轉(zhuǎn),、尺度縮放,、亮度變化保持不變性，對視角變化,、噪聲等也存在一定程度的穩(wěn)定性；
■ 2. 獨特性，信息量豐富,，適用于在海量特征數(shù)據(jù)中進行快速,，準確的匹配；
■ 3. 多量性,，即使少數(shù)幾個物體也可以產(chǎn)生大量的Sift特征向量,；
■ 4. 可擴展性，可以很方便的與其他形式的特征向量進行聯(lián)合,；
SIFT結(jié)合FLANN
特征點檢測–SURF
■ 1. 用Hessian矩陣構(gòu)造高斯金字塔尺度空間構(gòu)建
（高斯濾波后進行矩陣計算構(gòu)建金字塔）
■ 2. 非極大值抑制初步確定特征點
■ 3. 穩(wěn)定關鍵點的精確定位 （連續(xù)空間到離散空間）
■ 4. 選取主方向 （統(tǒng)計特征點鄰域內(nèi)的harr小波特征）
■ 5. 關鍵點描述
16*4=64維
■ 6. 特征點匹配
通過LOWE的論文可知,，SIFT和SURF的速度相差一個數(shù)量級
原因
1.描述子的維度不同
SIFT是取1616的鄰域分成44的塊區(qū)域，每塊統(tǒng)計八個方向梯度,，所以為478=128維
SURF是分成16塊,，每塊統(tǒng)計25個點4個方向的小波特征，所以為16*4=64維
2.SIFT是固定高斯核,，改變圖像尺寸,； SURF固定尺寸，改變高斯核,，所以SURF可以通過同一尺寸的圖像與多個高斯核卷積并行處理
特征檢測–SURF效果圖
特征描述與匹配------SURF效果圖
上述圖片存在誤匹配點,，可以使用LM算法進行優(yōu)化同時采用RANSAC算法篩選出內(nèi)點
特征檢測------ORB
ORB特征
關鍵點：oriented FAST
描述： BRIEF
FAST:連續(xù)N個點的灰度有明顯差異
若某像素與其周圍鄰域內(nèi)足夠多的像素點相差較大，則該像素可能是角點
如下面介紹FAST-10（連續(xù)十個點超過閾值）算法步驟
算法步驟：
上圖所示,，
1.一個以像素p為中心,，半徑為3的圓上，有16個像素點（p1,、p2,、…、p16）,。
2,、定義一個閾值。計算p1,、p9,、p5、p13與中心p的像素差,，若它們的絕對值有至少3個超過閾值,，則當做候選角點，再進行下一步考察,；否則,，不可能是角點；
3,、若p是候選點,，則計算p1到p16這16個點與中心p的像素差,，若它們有至少連續(xù)10（所以為FAST-10）個超過閾值，則是角點,；否則,，不可能是角點。
4,、對圖像進行非極大值抑制：計算特征點出的FAST得分值（即score值,，也即s值），判斷以特征點p為中心的一個鄰域（如3x3或5x5）內(nèi),，計算若有多個特征點,，則判斷每個特征點的s值（16個點與中心差值的絕對值總和），若p是鄰域所有特征點中響應值最大的,，則保留,；否則，抑制,。若鄰域內(nèi)只有一個特征點（角點）,，則保留。得分計算公式如下（公式中用V表示得分,，t表示閾值）：
FAST算法實現(xiàn)起來簡單,，尤其是以速度快著稱。
oriented Fast：在FAST基礎上計算旋轉(zhuǎn)
Brief(binary robust independent elementary features)描述子:
在特征點附近隨機選取若干點對,，將所選取的點的灰度值組成一個二進制串作為特征點描述子,，用漢明距離度量
速度快，但是不具備旋轉(zhuǎn)不變性和尺度不變性,，對噪聲敏感
特征檢測–ORB
圖像匹配------暴力匹配和FLANN匹配器
圖像匹配：通過描述子的差異判斷哪些特征為同一點
暴力匹配：比較圖A的每個特征的與圖B的所有特征點的距離,，相當于輪詢
加速：快速最近鄰（FLANN）
對大數(shù)據(jù)集和高維特征進行最近鄰搜索的算法的集合，如k近鄰算法等
暴力匹配
FLANN特征點匹配
用快速近鄰方法找到特征點匹配對,，速度快,，如圖中找到了22對匹配的特征點
SURF和ORB的對比
SURF：用時0.6938s，用RANSAC算法和LM算法優(yōu)化篩選出的匹配點對為243對
ORB：用時0.1184s,，用RANSAC算法和LM算法優(yōu)化篩選出的匹配點對為80對
正如論文中所提到的,，ORB比SURF快一個數(shù)量級，SURF比SIFT快一個數(shù)量級
Self-Supervised Interest Point Detection and Description（基于深度學習）
■ 描述符具有優(yōu)良特性,，在定位場景下,，可以對季節(jié)和環(huán)境光照具有更強的魯棒性
■ 雖然深度學習目前還不能很好的支持SLAM中的幾何計算和位姿估計，但是在特征點跟蹤和匹配上可以做得很好
SLAM中的圖像配準
實時性必須強,，速度必須要快,，可以在質(zhì)量和速度之間折中
■ SIFT,SURF等特征提取方法具有較好的并行性，可通過GPU等設備加速運算,，如加速后的SIFT就滿足實時性的要求,。
■ 在目前的SLAM方案中,，ORB是質(zhì)量與性能之間較好的折中
■ ORB在平移、旋轉(zhuǎn),、縮放的變換下仍具有較好的表現(xiàn)
■ FAST和BRIEF的組合非常高效
■ 匹配的時候采用快速近似最近鄰
|
