三維掃描需要怎樣的硬件設(shè)備？又為什么需要這樣的硬件設(shè)備,？
人有兩只眼睛所以掃描儀就有兩個(gè)攝像頭,？
大一時(shí)看張廣軍著《機(jī)器視覺》簡直要死（實(shí)話,，大一時(shí)高數(shù)課上都看C語言去了,，只怪當(dāng)年太天真）…
讓我們先從光學(xué)三角測量開始。不懂什么玩意,？從大白天你目測短裙妹子的腿有多長開始……懂了吧！
既然是大白天看,，光源必不可少,。
一個(gè)良好的光照條件會讓整個(gè)掃描變得簡單,。玩過相機(jī)的都知道ISO,，高ISO會造成高噪點(diǎn),，你討厭噪點(diǎn),，三維掃描討厭噪聲。不理想的照明會造成圖像光照不均,，圖像重要細(xì)節(jié)丟失，加大圖像處理的難度并降低測量的精度。反之,，好的光照會極大地增強(qiáng)物體和背景之間的對比度,，簡化圖像分割算法,，提高物體邊緣與背景之間的變化陡峭度,，最終改善測量系統(tǒng)的測量精度,。
上帝說,，要有光，讓我們進(jìn)入上帝視角（我是無神論者 啦啦）,。
圖像坐標(biāo)系,、攝像機(jī)坐標(biāo)系,、世界坐標(biāo)系。
一張數(shù)字圖像,，經(jīng)過不同操作,，在計(jì)算機(jī)中有多種表示方法，我們這里用M * N數(shù)組來表達(dá),。M行N列的圖像中,，每一個(gè)像素的坐標(biāo)分別是該像素在數(shù)組中的行數(shù)與列數(shù)。
圖像坐標(biāo)系和我們平時(shí)接觸的坐標(biāo)系稍有不同,，它是倒過來的,。 
趁現(xiàn)在搞清楚！要不然以后OpenCV里面跑BGR圖像的時(shí)候你連怎么for循環(huán),，什么時(shí)候i++,，加幾次是一個(gè)像素都不知道！
然而,，像素是計(jì)算機(jī)中中數(shù)字圖像的單位，不是我們生活中尺子上的單位,。
像素和毫米,，怎么轉(zhuǎn)換,？
我們終于要提到相機(jī)了,。
攝像機(jī)坐標(biāo)系的原點(diǎn)O,，定義在攝像機(jī)光軸與圖像平面的焦點(diǎn),，定義在圖像的正中間。
用u,、v來表示以像素為單位的圖像坐標(biāo)系坐標(biāo),；以X,、Y表示以毫米為單位的圖像坐標(biāo)系坐標(biāo)；以dX,、dY來表示物理尺寸。則圖像中任意一個(gè)像素在兩個(gè)坐標(biāo)系下的坐標(biāo)有如下關(guān)系：
若O在u,、v坐標(biāo)系（u0, v0）處,，則 
化為矩陣形式： 
攝像機(jī)成像幾何關(guān)系如圖所示。 
O點(diǎn)：相機(jī)光心,。
z軸：光軸,，與圖像平面垂直。
O1：光軸與圖像平面的焦點(diǎn),，為圖像坐標(biāo)系的原點(diǎn),。
O與x,、y,、z組成的直角坐標(biāo)系稱為攝像機(jī)坐標(biāo)系,。
OO1為焦距,。
上帝視角：世界坐標(biāo)系。
攝像機(jī)是可以被比較隨意的安放的,，但是,！你需要選擇一個(gè)基準(zhǔn)坐標(biāo)系,，用它來描述相機(jī)的位置,。
這就是世界坐標(biāo)系,。
攝像機(jī)坐標(biāo)系和世界坐標(biāo)系之間的關(guān)系可以用旋轉(zhuǎn)矩陣和平移向量來描述。
我們必須認(rèn)識到一點(diǎn)：你手持kinect的時(shí)候，你知道你在動(dòng),，你的電腦不知道你在動(dòng)。你第一次捕捉的點(diǎn)云是一個(gè)點(diǎn)云,，動(dòng)一動(dòng)，第二次捕捉的時(shí)候，你知道兩個(gè)點(diǎn)云的位置關(guān)系變了,，然而你的電腦不知道,，兩個(gè)點(diǎn)云直接疊在一起,。必須讓電腦知道,，掃描儀在世界坐標(biāo)系的位置有變化,，并處理變化,。
針孔成像模型
什么時(shí)代了！還針孔成像,！
公元前4世紀(jì),，墨家就做過針孔成像的實(shí)驗(yàn)，并給予分析和解釋,。
但是,，我們的相機(jī)，應(yīng)該都是針孔相機(jī)吧……
針孔成像模型又被稱為線性成像模型,。
任何點(diǎn)P在圖像中的投影位置p,，為OP與平面的焦點(diǎn)。
由比例關(guān)系可知： 
(X,Y)：p點(diǎn)的圖像坐標(biāo),。
(x,y,z)：空間P點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo),。
f：xy平面與圖像平面的距離,，也就是焦距,。
每一個(gè)相機(jī)都有相關(guān)的參數(shù),，這被稱為相機(jī)的內(nèi)部參數(shù),；攝像機(jī)相對于世界坐標(biāo)系也有相關(guān)參數(shù),，稱為外部參數(shù),。確定相機(jī)的內(nèi)外參數(shù),，稱為相機(jī)定標(biāo),。
在知道了相機(jī)的內(nèi)外參數(shù)后,，對任意空間點(diǎn)P，如果已知它的坐標(biāo),，就可以求出像素點(diǎn)p的位置,。但是！反過來就不行。如果已知p就不能求出P,。
畸變
是個(gè)鏡頭就有畸變,?；冊砥鋵?shí)也挺好理解,，就不詳細(xì)闡述了?？梢圆椴镸atlab、OpenCV是怎么去畸變的,，PS也有去畸變的能力。
現(xiàn)在 我們進(jìn)入兩個(gè)攝像頭的世界
人有兩眼,，兩眼沒長在一起,，導(dǎo)致左邊看左邊一點(diǎn),，右邊看右邊一點(diǎn),。這就對了,！就是用視差來進(jìn)行三維信息的獲取噠！
雙目立體視覺是基于視差,，由三角測量法進(jìn)行三維信息的獲取,，即由兩個(gè)攝像機(jī)的圖像平面,，和被測物體之間構(gòu)成一個(gè)三角形,。已知兩攝像機(jī)之間的位置關(guān)系,，便可以獲取兩攝像機(jī)公共視場內(nèi)物體的三維尺寸以及空間物體特征點(diǎn)的三維坐標(biāo),。 
原理圖如圖所示,。
左右眼同時(shí)獲取了P的圖像,，他們的圖像坐標(biāo)分別為pleft=(Xleft,Yleft),、pright=(Xright,Yright)。
當(dāng)圖像處于一個(gè)平面,，Yleft=Yright=Y時(shí),，由三角關(guān)系可得： 
視差為：Disparity=Xleft-Xright，由此可得P點(diǎn)在攝像機(jī)坐標(biāo)下的三維坐標(biāo)為： 
因此,，左攝像機(jī)像面上的任意一點(diǎn)只要能在右攝像機(jī)像面上找到對應(yīng)的匹配點(diǎn),，就可以確定該點(diǎn)的三維坐標(biāo)。
雙目立體視覺的精度分析
設(shè)：焦距f1,、f2,。
········光軸與x軸夾角為a1、a2,。
········小于相機(jī)的視場角的投影角為w1,、w2。 
經(jīng)過分析,，可以得出以下結(jié)論：
（1）兩臺相機(jī)的有效焦距f1,、f2越大，視覺系統(tǒng)的精度越高,。建議使用長焦鏡頭,。
（2）三角形底邊叫做基線距。當(dāng)它增大時(shí),，對掃描精度有影響,。
（3）位于光軸上的點(diǎn)，測量精度最低,。
放松一下 去喝口水
Kinect——讓我們領(lǐng)略紅外光柵的魅力
Kinect 是微軟公司 2010 年推出的一款 XBOX360 體感外部設(shè)備,，是目前世界上一款較為成熟的商業(yè)人體動(dòng)作感知設(shè)備，目前大量的應(yīng)用在體感游戲上,。微軟與伊朗 PrimeSense 公司合作,，以廉價(jià)的成本實(shí)現(xiàn)了深度攝像頭的功能，通過深度攝像頭和ＲGB彩色信息以及相控陣麥克風(fēng)提供的信息,，使得 Xbox 可以感知和識別玩家及其運(yùn)動(dòng),，進(jìn)而操控游戲中的人物，提高游戲的可玩性,。
Kinect 傳感器的主要硬件組成
（1）紅外攝影機(jī)：主動(dòng)投射近紅外光譜,，照射到粗糙物體、或是穿透毛玻璃后,，光譜發(fā)生扭 曲,，會形成隨機(jī)的反射斑點(diǎn)，即散斑,，進(jìn)而能被紅外攝像頭讀取,。
（2）紅外攝像頭：分析紅外光譜，創(chuàng)建可視 范圍內(nèi)的人體,、物體的深度圖像,。
（3）彩色攝像頭: 用于拍攝視角范圍內(nèi)的彩色視頻圖像。
Kinect 作為一個(gè)傳感器,，本質(zhì)上也只是一個(gè)輸入設(shè)備,。它能提供深度數(shù)據(jù)流、彩色視頻流,。
它發(fā)射,、捕捉、視覺重建的過程,，它的是有紅外投影機(jī)和紅外攝像頭組成的,，投影接收互為重疊。
微軟 Kinect 深度圖想采用的是 Light Coding技術(shù),，就是用光源照明給需要測量的空間編碼,，屬于結(jié)構(gòu)光技術(shù)的一種，只是深度計(jì)算方式不一 樣,。Light Coding的光源稱為“激光散斑”,，是激光照射到粗糙物體或穿透毛玻璃后隨即形成的衍射斑點(diǎn),。這些散斑具有高度的隨機(jī)性，而且會隨 著距離的不同而變換圖案,。即空間中任意兩處的散斑圖案都是不同的,。只要在空間中打上這樣的 結(jié)構(gòu)光，整個(gè)空間就都被做了標(biāo)記,，把一個(gè)物體放進(jìn)這個(gè)空間,，只要看看物體上面的散斑圖案， 就可以知道這個(gè)物體在什么位置了,。在這之前要把整個(gè)空間的散斑圖案都記錄下來,，所以要先做 一次光源標(biāo)定。標(biāo)定的方法是每隔一段距離,，取一個(gè)參考平面,，把參考平面上的散斑圖案記錄下 來。
即使不開燈,，Kinect也能夠正常工作（彩色攝像頭就尷尬了）,，
然而，在大太陽天的室外,，就不要裝B了,，kinect 會瞎的，親測,。
激光源投射出的一束紅外激光,，經(jīng)過衍射光柵的衍射作用，被分成多束,，在空間中形成 了一個(gè)隨深度改變而變化的散斑圖案,。紅外接收相機(jī)接收該散斑圖案，并與參考圖案進(jìn)行相關(guān)運(yùn)算生成包含深度信息的視差圖,。其中,，參考圖案是存儲在Kinect傳感器里面的已知距離上的散斑圖案。
假定目標(biāo) o 在距傳感器距離為 z0 的參考平面上,，紅外相機(jī)捕捉到目標(biāo) o 處的激光散斑在紅外圖像上成像的位置為 n,。當(dāng)目標(biāo)的深度發(fā) 生變化時(shí)，圖像上激光散斑的位置 n 就會沿 X 軸移 動(dòng)到 m,。測量出散斑 k 在圖像上的視差 dk,，那么：
式中，zk 表示目標(biāo)距傳感器的深度,，b 指基線長度,，f 指的是線外相機(jī)的焦距。D 是點(diǎn) k 在物空間的位移,，dk 是在紅外圖像上的視差,。
帶入D,，可得
若固定參量 z0，f 和 b 已通過標(biāo)定獲得,，則可由觀測的視差推導(dǎo)出深度信息,。
我個(gè)人的項(xiàng)目中使用了Kinect，導(dǎo)師的項(xiàng)目使用了大恒的工業(yè)相機(jī),。
我的意思是：該用什么,，就用什么,。
Kinect和雙目的選擇之我見
一般認(rèn)為,，雙目結(jié)構(gòu)光掃描儀和被測物體間的距離比較近時(shí)，掃描精度較高,。
本點(diǎn)云使用makerbot digitizer掃描得來
而Kinect稍有不同,，通過深度圖可以看出來：
過近的距離和過遠(yuǎn)的距離，在深度圖上顯示的都是黑色,。因?yàn)镵inect已經(jīng)無法探測到那里了,。
所以
如果你想掃一個(gè)人，Kinect完全可以做到,。
如果你需要掃描一個(gè)飛機(jī)發(fā)動(dòng)機(jī)葉片,，Kinect無法擔(dān)此重任。
如果你想通過體感和底層硬件交互,，Kinect是你的不二選擇,。
參考內(nèi)容
《機(jī)器視覺》張廣軍
《Kinect傳感器的彩色和深度相機(jī)標(biāo)定》郭連朋
《Kinect技術(shù)與工作原理的研究》石曼銀
