1,、MISF - 多傳感器信息融合基礎(chǔ)解析
1.1 基本概念 利用計(jì)算機(jī)技術(shù)將多傳感器或多源的信息和數(shù)據(jù),，在一定的準(zhǔn)則下加以自動(dòng)分析和綜合，以完成所需的決策和估計(jì)而進(jìn)行的信息處理過(guò)程,；多傳感器信息融合是用于包含處于不同位置的多個(gè)或者多種傳感器的信息處理技術(shù),； 1.2 融合層次（級(jí)別） 在多傳感器信息融合中，按其在融合系統(tǒng)中信息處理的抽象程度可分為三個(gè)層次：數(shù)據(jù)級(jí)融合,、特征級(jí)融合和決策級(jí)融合,； —— 也稱為像素級(jí)融合，屬于底層數(shù)據(jù)融合,；將多個(gè)傳感器的原始觀測(cè)數(shù)據(jù)(raw data)直接進(jìn)行融合,，然后再?gòu)娜诤蠑?shù)據(jù)中提取特征向量進(jìn)行判斷識(shí)別；—— 數(shù)據(jù)級(jí)融合要求多個(gè)傳感器是同質(zhì)的（傳感器觀測(cè)的是同一物理量）,，否則需要進(jìn)行尺度校準(zhǔn),。—— 數(shù)據(jù)級(jí)融合不存在數(shù)據(jù)丟失的問(wèn)題，得到的結(jié)果也作為準(zhǔn)確,；但是計(jì)算量大,，對(duì)系統(tǒng)通信帶寬要求較高； 
圖1. 多傳感器數(shù)據(jù)級(jí)融合基本原理示意圖 屬于中間層次級(jí)融合,，先從每個(gè)傳感器提供的原始觀測(cè)數(shù)據(jù)中提取代表性的特征,，再把這些特征融合成單一的特征向量；其中選擇合適的特征進(jìn)行融合是關(guān)鍵,；特征信息包括邊緣,、方向、速度,、形狀等,。特征層融合可劃分為兩大類：目標(biāo)狀態(tài)融合,、目標(biāo)特性融合。目標(biāo)狀態(tài)融合：主要應(yīng)用于多傳感器的目標(biāo)跟蹤領(lǐng)域,；融合系統(tǒng)首先對(duì)傳感器數(shù)據(jù)進(jìn)行預(yù)處理以完成數(shù)據(jù)配準(zhǔn),，在數(shù)據(jù)配準(zhǔn)之后，融合處理主要實(shí)現(xiàn)參數(shù)關(guān)聯(lián)和狀態(tài)估計(jì),。 目標(biāo)特性融合：就是特征層聯(lián)合識(shí)別,，它的實(shí)質(zhì)就是模式識(shí)別問(wèn)題；在融合前必須先對(duì)特征進(jìn)行關(guān)聯(lián)處理,，再對(duì)特征矢量分類成有意義的組合,； 在融合的三個(gè)層次中，特征層融合技術(shù)發(fā)展較為完善,，并且由于在特征層已建立了一整套的行之有效的特征關(guān)聯(lián)技術(shù),，可以保證融合信息的一致性；此級(jí)別融合對(duì)計(jì)算量和通信帶寬要求相對(duì)降低,，但由于部分?jǐn)?shù)據(jù)的舍棄使其準(zhǔn)確性也有所下降,。 
圖2. 多傳感器特征級(jí)融合基本原理示意圖 3）決策級(jí)融合 —— 屬于高層次級(jí)融合，是對(duì)數(shù)據(jù)高層次級(jí)的抽象,，輸出是一個(gè)聯(lián)合決策結(jié)果,，在理論上這個(gè)聯(lián)合決策應(yīng)比任何單傳感器決策更精確或更明確；—— 決策層融合在信息處理方面具有很高的靈活性,，系統(tǒng)對(duì)信息傳輸帶寬要求很低,，能有效地融合反映環(huán)境或目標(biāo)各個(gè)側(cè)面的不同類型信息，而且可以處理非同步信息,；—— 由于環(huán)境和目標(biāo)的時(shí)變動(dòng)態(tài)特性,、先驗(yàn)知識(shí)獲取的困難,、知識(shí)庫(kù)的巨量特性,、面向?qū)ο蟮南到y(tǒng)設(shè)計(jì)要求等，決策層融合理論與技術(shù)的發(fā)展仍受到一定的限制,；
圖3. 多傳感器決策級(jí)融合基本原理示意圖 1.3 體系結(jié)構(gòu) 根據(jù)對(duì)原始數(shù)據(jù)處理方法的不同,，多傳感器信息融合系統(tǒng)的體系結(jié)構(gòu)可分為三種：集中式、分布式和混合式,。1）集中式 — 將各傳感器獲得的原始數(shù)據(jù)直接送到中央處理器進(jìn)行融合處理,，可以實(shí)現(xiàn)實(shí)時(shí)融合； 
優(yōu)點(diǎn)： 結(jié)構(gòu)簡(jiǎn)單,，其數(shù)據(jù)處理的精度高,，算法靈活，融合速度快,；缺點(diǎn)：a,、各傳感器的流向是由低層向融合中心單向流動(dòng),，各傳感器之間缺乏必要的聯(lián)系；b,、中央處理器計(jì)算和通信負(fù)擔(dān)過(guò)重,，系統(tǒng)容錯(cuò)性差，系統(tǒng)可靠性較低,；2）分布式 — 先對(duì)各個(gè)獨(dú)立傳感器所獲得的原始數(shù)據(jù)進(jìn)行局部處理,，然后再將結(jié)果送入中央處理器進(jìn)行融合處理來(lái)獲得最終的結(jié)果； 
優(yōu)點(diǎn)：a,、每個(gè)傳感器都具有估計(jì)全局信息的能力,，任何一種傳感器失效都不會(huì)導(dǎo)致系統(tǒng)崩潰，系統(tǒng)可靠性和容錯(cuò)性高,；b,、對(duì)通信帶寬要求低，計(jì)算速度快,，可靠性和延續(xù)性好,；缺點(diǎn)：a、傳感器模塊需要具備應(yīng)用處理器,，這樣的話自身的體積將更大,，功耗也就更高；b,、中央處理器只能獲取各個(gè)傳感器經(jīng)過(guò)處理后的對(duì)象數(shù)據(jù),，而無(wú)法訪問(wèn)原始數(shù)據(jù)；因此,，想要“放大”感興趣的區(qū)域?qū)⒑茈y實(shí)現(xiàn),；3）混合式 — 集中式和分布式的混合應(yīng)用，即部分傳感器采用集中式融合方式,，剩余的傳感器采用分布式融合方式,；  圖6. 混合式體系結(jié)構(gòu)示意圖 特點(diǎn)： a、兼顧了集中式融合和分布式的優(yōu)點(diǎn),，穩(wěn)定性強(qiáng),，且具有較強(qiáng)的使用能力； b,、對(duì)通信帶寬和計(jì)算能力要求較高,； 2、自動(dòng)駕駛感知模塊多傳感器數(shù)據(jù)融合1）運(yùn)動(dòng)補(bǔ)償 —— ego motion 自身運(yùn)動(dòng)補(bǔ)償即考慮傳感器在采集過(guò)程中的某一時(shí)間戳內(nèi),，由于車輛自身的運(yùn)動(dòng),，采集的對(duì)象會(huì)在該時(shí)間戳內(nèi)發(fā)生相對(duì)位移變化；例如：以激光雷達(dá)為例,，采集一圈需要0.1s,，在這0.1s內(nèi),，車身本身會(huì)發(fā)生一定的位移，如果不考慮車輛本身位移的情況,，檢測(cè)出來(lái)的目標(biāo)位置就會(huì)產(chǎn)生較大誤差,；—— motion from others 來(lái)自于其他目標(biāo)的運(yùn)動(dòng)補(bǔ)償即考慮傳感器在采集過(guò)程中的某一時(shí)間戳內(nèi)，運(yùn)動(dòng)物體由于自身運(yùn)動(dòng)會(huì)產(chǎn)生相對(duì)位移變化,；2）時(shí)間同步 通過(guò)統(tǒng)一的主機(jī)給各個(gè)傳感器提供基準(zhǔn)時(shí)間,，各傳感器根據(jù)已經(jīng)校準(zhǔn)后的各自時(shí)間為各自獨(dú)立采集的數(shù)據(jù)加上時(shí)間戳信息，以做到所有傳感器時(shí)間戳同步,；但由于各個(gè)傳感器各自采集周期相互獨(dú)立,，無(wú)法保證同一時(shí)刻采集相同的信息。  圖7. 以GPS時(shí)間戳為基準(zhǔn)的時(shí)間同步方法示意圖在很多自動(dòng)駕駛車輛的傳感器中,，大部分支持GPS時(shí)間戳的時(shí)間同步方法,；3）空間同步 將不同傳感器坐標(biāo)系的測(cè)量值轉(zhuǎn)換到同一個(gè)坐標(biāo)系中；—— 傳感器標(biāo)定是自動(dòng)駕駛的基本需求,，良好的標(biāo)定是多傳感器融合的基礎(chǔ), 自動(dòng)駕駛車輛上的多個(gè)/多種傳感器之間的坐標(biāo)關(guān)系是需要確定的,。—— 外參是決定傳感器和外部某個(gè)坐標(biāo)系的轉(zhuǎn)換關(guān)系，比如姿態(tài)參數(shù),。例如：攝像機(jī)和雷達(dá)的融合,， 需要建立精確的雷達(dá)坐標(biāo)系、三維世界坐標(biāo)系,、攝像機(jī)坐標(biāo)系,、圖像坐標(biāo)系和像素坐標(biāo)系之間的坐標(biāo)轉(zhuǎn)換關(guān)系；
圖8. 激光雷達(dá)和相機(jī)聯(lián)合標(biāo)定示意圖1）毫米波雷達(dá)和攝像頭數(shù)據(jù)融合基本思路 —— 這兩種傳感器相融合,，多數(shù)情況下都是以攝像頭數(shù)據(jù)為主,，毫米波雷達(dá)作為輔助；—— 將毫米波雷達(dá)返回的目標(biāo)點(diǎn)投影到圖像上,，圍繞該點(diǎn)并結(jié)合先驗(yàn)知識(shí),，生成一個(gè)矩形的感興趣區(qū)域，然后我們只對(duì)該區(qū)域內(nèi)進(jìn)行目標(biāo)檢測(cè),。—— 他們?nèi)诤系膬?yōu)點(diǎn)是可以迅速地排除大量不會(huì)有目標(biāo)的區(qū)域,，極大地提高識(shí)別速度,。2）攝像頭和激光雷達(dá)數(shù)據(jù)融合基本思路—— 障礙物的檢測(cè)可以使用激光雷達(dá)進(jìn)行物體聚類,，但是對(duì)于較遠(yuǎn)物體過(guò)于稀疏的激光線數(shù)聚類的效果較差，因此利用視覺圖像信息進(jìn)行目標(biāo)檢測(cè),，進(jìn)而獲取障礙物的位置,，同時(shí)視覺還可以給出障礙物類別信息；—— 融合的關(guān)鍵是需要將攝像頭和激光雷達(dá)進(jìn)行聯(lián)合標(biāo)定,，獲取兩者坐標(biāo)系的空間轉(zhuǎn)換關(guān)系,；可以通過(guò)標(biāo)定的方式,，把激光雷達(dá)投射到圖像的坐標(biāo)系中，建立圖像的像素點(diǎn),，和激光雷達(dá)投影后的點(diǎn)之間做匹配,，然后通過(guò)某種優(yōu)化方程，來(lái)解決匹配問(wèn)題,；—— 激光雷達(dá)可以得到目標(biāo)的3D 數(shù)據(jù)（x, y , z),，通過(guò)標(biāo)定參數(shù)，以及相機(jī)本身的內(nèi)參,，可以把激光雷達(dá)的3D點(diǎn)投射到圖像上,，圖像上的某些像素就會(huì)獲得激光雷達(dá)的深度信息，然后便可以做基于圖像的分割或者深度學(xué)習(xí)模型,；—— 融合過(guò)程中的時(shí)候,，因?yàn)閮烧咭晥?chǎng)角的不同，可能會(huì)造成噪點(diǎn)或者漏點(diǎn),； 
圖9. 相機(jī)和激光雷達(dá)融合效果示意圖
3）激光雷達(dá)和毫米波雷達(dá)融合的基本思路
激光雷達(dá)和毫米波雷達(dá)需要融合的數(shù)據(jù)主要是車輛的位置和速度信息,；這些信息僅由笛卡爾坐標(biāo)系下的（x，y）數(shù)據(jù)便可求出,；因這兩種傳感器均可測(cè)得完整的( x,，y )信息，無(wú)需做其他復(fù)雜處理,，因此此兩者信息融合相對(duì)來(lái)說(shuō)比較簡(jiǎn)單,，1、多角度解析為什么自動(dòng)駕駛需要多傳感器深度融合 - 小馬智行PonyAI 2,、視覺激光雷達(dá)信息融合與聯(lián)合標(biāo)定 - Coulson的博客（CSDN）3,、自動(dòng)駕駛系列報(bào)告之四 （傳感器篇）- 新能源與汽車研究中心4、毫米波雷達(dá)與視覺融合：聯(lián)合標(biāo)定及外參標(biāo)定問(wèn)題
|
