圖像數(shù)據(jù)與點(diǎn)云數(shù)據(jù)的比較

        基于圖像和點(diǎn)云融合的感知任務(wù)及其相應(yīng)部分

相機(jī)-激光雷達(dá)融合不是一個(gè)簡單的任務(wù),。首先，攝影機(jī)通過將真實(shí)世界投影到圖像平面來記錄真實(shí)環(huán)境，而點(diǎn)云則保留了三維幾何圖形,。此外,，在數(shù)據(jù)結(jié)構(gòu)上，點(diǎn)云是不規(guī)則的,、無序的,、連續(xù)的，而圖像是規(guī)則的,、有序的,、離散的。點(diǎn)云和圖像的這些特征差異導(dǎo)致了不同的特征提取方法,。在圖1中,，比較了圖像和點(diǎn)的特征。先前關(guān)于多模數(shù)據(jù)融合深度學(xué)習(xí)方法的綜述涵蓋了廣泛的傳感器,，包括雷達(dá),、攝像機(jī)、激光雷達(dá),、超聲波,、IMU、里程表,、GNSS和HD地圖,。

本文只關(guān)注相機(jī)融合，因此能夠?qū)Ω鞣N方法進(jìn)行更詳細(xì)的綜述,。此外,，我們還涵蓋了更廣泛的感知相關(guān)主題（深度完成、動(dòng)態(tài)和靜態(tài)目標(biāo)檢測,、語義分割,、跟蹤和在線交叉?zhèn)鞲衅餍?zhǔn)），這些主題是相互關(guān)聯(lián)的,。本文的主要貢獻(xiàn)如下：

·據(jù)我們所知,，本文首次對自主駕駛中基于深度學(xué)習(xí)的圖像和點(diǎn)云融合方法進(jìn)行了研究，包括深度完成,、動(dòng)態(tài)和靜態(tài)目標(biāo)檢測,、語義分割、圖像融合,、圖像融合、點(diǎn)云融合等,，跟蹤和在線交叉?zhèn)鞲衅餍?zhǔn),。

·本文根據(jù)融合方法對方法進(jìn)行了組織和評(píng)審。此外，本文還介紹了最新的（2014-2020年）最新的相機(jī)-激光雷達(dá)融合方法的概述和性能比較,。

·本文提出了一些被忽視的開放性問題,，如開放檢測和傳感器不可知論框架，這些問題對于自主駕駛技術(shù)的實(shí)際應(yīng)用至關(guān)重要,。

關(guān)于點(diǎn)云的深度學(xué)習(xí)分類可以查看以下文章：

三維點(diǎn)云語義分割總覽

【論文速讀】點(diǎn)云深度學(xué)習(xí)論文綜述

【論文速讀】2020最新點(diǎn)云深度學(xué)習(xí)綜述

深度估計(jì)模型是一種通過將稀疏的點(diǎn)云通過上采樣的方法生成稠密有規(guī)則的深度值（點(diǎn)云），這樣生成的點(diǎn)云更加有利于后期的感知模塊的實(shí)現(xiàn),，這種模型可以改善激光雷達(dá)掃描得到的點(diǎn)云的不均勻分布。這種上采樣的方法通常是通過高分辨率的圖像作為輔助條件來完成稠密深度值得生成。該圖說明了不同的層次的深度值生成方案的時(shí)間線,。

圖給出了深度估計(jì)模型的時(shí)間軸及其相應(yīng)的融合方法

圖像引導(dǎo)深度完值估計(jì)背后的思想是密集的RGB/顏色信息包含相關(guān)的3D幾何信息,。因此，圖像可以作為深度采樣的參考,。

二,，單目和激光雷達(dá)的融合：

1）信號(hào)級(jí)融合：2018年，Ma等人提出了一種基于ResNet的自動(dòng)編碼器網(wǎng)絡(luò),，該網(wǎng)絡(luò)利用RGBD圖像（即與稀疏深度圖連接的圖像）來預(yù)測密集深度圖,。為了實(shí)時(shí)生成清晰的密集深度圖，Cheng等人將RGB-D圖像傳送到卷積空間傳播網(wǎng)絡(luò)（CSPN）,。

2） 特征級(jí)融合：Jaritz等人提出了一種自動(dòng)編碼器網(wǎng)絡(luò),，它可以在不應(yīng)用有效性掩碼的情況下，從稀疏深度圖和圖像中執(zhí)行深度完成或語義分割,。圖像和稀疏深度圖首先由兩個(gè)基于NASNet的并行編碼器進(jìn)行處理,，然后將它們?nèi)诤系焦蚕斫獯a器中。這種方法可以在非常稀疏的深度輸入（8通道激光雷達(dá)）下獲得良好的性能,。

GuideNet將圖像特征融合到編碼器不同階段的稀疏深度特征,，引導(dǎo)稀疏深度的上采樣，在KITTI深度完成基準(zhǔn)中達(dá)到了最高性能,。這些方法的局限性在于缺乏具有密集深度-地面真實(shí)性的大規(guī)模數(shù)據(jù)集,。

3） 多層次融合：Van Gansbeke等人]在圖像引導(dǎo)深度完成網(wǎng)絡(luò)中進(jìn)一步結(jié)合了信號(hào)級(jí)融合和特征級(jí)融合。該網(wǎng)絡(luò)由一個(gè)全局分支和一個(gè)局部分支組成,，對RGB-D數(shù)據(jù)和深度數(shù)據(jù)進(jìn)行并行處理,，然后根據(jù)置信圖進(jìn)行融合。

三,，立體相機(jī)和激光雷達(dá)融合

與RGB圖像相比,，立體相機(jī)的密集深度視差包含了更豐富的地面真實(shí)三維幾何結(jié)構(gòu)。另一方面,，激光雷達(dá)的深度是稀疏的,，但精度較高,。這些互補(bǔ)特性使得基于立體激光雷達(dá)融合的深度完成模型能夠產(chǎn)生更精確的密集深度。不過,，值得注意的是,，立體攝像頭的射程有限，在高遮擋,、無紋理的環(huán)境中也會(huì)遇到困難,。

四，動(dòng)態(tài)物體的檢測

目標(biāo)檢測（3D）的目標(biāo)是在三維空間中定位,、分類和估計(jì)有方向的邊界框,。本節(jié)致力于動(dòng)態(tài)目標(biāo)檢測，包括常見的動(dòng)態(tài)道路對象（汽車,、行人,、騎車人等）。目標(biāo)檢測有兩種主要方法：順序檢測和單步檢測,?；谛蛄械哪Ｐ桶磿r(shí)間順序由預(yù)測階段和三維邊界框（bbox）回歸階段組成。在預(yù)測階段,，提出可能包含感興趣對象的區(qū)域,。在bbox回歸階段，基于從三維幾何中提取的區(qū)域特征對這些建議進(jìn)行分類,。然而,，序列融合的性能受到各個(gè)階段的限制。另一方面,，一步模型由一個(gè)階段組成,，其中二維和三維數(shù)據(jù)以并行方式處理。圖4和圖5顯示了3D目標(biāo)檢測網(wǎng)絡(luò)和典型模型結(jié)構(gòu)的時(shí)間線,。

三維目標(biāo)檢測網(wǎng)絡(luò)的時(shí)間軸及其相應(yīng)的融合方法

三種典型動(dòng)態(tài)目標(biāo)檢測模型體系結(jié)構(gòu)的比較

顯示了在KITTI 3D物體檢測基準(zhǔn)上的3D物體檢測模型的比較結(jié)果

總結(jié)和比較了動(dòng)態(tài)目標(biāo)檢測模型

五,，道路靜止目標(biāo)檢測

基于相機(jī)-激光雷達(dá)融合的靜止道路目標(biāo)檢測方法的最新進(jìn)展。固定道路對象可分為道路上的物體（例如路面和道路標(biāo)記）和越野物體（例如交通標(biāo)志）,。道路和越野物體為自動(dòng)駕駛車輛提供法規(guī),、警告禁令和指導(dǎo)。

下圖比較了車道/道路檢測和交通標(biāo)志識(shí)別（TSR）的典型模型結(jié)構(gòu),。

道路/車道檢測的幾種典型模型結(jié)構(gòu)及融合方法

一種典型的基于融合的交通標(biāo)志識(shí)別流程

kitti數(shù)據(jù)集上不同模型的比較結(jié)果,，并對這些模型進(jìn)行了總結(jié)和比較

六，語義分割

現(xiàn)有的攝像機(jī)-激光雷達(dá)融合方法的二維語義分割,、三維語義分割和實(shí)例分割,。2D/3D語義分割的目的是預(yù)測每像素和每點(diǎn)的類標(biāo)簽，而實(shí)例分割也關(guān)注單個(gè)實(shí)例,。

下圖展示了3D語義分割網(wǎng)絡(luò)和典型模型架構(gòu)的時(shí)間軸,。

三維語義分割網(wǎng)絡(luò)的時(shí)間軸及其相應(yīng)的融合方法

語義分割的幾種典型模型結(jié)構(gòu)與融合方法

七,，目標(biāo)跟蹤

多目標(biāo)跟蹤（Multiple object tracking，MOT）的目標(biāo)是保持目標(biāo)的身份,，并在數(shù)據(jù)幀間（隨著時(shí)間的推移）跟蹤它們的位置，這對于自主車輛的決策是必不可少的,。為此,，本節(jié)回顧了基于cameraldar融合的目標(biāo)跟蹤方法?；谀繕?biāo)初始化方法,，MOT算法可以分為基于檢測的跟蹤（DBT）和無檢測跟蹤（DFT）兩種框架。DBT或tracking by detection框架利用對象檢測器產(chǎn)生的一系列對象假設(shè)和更高層次的線索來跟蹤對象,。在DBT中,，通過數(shù)據(jù)（檢測序列）關(guān)聯(lián)或多假設(shè)跟蹤來跟蹤目標(biāo)。相反,，DFT框架是基于有限集統(tǒng)計(jì)（fist）進(jìn)行狀態(tài)估計(jì)的,。常用的方法有多目標(biāo)多貝努利（成員）濾波和概率假設(shè)密度（PHD）濾波。

不同模型在KITTI多目標(biāo)跟蹤基準(zhǔn)（car）上的性能,，提供了DBT和DFT方法之間的比較,。

基于檢測的跟蹤（DBT）和無檢測跟蹤（DFT）方法的比較

八，在線交叉?zhèn)鞲衅餍?zhǔn)

相機(jī)-激光雷達(dá)融合管道的先決條件之一是傳感器之間的無缺陷注冊/校準(zhǔn),，這可能很難滿足,。由于機(jī)械振動(dòng)和熱波動(dòng)，傳感器之間的校準(zhǔn)參數(shù)會(huì)不斷變化,。由于大多數(shù)融合方法對校準(zhǔn)誤差非常敏感,，這可能嚴(yán)重削弱其性能和可靠性。此外,，離線校準(zhǔn)是一個(gè)麻煩和耗時(shí)的過程,。因此，研究交叉?zhèn)鞲衅髟诰€自動(dòng)標(biāo)定具有重要的實(shí)用價(jià)值,。

A,、 經(jīng)典的在線校準(zhǔn)

在線校準(zhǔn)方法在沒有校準(zhǔn)目標(biāo)的情況下，估計(jì)自然環(huán)境中的外源性,。許多研究[124][125][126][127]通過最大化不同模式之間的互信息（MI）（原始強(qiáng)度值或邊緣強(qiáng)度）來發(fā)現(xiàn)外部性,。然而，基于MI的方法對于紋理豐富的環(huán)境,、較大的去校準(zhǔn)和傳感器位移引起的遮擋不具有魯棒性,。或者,，基于激光雷達(dá)的視覺里程計(jì)方法[128]使用相機(jī)的自我運(yùn)動(dòng)來估計(jì)和評(píng)估相機(jī)激光雷達(dá)的外部參數(shù),。盡管如此,，[128]仍然難以進(jìn)行大規(guī)模的去校準(zhǔn)，無法實(shí)時(shí)運(yùn)行,。

B,、 基于DL的在線校準(zhǔn)緩解了上述挑戰(zhàn)，Schneider等人,。[129]設(shè)計(jì)了一個(gè)實(shí)時(shí)能力的CNN（RegNet）來估計(jì)外部性,，它是在隨機(jī)的去纖維數(shù)據(jù)上訓(xùn)練的。該方法將圖像和深度特征分成兩個(gè)平行的分支,，并將它們串聯(lián)起來生成融合后的特征映射,。融合后的特征映射被輸入到網(wǎng)絡(luò)中的網(wǎng)絡(luò)（NiN）模塊和兩個(gè)完全連接的層中，用于特征匹配和全局回歸,。然而,，RegNet對傳感器的固有參數(shù)是不可知的，一旦這些內(nèi)在參數(shù)發(fā)生變化,，就需要重新訓(xùn)練,。為了解決這個(gè)問題，口徑網(wǎng)[130]學(xué)會(huì)了以一種自我監(jiān)督的方式最小化失調(diào)深度和目標(biāo)深度之間的幾何和光度不一致性,。因?yàn)閮?nèi)部函數(shù)只在3D空間變換器中使用,，所以校準(zhǔn)網(wǎng)絡(luò)可以應(yīng)用于任何內(nèi)部校準(zhǔn)的相機(jī)。然而,，基于深度學(xué)習(xí)的交叉?zhèn)鞲衅餍?zhǔn)方法計(jì)算量大。

九,，趨勢、開放的挑戰(zhàn)和有希望的方向

無人駕駛汽車中的感知模塊負(fù)責(zé)獲取和理解其周圍的場景,。它的下游模塊,，如計(jì)劃、決策和自我定位,，都依賴于它的輸出,。因此，它的性能和可靠性是整個(gè)無人駕駛系統(tǒng)能否勝任的先決條件,。為此,，應(yīng)用激光雷達(dá)和攝像機(jī)融合技術(shù)提高感知系統(tǒng)的性能和可靠性，使無人駕駛車輛更能理解復(fù)雜場景（如城市交通,、極端天氣條件等）,。因此，在本節(jié)中,，我們將總結(jié)總體趨勢,，并討論這方面存在的挑戰(zhàn)和潛在的影響因素,。

如表所示,，我們的重點(diǎn)是提高融合方法的性能和融合管道的魯棒性,。

從上述方法中,，我們觀察到圖像和點(diǎn)云融合方法的一些普遍趨勢,，總結(jié)如下：

·二維到三維：隨著三維特征提取方法的發(fā)展,，在三維空間中對物體進(jìn)行定位,、跟蹤和分割已成為研究的熱點(diǎn)。

·單任務(wù)到多任務(wù)：最近的一些工作[73][122]結(jié)合了多個(gè)互補(bǔ)任務(wù),，如目標(biāo)檢測,、語義分割和深度完成,，以獲得更好的整體性能并降低計(jì)算成本,。

·信號(hào)級(jí)到多級(jí)融合：早期的工作通常利用信號(hào)級(jí)融合,，其中3D幾何體被轉(zhuǎn)換到圖像平面,，以利用現(xiàn)成的圖像處理模型,，而最近的模型嘗試在多層次（例如早期融合、后期融合）和時(shí)間上下文編碼中融合圖像和激光雷達(dá),。

本文對自主駕駛環(huán)境下點(diǎn)云與圖像融合的深度學(xué)習(xí)模型的最新研究進(jìn)展進(jìn)行了綜述。具體地說,，這篇綜述基于它們的融合方法來組織方法,，涵蓋深度完成,、動(dòng)態(tài)和靜態(tài)目標(biāo)檢測,、語義分割,、跟蹤和在線交叉?zhèn)鞲衅餍?zhǔn)等主題。此外,，表中還列出了公開數(shù)據(jù)集的性能比較,、模型的亮點(diǎn)和優(yōu)缺點(diǎn),。典型的模型體系結(jié)構(gòu)如圖所示,。最后，我們總結(jié)了總體趨勢,，并討論了面臨的挑戰(zhàn)和可能的未來方向,。這項(xiàng)調(diào)查也提高了人們的認(rèn)識(shí)，并對一些被研究界忽視但卻困擾著自動(dòng)駕駛技術(shù)實(shí)際應(yīng)用的問題提供了見解