重磅干貨,，第一時(shí)間送達(dá)

概述：

· 數(shù)據(jù)集：distilled Kitti Lidar-Motion dataset

· 網(wǎng)絡(luò)輸入：一對(duì)相鄰的雷達(dá)掃描點(diǎn)云，用2D的range和reflectivity表示

· 網(wǎng)絡(luò)輸出：行駛車輛的運(yùn)動(dòng)矢量

· 網(wǎng)絡(luò)結(jié)構(gòu)：1）Lidar-flow net,；2）lidar-detector net

· 解決問題：給定連續(xù)兩次從行駛的車輛中獲取的激光雷達(dá)掃描,，檢測場景中其他車輛相對(duì)于“地面”固定參考系有實(shí)際運(yùn)動(dòng)的運(yùn)動(dòng)車輛。

論文地址：https:///abs/1808.09526

I,、簡介

捕獲和理解場景的動(dòng)態(tài)特性是多種自動(dòng)駕駛（AD）應(yīng)用程序的重要組成部分,，例如避障，地圖定位和優(yōu)化或車輛跟蹤,。為了在不受約束的,，瞬息萬變的城市環(huán)境中高效安全地導(dǎo)航，自動(dòng)駕駛汽車需要有關(guān)場景中物體的語義和運(yùn)動(dòng)特性的精確信息,。應(yīng)特別注意運(yùn)動(dòng)元素,，例如車輛/行人，主要是如果其運(yùn)動(dòng)路徑希望與其他物體或觀察者的方向交叉,。

估計(jì)環(huán)境中移動(dòng)物體的動(dòng)力學(xué)需要先進(jìn)的采集設(shè)備和解釋算法,。在自動(dòng)駕駛汽車技術(shù)中，環(huán)境信息是通過包括攝像機(jī),，雷達(dá)和/或激光雷達(dá)在內(nèi)的多個(gè)傳感器捕獲的,。在提取這些數(shù)據(jù)時(shí)，隨著近來深度學(xué)習(xí)技術(shù)的建立,，對(duì)相機(jī)的RGB圖像的研究已大大推進(jìn),。但是，在AD環(huán)境中，在照明的突然變化或惡劣的天氣條件下,，例如在日落,，夜間或大雨天駕駛，相機(jī)可能會(huì)遭受明顯的性能下降,。相反,，基于雷達(dá)和激光雷達(dá)的系統(tǒng)性能在這些情況下非常可靠,。盡管雷達(dá)能夠提供場景的運(yùn)動(dòng)線索,，但是它們的非結(jié)構(gòu)化信息以及缺乏對(duì)幾何形狀的理解使其很難用于其他目的。相反,，激光雷達(dá)傳感器會(huì)提供3D環(huán)境的非常豐富的幾何信息,，通常以結(jié)構(gòu)良好的方式定義。

在本文中,，我們提出了一種僅使用激光雷達(dá)信息來檢測動(dòng)態(tài)車輛在地面上的運(yùn)動(dòng)矢量的新穎方法,。從移動(dòng)平臺(tái)（自我車輛）可靠地檢測獨(dú)立的動(dòng)態(tài)物體是一項(xiàng)艱巨的任務(wù)。需要將安裝了激光雷達(dá)傳感器的車輛的固有運(yùn)動(dòng)與場景中其他物體的實(shí)際運(yùn)動(dòng)區(qū)分開來,，這帶來了額外的困難,。

我們通過設(shè)計(jì)新穎的深度學(xué)習(xí)框架來解決這一具有挑戰(zhàn)性的問題。給定連續(xù)兩次從行駛中的車輛獲取的激光雷達(dá)掃描,，我們的方法能夠檢測場景中其他車輛相對(duì)于“地面”固定參考系有實(shí)際運(yùn)動(dòng)的運(yùn)動(dòng)（見圖1）,。

在推論過程中，我們的網(wǎng)絡(luò)僅接收激光雷達(dá)數(shù)據(jù),，盡管在訓(xùn)練中我們考慮了一系列借口任務(wù)來幫助解決可能利用圖像信息的問題,。具體來說,，我們介紹了一種新穎的激光雷達(dá)流特征,，該特征是通過組合激光雷達(dá)和基于標(biāo)準(zhǔn)圖像的光流而學(xué)習(xí)的。此外,，我們還結(jié)合了來自另一項(xiàng)經(jīng)過單激光雷達(dá)掃描訓(xùn)練的網(wǎng)絡(luò)的語義流動(dòng)性信息,。除了這些先驗(yàn)知識(shí)外，我們還通過提供里程表測量值作為輸入來介紹有關(guān)自我運(yùn)動(dòng)的知識(shí),。圖1顯示了我們開發(fā)的方法的草圖,，其中展示了兩個(gè)不同的場景以及從使用的借口任務(wù)獲得的相應(yīng)先驗(yàn)。最終輸出顯示每個(gè)場景的預(yù)測運(yùn)動(dòng)矢量,，并根據(jù)地面上表示的顏色模式對(duì)每個(gè)車輛進(jìn)行本地編碼,。

對(duì)上述前置任務(wù)的幾種組合進(jìn)行的消融研究表明，激光雷達(dá)流特征的使用為實(shí)現(xiàn)僅從激光雷達(dá)數(shù)據(jù)了解動(dòng)態(tài)對(duì)象運(yùn)動(dòng)的總體目標(biāo)方面帶來了非常有希望的結(jié)果,。

II,、現(xiàn)有工作

近年來，對(duì)經(jīng)典感知問題的研究得到了極大的推動(dòng)，這主要?dú)w功于深度學(xué)習(xí)技術(shù)的引入,。使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和變體的算法最近在計(jì)算機(jī)視覺任務(wù)（例如圖像分類,，對(duì)象檢測，語義分割或光流預(yù)測）中已經(jīng)匹配甚至超越了現(xiàn)有技術(shù)水平[4],，[5],，[6]，[7],。

但是,，區(qū)分物體是否與自我運(yùn)動(dòng)脫節(jié)運(yùn)動(dòng)的關(guān)鍵問題仍然充滿挑戰(zhàn)。通過RGB圖像分析場景的運(yùn)動(dòng)也是CNN最近解決的一個(gè)難題,，最近有幾篇文章與我們的方法分享了一些想法,。在[8]中，作者在合成數(shù)據(jù)上訓(xùn)練了CNN網(wǎng)絡(luò),，該合成數(shù)據(jù)以兩個(gè)連續(xù)圖像之間的光流作為輸入,，能夠掩蓋獨(dú)立移動(dòng)的物體。在本文中,，我們進(jìn)一步走了一步,，不僅將運(yùn)動(dòng)物體與靜態(tài)物體區(qū)分開，而且還在地平面參考上估計(jì)了它們的運(yùn)動(dòng)矢量,。其他方法試圖通過反轉(zhuǎn)問題來消除自我和真實(shí)物體的運(yùn)動(dòng),。例如，[9]證明,，訓(xùn)練有素的CNN可以預(yù)測自我車輛的里程,，與標(biāo)準(zhǔn)的類標(biāo)記訓(xùn)練的網(wǎng)絡(luò)在諸如場景和物體識(shí)別等進(jìn)一步訓(xùn)練的任務(wù)上相比具有優(yōu)勢(shì)。這一事實(shí)表明,，有可能利用自我測距學(xué)知識(shí)來指導(dǎo)CNN消除我們的運(yùn)動(dòng)與自由場景運(yùn)動(dòng)之間的歧義,，這在第三節(jié)B節(jié)中我們做了。

但是,，上述工作并不專注于AD應(yīng)用程序,。在此設(shè)置下，常見方法通過最小化幾何接地的能量函數(shù)來分割對(duì)象運(yùn)動(dòng),。[10]假設(shè)室外場景可以分解為少量獨(dú)立的剛性運(yùn)動(dòng),，并通過優(yōu)化離散連續(xù)CRF聯(lián)合估計(jì)它們。[11]通過對(duì)2D光流矢量的消失點(diǎn)分析來估計(jì)場景中的3D動(dòng)態(tài)點(diǎn),。然后,，將三項(xiàng)能量函數(shù)最小化，以便將場景分割為不同的運(yùn)動(dòng),。

兩種方法思路不同，一個(gè)是先估計(jì)點(diǎn)的運(yùn)動(dòng),，然后聚類這些點(diǎn),；另一種思路是先聚類車輛點(diǎn)，然后再估計(jì)運(yùn)動(dòng),。

盡管還沒有很廣泛地?cái)U(kuò)展,，但如今，深度學(xué)習(xí)技術(shù)也已應(yīng)用于基于激光雷達(dá)信息的車輛檢測任務(wù),。[14]直接在點(diǎn)云歐氏空間上應(yīng)用3D卷積來檢測并獲得車輛的邊界框,。由于這些方法對(duì)計(jì)算的要求很高，因此一些作者試圖通過稀疏點(diǎn)云上的卷積來減輕這種計(jì)算負(fù)擔(dān)[15],。但是,，主要的態(tài)度仍然是將3D點(diǎn)云投影到一個(gè)具有特色的2D表示中，因此能夠應(yīng)用眾所周知的2D卷積技術(shù)[16],，[13],。在這一系列投影點(diǎn)云中，其他工作建議融合具有激光雷達(dá)前視和鳥瞰功能的RGB圖像[17],。

但是,，這些方法都無法以端到端的方式估計(jì)車輛的運(yùn)動(dòng)，而無需進(jìn)一步對(duì)我們提出的輸出進(jìn)行后處理,。據(jù)我們所知,，更緊密的工作是[18]，它使用RigidFlow [19]將每個(gè)點(diǎn)分類為不可移動(dòng),，可移動(dòng)和動(dòng)態(tài),。在這項(xiàng)工作中,，我們更進(jìn)一步,，不僅對(duì)場景的動(dòng)態(tài)進(jìn)行分類，而且還預(yù)測了運(yùn)動(dòng)車輛的運(yùn)動(dòng)矢量,。

我們的方法還從漸進(jìn)式神經(jīng)網(wǎng)絡(luò)[20]和傳遞學(xué)習(xí)概念[21]中汲取了靈感,，因?yàn)槲覀冎荚谕ㄟ^解決一系列中間的“借口”任務(wù)來幫助網(wǎng)絡(luò)解決復(fù)雜的問題。例如,，在視覺光流的問題中,，[22]和[1]使用語義分割借口任務(wù)。同樣，在訓(xùn)練期間,，我們還將在點(diǎn)云信息上向網(wǎng)絡(luò)提供有關(guān)分段車輛的先驗(yàn)知識(shí),。

III、運(yùn)動(dòng)估計(jì)

本節(jié)介紹深度學(xué)習(xí)框架,，以僅根據(jù)激光雷達(dá)信息,，獨(dú)立于自我運(yùn)動(dòng)，估計(jì)場景中車輛的實(shí)際運(yùn)動(dòng),。該方法依賴于全卷積網(wǎng)絡(luò),，該網(wǎng)絡(luò)從場景的兩個(gè)不同但臨時(shí)的近距離幀接受特征激光雷達(dá)信息作為輸入，并給出每個(gè)點(diǎn)的地面運(yùn)動(dòng)矢量的密集估計(jì)值,，并假定它（每個(gè)點(diǎn)）屬于一個(gè)動(dòng)態(tài)車輛,。

3.1節(jié)介紹了一個(gè)由Kitti跟蹤基準(zhǔn)構(gòu)建的新穎數(shù)據(jù)集，該數(shù)據(jù)及是專門為我們監(jiān)督的問題中用作真實(shí)性而創(chuàng)建的,。由于激光雷達(dá)信息本身不足以解決已提出的復(fù)雜任務(wù),。

3.2節(jié)中，考慮利用前置任務(wù)將有關(guān)場景的語義和動(dòng)態(tài)的先驗(yàn)知識(shí)引入第3.3節(jié)中定義的主要CNN,。

3.1 雷達(dá)運(yùn)動(dòng)數(shù)據(jù)集

為了以有監(jiān)督的方式訓(xùn)練CNN,，我們需要定義輸入信息和所需輸出的基本信息，從中比較學(xué)習(xí)的估計(jì),。

如圖2a所示,，我們使用的更簡單的輸入數(shù)據(jù)由兩個(gè)不同的投影激光雷達(dá)掃描（其范圍和所測得的反射率）組成。對(duì)于每次掃描,，我們將點(diǎn)云的對(duì)應(yīng)點(diǎn)從其3D歐式坐標(biāo)轉(zhuǎn)換為球形坐標(biāo),，然后將其投影到與仰角和方位角有關(guān)的2D域中。每行對(duì)應(yīng)于傳感器垂直激光器之一（64）,，并且每列對(duì)應(yīng)于水平視場中的激光臺(tái)階（448）,。定義此視野的地方是Kitti數(shù)據(jù)集為其提供邊界框注釋的區(qū)域，從自我角度來看,，該區(qū)域大約覆蓋[-40.5,、40.5]度范圍。生成的投影的每對(duì)（u,，v）編碼傳感器測得的范圍和反射率,。在[13]中可以找到對(duì)該過程的更詳細(xì)描述。

為了構(gòu)建所需的地面真相輸出,，我們使用了Kitti跟蹤基準(zhǔn)數(shù)據(jù)集[2]的帶注釋的3D邊界框,，該框提供了運(yùn)動(dòng)樣本的多樣性。由于當(dāng)今車輛仍在地面上運(yùn)動(dòng),，我們將其運(yùn)動(dòng)表示為Z / X平面上的二維向量,，即Z為我們的前進(jìn)自我方向,，X為其橫向方向。對(duì)于每個(gè)時(shí)間t,，我們將自我車輛的位置定義為Ot∈R 2,，即觀察者?？紤]到場景中每時(shí)每刻都有X條車輛軌跡,，我們定義了從視線參考框架（如OtCt，x∈R2）中看到的任何這些車輛質(zhì)心,，其中x = 1 ... X,。為了更清楚地表示，我們將展示一個(gè)只有一個(gè)自由移動(dòng)的車輛的用例,，因此省略了x索引,。當(dāng)觀察者和其他車輛都在行駛時(shí)，每次從不同位置Ot + n看到自由車輛質(zhì)心Ot + nCt + n,。因此,，為了獲得在t→t + n間隔內(nèi)物體的實(shí)際位移，我們需要將此最后的測量值轉(zhuǎn)換為我們先前的參考幀Ot,，以獲得OtCt + n,。讓我們將自己的幀位移表示為OtT t + nt。這樣,，車輛質(zhì)心的變換位置就是：

在分析的間隔內(nèi),，自由移動(dòng)車輛的地面運(yùn)動(dòng)矢量可以計(jì)算為OtCt + n-OtCt。

請(qǐng)注意,，這些真值需要使用從幀t和t + n進(jìn)行的激光雷達(dá)掃描以時(shí)間滑動(dòng)窗口的方式進(jìn)行計(jì)算,，因此，根據(jù)時(shí)間步長n將獲得不同的結(jié)果,。該時(shí)間步長越大,，運(yùn)動(dòng)矢量將越長，但是將很難獲得車輛之間的匹配,。

從i）邊界框的Kitti手動(dòng)注釋,，ii）里程表測量中的噪聲和iii）轉(zhuǎn)換數(shù)值分辨率中引入一些漂移作為誤差的累積。這使得一些靜態(tài)車輛被標(biāo)記為輕微移動(dòng),。因此,，我們僅根據(jù)時(shí)間間隔n將移動(dòng)車輛設(shè)置為動(dòng)態(tài)，并將位移大于閾值的車輛過濾掉,，從而直接與考慮移動(dòng)的最小速度直接相關(guān),。我們通過實(shí)驗(yàn)將該閾值設(shè)置為10Km / h。

最后,，我們根據(jù)通常用于表示光流的顏色代碼對(duì)每個(gè)車輛地面真實(shí)運(yùn)動(dòng)矢量進(jìn)行相應(yīng)的角度和大小編碼,。圖2b顯示了所描述數(shù)據(jù)集的幀樣本，其中場景的相應(yīng)RGB圖像也僅出于比較目的而顯示,。

3.2 前置準(zhǔn)備

如前所述,，我們將網(wǎng)絡(luò)學(xué)習(xí)引向正確的解決方案，引入通過解決其他借口任務(wù)而獲得的先驗(yàn)知識(shí),。這個(gè)想法從漸進(jìn)式網(wǎng)絡(luò)[20]和轉(zhuǎn)移學(xué)習(xí)作品[9]中獲得相似之處,，兩者都有助于解決日益復(fù)雜的任務(wù)。通過這種方式,，我們引入了三種附加信息：

· a）在引導(dǎo)我們的網(wǎng)絡(luò)尋找兩個(gè)激光雷達(dá)輸入之間的匹配之前的激光光學(xué)運(yùn)動(dòng),。

· b）語義概念有助于專注于現(xiàn)場車輛；

· c）自我運(yùn)動(dòng)信息基于里程計(jì)測量給出的位移,。

通過陳述一個(gè)新穎的深流特征圖可以給出匹配輸入的先驗(yàn)運(yùn)動(dòng),，如圖3a所示。我們開發(fā)了一個(gè)新的深度框架,，該框架將來自兩個(gè)分離幀的激光雷達(dá)掃描的2D投影作為輸入,，并輸出基于學(xué)習(xí)的激光雷達(dá)的光流。由于激光雷達(dá)域的光流真相不可用,，因此我們?yōu)榇巳蝿?wù)創(chuàng)建了自己的,。為此，我們使用了基于RGB圖像的最新光流量估算器[7],，并獲得了完整Kitti跟蹤數(shù)據(jù)集的流量預(yù)測,。我們進(jìn)一步創(chuàng)建了符合制造商規(guī)格的給定激光雷達(dá)傳感器的幾何模型，并將其投影到預(yù)測的流量圖上,，從而獲得了點(diǎn)云中每個(gè)點(diǎn)的對(duì)應(yīng)激光雷達(dá)流量,。最后，我們提出了一個(gè)密集的深度回歸問題,，該問題使用新的激光雷達(dá)流特征作為地面真相,，使用類似于Flownet的卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)類似的2D運(yùn)動(dòng)模式。

通過解決像[13]中提出的每個(gè)像素的分類問題,，引入了關(guān)于場景的機(jī)動(dòng)性的語義先驗(yàn),。為此，訓(xùn)練一個(gè)全卷積網(wǎng)絡(luò)以獲取激光雷達(dá)掃描幀,，并將每個(gè)對(duì)應(yīng)點(diǎn)分類為屬于車輛或背景,。這些預(yù)測的例子如圖3b所示。

最后,，我們介紹了有關(guān)該間隔中自我運(yùn)動(dòng)的更多信息,。為此，我們創(chuàng)建一個(gè)3通道矩陣,，其大小與2D激光雷達(dá)特征圖相同,，其中每個(gè)“像素”三元組都采用正向（Z）和橫向（X）自我位移以及Y軸旋轉(zhuǎn)值在時(shí)間間隔t→t + n中,。

3.3 深度雷達(dá)運(yùn)動(dòng)網(wǎng)絡(luò)

作為用于估計(jì)每輛車在地面上的剛性運(yùn)動(dòng)的網(wǎng)絡(luò)體系結(jié)構(gòu)，我們考慮了圖4中詳細(xì)描述的完全卷積網(wǎng)絡(luò),。它從FlowNet [23]中得到啟發(fā),，F(xiàn)lowNet旨在解決類似的回歸問題。但是,，我們進(jìn)行了一些更改,，以進(jìn)一步利用激光雷達(dá)信息的幾何性質(zhì)。

我們首先通過在末尾引入新的反卷積塊以及相應(yīng)的批處理歸一化（BN）和非線性位置（Relu）來變換網(wǎng)絡(luò)擴(kuò)展部分,。標(biāo)準(zhǔn)FlowNet輸出的大小是輸入的四分之一,，并在后續(xù)步驟中進(jìn)行雙線性插值。這不適用于我們的方法,，因?yàn)槲覀兯璧妮敵鲆呀?jīng)非常稀疏,，僅包含屬于移動(dòng)車輛的激光雷達(dá)點(diǎn)的幾組。因此,，中分辨率輸出可能無法說明僅通過少量點(diǎn)檢測到的遠(yuǎn)距離車輛,。此外，我們消除了FlowNet內(nèi)部的最后卷積和第一個(gè)反卷積塊,，對(duì)于這些塊,，生成的特征圖在初始輸入大小上達(dá)到1/64的分辨率。請(qǐng)注意,，我們的激光雷達(dá)輸入數(shù)據(jù)本身具有較低的分辨率（64×448）,，并且執(zhí)行這種激進(jìn)的分辨率降低已顯示會(huì)導(dǎo)致目標(biāo)丟失。另一方面,，我們遵循其他FlowNet原始屬性,。因此，我們的體系結(jié)構(gòu)在來自網(wǎng)絡(luò)的可伸縮部分和可擴(kuò)展部分的大小相等的特征圖之間執(zhí)行級(jí)聯(lián),，從而生成更豐富的表示并允許更好的梯度流,。此外，我們還強(qiáng)加了在不同分辨率下獲得的中間損耗優(yōu)化點(diǎn),，這些點(diǎn)被上采樣并連接到直接的上層特征圖上,，從早期步驟指導(dǎo)最終解決方案，并允許反向傳播更強(qiáng)健的梯度,。

IV,、實(shí)驗(yàn)

A、測試數(shù)據(jù)

為了從主要框架和借口任務(wù)中訓(xùn)練提出的深度神經(jīng)網(wǎng)絡(luò),，我們將n設(shè)置為1,，以便測量兩個(gè)連續(xù)幀之間的車輛運(yùn)動(dòng)。所有這些網(wǎng)絡(luò)都從零開始訓(xùn)練，使用He’s方法[24]對(duì)其進(jìn)行初始化,，并使用帶有標(biāo)準(zhǔn)參數(shù)β1=0.9和β2=0.999的Adam優(yōu)化,。

我們要使用移動(dòng)車輛獲取的點(diǎn)云數(shù)據(jù)，所以要從原數(shù)據(jù)集Kitti Tracking benchmark剔除靜態(tài)車輛獲取的點(diǎn)云數(shù)據(jù),。

提取后的數(shù)據(jù)集由兩部分組成：4953個(gè)移動(dòng)的框架,，以及3047個(gè)包含靜態(tài)車輛或不包含任何車輛的框架,。

為了平衡批次采樣并避免有誤差的學(xué)習(xí),，作者為每個(gè)批次取8幀白喊運(yùn)動(dòng)的幀，另外2幀不包含運(yùn)動(dòng),。

驗(yàn)證數(shù)據(jù)集由472個(gè)帶有運(yùn)動(dòng)的樣本和354個(gè)沒有運(yùn)動(dòng)的樣本組成,。由于訓(xùn)練樣本代表了駕駛場景，因此執(zhí)行數(shù)據(jù)增強(qiáng),，僅提供50%的機(jī)會(huì)進(jìn)行水平翻轉(zhuǎn),，以保留強(qiáng)大的幾何激光雷達(dá)特性。

在最初的150,000次迭代中,，學(xué)習(xí)率固定為10-3,，此后每60,000次迭代將學(xué)習(xí)率減半。作為損失,，我們使用地面真相與每個(gè)像素的估計(jì)運(yùn)動(dòng)矢量之間的歐式距離,。我們將所有中間計(jì)算得出的損失設(shè)置為對(duì)學(xué)習(xí)目的均等。

B,、收入數(shù)據(jù)獲取信息

根據(jù)在我們的主網(wǎng)絡(luò)中引入的數(shù)據(jù)和借口信息,，已經(jīng)訓(xùn)練了不同的模型；接下來,，我們提供簡要說明,。

我們的基本方法采用大小為64×448×4的張量作為輸入，該張量堆疊來自時(shí)刻t和t +1的2D激光雷達(dá)投影幀,。每個(gè)投影框都包含范圍值和反射率測量值,，如第III-A節(jié)開頭所概述并在圖2a中所示。

為了獲得運(yùn)動(dòng)先驗(yàn),，通過我們特定的激光雷達(dá)流網(wǎng)絡(luò)處理激光雷達(dá)數(shù)據(jù),。作為輸出，它會(huì)生成兩個(gè)通道的流圖,，其中每對(duì)（u,，v）代表虛擬相機(jī)相似平面上的RGB等效運(yùn)動(dòng)矢量，如圖3a所示,。當(dāng)在主網(wǎng)絡(luò)之前合并此運(yùn)動(dòng)時(shí),，將激光雷達(dá)流圖與基本激光雷達(dá)輸入連接起來，以構(gòu)建一個(gè)包含6個(gè)深度通道的新輸入張量,。

為了在訓(xùn)練中增加語義先驗(yàn)知識(shí),，我們通過學(xué)習(xí)的車輛檢測網(wǎng)絡(luò)分別處理了兩個(gè)激光雷達(dá)輸入幀[13],。該信息進(jìn)一步與原始激光雷達(dá)輸入以及激光雷達(dá)流量圖連接在一起，從而產(chǎn)生深度為8個(gè)通道的張量,。

最后,，為了同時(shí)引入里程計(jì)信息，將三個(gè)以上的通道連接到堆疊的輸入,，從而得出深度為11的張量,。

C、結(jié)果

表一顯示了我們方法的定量分析,。我們通過設(shè)置兩個(gè)不同的基線（error @ zero和error @ mean）來證明我們框架的正確性能,。第一個(gè)假設(shè)零回歸，因此將所有預(yù)測設(shè)置為零,，就像沒有檢測器一樣,。第二個(gè)基線衡量的是平均運(yùn)動(dòng)輸出將獲得的終點(diǎn)誤差。

請(qǐng)注意,，在我們的數(shù)據(jù)集中,，每幀上只有幾個(gè)激光雷達(dá)點(diǎn)落入移動(dòng)的車輛中。因此,，在整個(gè)圖像上測量預(yù)測誤差不會(huì)給我們關(guān)于預(yù)測準(zhǔn)確性的概念,，因?yàn)榧訇幮裕磩?dòng)態(tài)的，但未為其分配運(yùn)動(dòng)矢量而被視為靜態(tài)）和假陽性（即,，假的）產(chǎn)生的誤差靜態(tài)但被視為動(dòng)態(tài)分配的運(yùn)動(dòng)矢量）會(huì)在整個(gè)圖像上被稀釋,。為了解決這個(gè)問題，我們還僅在實(shí)際動(dòng)態(tài)點(diǎn)上測量端點(diǎn)誤差,。兩種測量均在表I中表示為完整和動(dòng)態(tài),。所有給定值僅在測試時(shí)通過驗(yàn)證集計(jì)算得出，在學(xué)習(xí)階段,，該驗(yàn)證集從未用于訓(xùn)練主網(wǎng)絡(luò)或借口任務(wù),。回想一下,，在測試過程中,，僅使用激光雷達(dá)數(shù)據(jù)評(píng)估最終網(wǎng)絡(luò)。

我們分別使用數(shù)據(jù),，激光雷達(dá)流量,，車輛分割和里程表對(duì)模型分別標(biāo)記了輸入數(shù)據(jù)的D，F(xiàn),，S和O的組合進(jìn)行標(biāo)記,。當(dāng)組合不同的輸入時(shí)，我們用名稱之間的＆符號(hào)表示它；例如已經(jīng)使用激光雷達(dá)數(shù)據(jù)以及先驗(yàn)的激光雷達(dá)流量和車輛分割作為輸入,，對(duì)名為D＆F＆S的模型進(jìn)行了訓(xùn)練,。

V、結(jié)論

在本文中,，我們已經(jīng)解決了一個(gè)問題,，即從正在行駛的車輛獲取的激光雷達(dá)數(shù)據(jù)中了解正在行駛的車輛的動(dòng)力學(xué)特性。將固有運(yùn)動(dòng)與其他車輛的運(yùn)動(dòng)區(qū)分開來構(gòu)成一個(gè)非常具有挑戰(zhàn)性的問題,，我們已經(jīng)使用深度學(xué)習(xí)解決了這一問題,。該論文的主要貢獻(xiàn)在于表明，在測試過程中,，提議的深度神經(jīng)網(wǎng)絡(luò)僅使用激光雷達(dá)掃描,，而在訓(xùn)練過程中可以利用其他先驗(yàn)圖像信息來提高其性能,。為此,，我們引入了一系列借口任務(wù)，其中包括有關(guān)流動(dòng)性的語義以及根據(jù)圖像和激光雷達(dá)數(shù)據(jù)構(gòu)建的光流紋理,。我們報(bào)告的結(jié)果非常有前途,，并證明僅在訓(xùn)練期間利用圖像信息確實(shí)有助于基于激光雷達(dá)的深度架構(gòu)。在未來的工作中,，我們計(jì)劃通過在訓(xùn)練過程中引入其他基于圖像的先驗(yàn)知識(shí)來進(jìn)一步利用這一事實(shí),，例如場景中所有對(duì)象類別的語義信息以及從圖像中獲得的密集深度。