文本是華為天才少年秦通CVPR2021的文章,，這篇文章根據(jù)車載豐富的傳感器實現(xiàn)輕量語義地圖的生成和更新，就是一種低成本的眾包地圖,，眾包地圖目前是沒有完全的定義的,，基本上可以理解為用戶通過自動駕駛車輛自身的傳感器，或其他低成本的傳感器硬件,，收集的道路數(shù)據(jù)傳到云端進行數(shù)據(jù)融合,，并通過數(shù)據(jù)聚合的方式提高數(shù)據(jù)精度，來完成高精地圖的制作,。那么眾包地圖模式將來會不會取代專業(yè)采集的模式呢,？在技術(shù)層面基于相機的三維重建和語義分割技術(shù)是值得我們關(guān)注和學習的方向。廢話不多說,，我們先看看視頻,，一睹為快。

高精度的定位對于自動駕駛?cè)蝿?wù)至關(guān)重要,。如今,，我們已經(jīng)看到許多裝配豐富傳感器的車輛（如Robo-taxi）依靠高精度的傳感器（如Lidar和RTK-GPS）和高精度的地圖在街道上自主行駛。然而,，低成本生產(chǎn)的汽車無法承受傳感器和地圖的如此高昂的費用,。如何降低成本？豐富傳感器的車輛如何能讓低成本汽車受益,？本文提出了一種基于低成本攝像機和壓縮的視覺語義地圖的輕量級定位方案,。這是一種根據(jù)自動駕駛車輛配置的傳感器生成和更新高精地圖的眾包模式。具體來說,，該地圖由若干語義元素組成,，如車道線、人行橫道,、地面標志和路面停車線,。

本文介紹了車載地圖、云上維護和用戶端定位的整體框架,。在車輛上對地圖數(shù)據(jù)進行采集和預處理,。然后，眾包數(shù)據(jù)被上傳到云服務(wù)器,。將多輛車的海量數(shù)據(jù)融合到云端,，及時更新語義地圖。最后,，將語義圖壓縮后分發(fā)給生產(chǎn)車,，生產(chǎn)車利用語義圖進行定位。通過實驗驗證了該算法的性能,，并與其他算法進行了比較,。語義地圖的平均大小為36kb/km,。這個框架是一個可靠和實用的自主駕駛定位解決方案。

圖1.上海南浦大橋樣圖,。語義地圖包含車道線（以白色繪制）和其他道路標記（以黃色和紅色繪制）。綠線是車輛的軌跡,，基于此語義圖進行定位,。左圖為鳥瞰南浦大橋?qū)嵕啊?/strong>

高精度定位依賴于高精度傳感器和高精地圖（HD-Map），目前,，RTK-GPS和激光雷達是兩種常用的傳感器,，廣泛應用于厘米級定位。RTK-GPS通過接收衛(wèi)星和地面站的信號,，在開闊地區(qū)提供精確的全球姿態(tài),，激光雷達捕捉車輛周圍環(huán)境的點云，通過點云匹配的方法可以在GPS環(huán)境下對車輛進行高精地圖的定位,。這些方法已經(jīng)在許多城市的自動駕駛出租車應用中得到應用,，就目前而言基于激光雷達和高精地圖的解決方案是自動駕駛出租車應用的理想選擇。然而,，這種方案有幾個缺點限制了它在一般汽車上的應用,，首先，一般汽車不能負擔高成本的激光雷達和高精地圖,，另外點云地圖消耗大量內(nèi)存,，這對于大規(guī)模生產(chǎn)和更新地圖來說也是負擔不起的，高精地圖制作耗費大量人力且很難保證及時更新,。為了克服這些挑戰(zhàn),，應該利用依賴低成本傳感器和壓縮地圖的方法,。

在這項工作中,，作者提出了一個輕量級的定位解決方案,，它僅依賴于攝像機和壓縮的視覺語義地圖,。該地圖包含道路上的若干語義元素,，如車道線、人行橫道,、地面標志和停車線,。這張地圖是壓縮稠密的語義地圖,，在具有豐富傳感器的車輛上是很容易生產(chǎn)和更新的,， 這是一種眾包的方式。同時配備攝像頭的低成本車輛可以使用這種語義地圖進行定位，具體地說,，基于深度學習的語義分割被用來提取有用的地標，將語義地標從二維像素恢復到三維環(huán)境下,，并配準到局部地圖中,，然后將局部地圖上傳到云服務(wù)器，云服務(wù)器合并不同車輛捕獲的數(shù)據(jù),，并壓縮全局語義地圖,，最后，將壓縮的語義地圖分發(fā)給生產(chǎn)車，用來實現(xiàn)車輛的定位,。

本文提出的語義建圖和定位方法適用于大規(guī)模自主駕駛車輛的應用。本文的貢獻總結(jié)如下：

• 提出了一個新的自主駕駛?cè)蝿?wù)輕量化定位框架,，包括車載地圖、云地圖維護和用戶端定位方案。

• 提出了一個新的想法，即使用配備豐富傳感器的車輛來幫助低成本的一般車輛,，傳感器豐富的車輛通過每天自動收集數(shù)據(jù)和更新地圖,。

• 通過實際的實驗驗證了該系統(tǒng)的實用性,。

圖2 本文方案的系統(tǒng)結(jié)構(gòu)示意圖。該系統(tǒng)由三部分組成，第一部分是車載端構(gòu)建語義地圖,，第二部分是云上更新地圖,，最后一部分是最終用戶車輛端的定位。

視覺建圖和定位的研究在過去的幾十年里變得越來越流行,。傳統(tǒng)的方法主要集中在小尺度室內(nèi)環(huán)境下的同時建圖與定位（SLAM）,。在自主駕駛?cè)蝿?wù)中，更注重大規(guī)模的室外環(huán)境,。

A.傳統(tǒng)的視覺SLAM

視覺里程計（VO）是視覺SLAM領(lǐng)域的一個典型課題,，在機器人應用中有著廣泛的應用。常用的方法包括僅攝像機方法和視覺慣性方法,。提取自然環(huán)境中的稀疏點,、稀疏線、稀疏面等幾何特征,。這里關(guān)于SLAM 的綜述可以查看本公眾號的歷史文章綜述

SLAM綜述(1)-Lidar SLAM

SLAM綜述(2)-視覺SLAM

SLAM綜述(3)-視覺與慣導,，視覺與深度學習SLAM

SLAM綜述(4)激光與視覺融合SLAM

總體來說，傳統(tǒng)的基于圖像SLAM的方法長期受到光線,、視角和時間變化的影響比較大。

B 基于道路要素的定位方法

自動駕駛車輛的定位就是要充分利用場景中的道路特征,。道路要素包含路面上的各種標記,，例如車道線、路緣和地面標志,，交通燈和交通標志等語義信息,。與傳統(tǒng)特征方法相比，這些標記在道路上豐富穩(wěn)定,，對時間和光照變化具有很強的魯棒性,。一般來說，一個精確的先驗圖（HD-map）是必要的,。這種先驗地圖通常由高精度的傳感器裝置建立,。通過將視覺檢測與此地圖相匹配來定位車輛。這里列舉了一些相關(guān)論文,，有興趣的可以加入免費知識星球下載原文閱讀,。

在本文中，我們重點研究了一個完整的系統(tǒng),，包括車載地圖,、云端地圖合并/更新和最終用戶車輛的定位，該系統(tǒng)是一種可靠,、實用的大規(guī)模自主駕駛定位解決方案,。本方案的系統(tǒng)由三部分組成：

第一部分是車載地圖。使用配備的前視攝像頭、RTK-GPS和基本導航傳感器（IMU和車輪編碼器）的車輛,。這些車輛被廣泛應用于自動駕駛出租車的應用中,，每天都要采集大量的實時數(shù)據(jù)。通過語義分割網(wǎng)絡(luò)從前視圖像中提取語義特征,。然后根據(jù)優(yōu)化后的車輛姿態(tài),，將語義特征投影到世界坐標系中。在車輛上建立了一個局部語義地圖,。此局部地圖將上傳到云端地圖服務(wù)器中,。

第二部分是云端地圖合并與更新。云服務(wù)器從多個車輛收集局部地圖,。局部地圖合并為全局地圖,。然后通過輪廓提取對全局地圖進行壓縮。最后,，將壓縮后的語義圖發(fā)布給最終用戶,。

最后一部分是最終用戶車輛的定位。最終用戶是常見的一般汽車,，這些汽車配備了低成本的傳感器,，如攝像頭、低精度GPS,、IMU和車輪編碼器,。最終用戶在從云服務(wù)器下載語義地圖后對其進行解碼。與車端創(chuàng)建地圖部分一樣,，通過語義分割前視圖像中提取語義特征,，通過語義特征匹配對車輛進行地圖定位。

A.圖像語義分割

這里使用基于CNN的語義分割的方法,，將前視圖像分割為地面,、車道線、停車線,、道路標志,、路緣、車輛,、自行車,、人等多個類別。在這些類中,，地面,、車道線、停車線和道路標記用于語義建圖,，其他類可用于其他自動駕駛?cè)蝿?wù),，不參與地圖的構(gòu)建,。圖像分割的一個例子如圖3所示。圖3（a）顯示了由前視攝像機捕獲的原始圖像,。圖3（b）顯示了相應的分割結(jié)果,。

圖3（a）是由前視相機拍攝的原始圖像。紅色框ROI區(qū)域,。(b） 是分割結(jié)果,，它將場景劃分為多個類，車道線是用白色畫的,，人行橫道是用藍色畫的,，道路標志是用黃色畫的，停車線是用棕色畫的,，路面是灰色的   (c）表示車輛坐標下的語義特征,。

B 逆透視變換

在語義分割后，語義像素在車輛坐標系下從圖像平面逆投影到地平面,，這個過程也被稱為逆透視映射（IPM）,，對攝像機的內(nèi)參和攝像機到車輛中心的外參進行離線標定。由于存在透視噪聲,，距離場景越遠,，誤差越大，這里只選擇感興趣區(qū)域（ROI）中的像素,，該區(qū)域靠近相機中心,，如圖3（a）所示。該ROI表示車輛前方的12m×8m矩形區(qū)域,。假設(shè)地面是平面，每個像素[u,，v]在車輛坐標下投影到地面（z等于0）,，如下所示

其中πc（·）是相機的畸變和投影模型。πc（·）?1是逆投影變換,，它將像素變換到空間中,，[Rc tc]是相機相對于車輛中心的外參矩陣，[u v]是圖像坐標中的像素位置,，[xv yv]是特征在車輛中心坐標中的位置,，λ是尺度標量，圖3（c）示出了逆透視變換的示例結(jié)果,，ROI中的每個標記像素都投影在車輛前方的地面上,。

C 姿態(tài)圖優(yōu)化

構(gòu)建地圖對車輛的定位是必要的，雖然采用了RTK-GNSS,，但不能保證姿態(tài)始終可靠,，RTK-GNSS只能在開闊地區(qū)提供厘米級位置，在城市場景中，它的信號很容易被高樓擋住,，導航傳感器（IMU和車輪）可以在GNSS信號弱的區(qū)域提供里程計,，然而，里程計長期受到累積漂移的影響,，這一問題的示意圖如圖4所示,。

藍線是GNSS良好區(qū)域的軌跡，由于RTK GNSS的高精度,，該軌跡是準確的,，在GNSS信號若區(qū)，里程計軌跡以綠色繪制,，漂移較大,，為了消除漂移，進行了位姿圖優(yōu)化,，優(yōu)化后的軌跡以紅色繪制,，平滑無漂移。

位姿圖優(yōu)化的示意圖如圖所示,，藍色節(jié)點是車輛在特定時間的狀態(tài)s,，其中包含位置p和方向q，用四元數(shù)q來表示方向,，R（q）表示將四元數(shù)轉(zhuǎn)換為旋轉(zhuǎn)矩陣,，有兩種邊，藍邊表示GNSS約束,，它只存在于GNSS信號好的情況,，它只影響一個節(jié)點，綠色邊是里程約束,，它在任何時候都存在,，它約束兩個相鄰節(jié)點，位姿圖優(yōu)化公式如下：

D 局部建圖

位姿圖優(yōu)化提供了任意時刻的可靠的車輛姿態(tài),，在第一幀中捕捉到的語義特征基于這個優(yōu)化的姿態(tài)從車輛坐標轉(zhuǎn)換到全局坐標下：

通過圖像的語義分割,，每個點包含一個類標簽（地面、車道線,、路標和人行橫道）,，每一點都代表了世界坐標系中的一小塊區(qū)域，當車輛行駛時,，一個區(qū)域可以被觀察到多次,，然而，由于分割噪聲的影響,，該區(qū)域可能被劃分為不同的類別,，為了克服這個問題,，這里使用統(tǒng)計來過濾噪聲，將地圖分為小網(wǎng)格,，分辨率為0.1×0.1×0.1m,，每個網(wǎng)格的信息包含位置、語義標簽和每個語義標簽的計數(shù),，語義標簽包括地面,、車道線、停車線,、地面標志和人行橫道,，開始時，每個標簽的得分為零,，當一個語義點被插入到一個網(wǎng)格中時,，相應標簽的得分增加一分，因此,，得分最高的語義標簽表示網(wǎng)格的類,，通過該方法，語義圖對分割噪聲具有較強的魯棒性和準確性,。圖6（a）中示出了全局建圖結(jié)果的示例,。

圖6.語義地圖壓縮和解壓示例  (a）顯示原始語義圖  (b）顯示此語義建圖的輪廓 (c）顯示從語義輪廓恢復的語義地圖。

A.地圖合并/更新

云端地圖服務(wù)器用于聚合多輛車捕獲的海量數(shù)據(jù),，它能夠及時地合并本地地圖,，使得全局語義地圖是最新的，為了節(jié)省帶寬,，這里只將本地地圖的占用網(wǎng)格地圖上傳到云端,，與車載地圖流程一樣，云服務(wù)器上的語義地圖也被劃分為網(wǎng)格,，分辨率為0.1×0.1×0.1m,，局部地圖的網(wǎng)格將根據(jù)其位置添加到全局地圖，具體來說,，本地地圖網(wǎng)格中的分數(shù)被添加到全局地圖上相應的網(wǎng)格中，這個過程是并行的,，最后,，得分最高的標簽是網(wǎng)格的標簽。圖9中示出了地圖更新的詳細示例,。

圖9,。當環(huán)境改變時語義地圖更新的圖示  (a）顯示原始環(huán)境 (b）顯示更改路標后重新繪制車道線   (c）顯示原始語義圖 (d）顯示語義圖正在更新，此時新的車道線正在替換舊的車道線  (e）顯示了最終的語義圖

近來很多3D的應用在興起,，3D傳感器在進步,，隨著虛擬網(wǎng)絡(luò)的發(fā)展轉(zhuǎn)到物理實際中的應用,，比如（ADAS，AR,，MR）自動駕駛中需要理解 汽車行人交通標識,，同時也需要理解三維物體的狀態(tài)靜止和移動。

B 地圖壓縮

云服務(wù)器生成的語義地圖將用于大量一般車輛的定位,，然而,，傳輸帶寬和車載存儲在生產(chǎn)車上受到限制，為此,，語義地圖在云上進一步壓縮,，由于輪廓能夠有效地表示語義地圖，因此本文采用輪廓提取的方法對地圖進行壓縮,，首先,，生成語義地圖的俯視圖，每個像素表示一個網(wǎng)格,，其次,，提取每個語義組的輪廓，最后,，保存輪廓點并將其分配給車輛,。

最終用戶是指配備低成本傳感器，如攝像頭,、低精度GPS,、IMU和車輪編碼器的車輛。

A.地圖解壓

當最終用戶收到壓縮后的地圖時,，從等高線點解壓語義地圖,，在俯視圖圖像平面中，使用相同的語義標簽填充輪廓內(nèi)的點,，然后將每個標記的像素從圖像平面恢復到世界坐標中,，解碼器方法能夠有效地恢復語義信息。

B. ICP定位

這個語義圖進一步用于定位,，與建圖過程類似,，語義點由前視圖圖像分割生成并投影到車輛坐標系下，然后,，通過將當前特征點與地圖匹配來估計車輛的當前姿態(tài),，如圖7所示。采用ICP方法估計位姿,，最后采用EKF框架,，將里程計與視覺定位結(jié)果相融合，該濾波器不僅提高了定位的魯棒性,，而且平滑了估計的軌跡

圖7.語義地圖定位說明,。白色和黃色的點是地圖上的車道線和道路標記,，綠點是觀察到的語義特征，通過將當前特征與地圖匹配來定位車輛,，橙色線是估計的軌跡,。

這里通過真實實驗驗證了所提出的語義建圖與定位能力。

A.地圖制作

車輛配備了RTK-GPS,、前視攝像頭,、IMU和車輪編碼器，多輛車同時在市區(qū)行駛,，車載地圖通過網(wǎng)絡(luò)上傳到云服務(wù)器上,，最終的語義地圖如圖8所示。

 圖8.上海浦東新區(qū)語義地圖與谷歌地圖對齊的圖示

上述地圖覆蓋了上海浦東新區(qū)的一個城市街區(qū),，將語義地圖與Google地圖對齊,，這一地區(qū)的公路網(wǎng)全長22公里，原始語義地圖的整體大小為16.7 MB,，壓縮后的語義圖大小為0.786mb,，壓縮后的語義圖平均大小為36kb/KM。（反正就是高效）

B.定位精度

在這一部分中,，我們將度量定位精度與基于Lidar的方法進行了比較,。該車配備了攝像頭、激光雷達和RTK GPS,，RTK-GPS被視為地面實況,，使用第一個實驗中產(chǎn)生的語義圖，這輛車在市區(qū)行駛,，對于自主駕駛?cè)蝿?wù),，我們重點研究了x、y方向的定位精度和偏航（航向）角,，與激光雷達比較的詳細結(jié)果如圖10和表1所示,。可見,，本文提出的基于視覺的定位方法優(yōu)于基于激光雷達的定位方法,。

圖10.x、y和偏航（航向）方向定位誤差的概率分布圖,。

在本文中,，我們提出了一個新的語義定位系統(tǒng)，整個框架包括車載地圖,、云上更新和用戶端定位過程，實驗證明一個可靠和實用的自主駕駛定位解決方案,，該系統(tǒng)利用了路面上的標記物,，事實上,，3D空間中更多的交通元素可以用于定位，例如紅綠燈,、交通標志和標桿,，在未來，我們將把更多的三維語義特征擴展到地圖中,。