自動駕駛的“天眼”！聊一聊高精地圖領域中所有主流的製作方案

本文已參與「新人創作禮」活動，一起開啟掘金創作之路!

點選進入→自動駕駛之心技術交流群

後臺回覆【ECCV2022】獲取ECCV2022所有自動駕駛方向論文！

1 自動駕駛中的高精地圖生成技術

在過去幾年中，自動駕駛一直是最受歡迎和最具挑戰性的話題之一。在實現完全自主的道路上，研究人員利用了各種感測器，如鐳射雷達、相機、慣性測量單元（IMU）和GPS，並開發了用於自動駕駛應用的智慧演算法，如目標檢測、目標分割、障礙避免和路徑規劃。近年來，高清晰度（HD）地圖引起了廣泛關注。由於高清地圖在定位中的高精度和資訊水平，它立即成為自動駕駛的關鍵組成部分。從百度阿波羅（Baidu Apollo）、英偉達（NVIDIA）等大型組織到個人研究人員，已經為自動駕駛的不同場景和目的建立了高清地圖。有必要回顧高清地圖生成的最新方法，論文主要回顧了利用2D和3D地圖生成的最新高清地圖生成技術，介紹了高清地圖及其在自動駕駛中的用途，並給出了高清地圖生成技術的詳細概述。除此之外，還討論了當前高清地圖生成技術的侷限性，以推動未來的研究。

2什麼是高精地圖？

高清地圖包含自動駕駛所需的道路/環境的所有關鍵靜態屬性（例如：道路、建築物、交通燈和道路標記），包括由於遮擋而無法由感測器適當檢測到的目標。近年來，用於自動駕駛的高清地圖以其高精度和豐富的幾何和語義資訊而聞名。它與車輛定位功能緊密連線，並不斷與不同感測器（包括鐳射雷達、雷達和攝像機）互動，以構建自主系統的感知模組，如下圖所示：

在自動駕駛市場上沒有獨特的標準高清地圖結構。然而，市場上有一些常用的高清地圖結構，如導航資料標準（NDS）、動態地圖平臺（DMP）、高清實時地圖和TomTom。大多數結構共享類似的三層資料結，下表顯示了由TomTom和Lanelet（Bertha Drive）定義的三層結構化高清地圖。

第一層“道路模型”定義了道路特徵，如拓撲、行駛方向、高程、坡度/坡道、規則、路緣/邊界和交叉口。它用於導航。第二層，車道模型，定義車道級別特徵，如道路型別、線路、道路寬度、停車區域和速度限制。該層用作自動駕駛的感知模組，根據實時交通或環境做出決策。顧名思義，最後一層定位模型在高清地圖中定位自動車輛。該層包含道路設施，如建築物、交通訊號、標誌和路面標記。這些功能有助於自動車輛快速定位，尤其是在具有豐富特色的城市區域。

3高精地圖的資料採集

資料來源/收集是生成高清地圖的第一步。使用移動地圖系統（MMS）進行資料收集，MMS是一種配備地圖感測器的移動車輛，包括GNSS（全球導航衛星系統）、IMU、鐳射雷達（光探測和測距）、相機和雷達，用於收集地理空間資料。

商業化高清地圖提供商採用眾包方式收集資料，以構建和維護其高清地圖。Level5與Lyft合作，沿加利福尼亞州帕洛阿爾託的固定路線傳送了20輛自動駕駛汽車，以收集由170000個場景組成的資料集，一個包含15242個標記元素的高清語義地圖，以及一個該區域高清的鳥瞰圖。TomTom通過多源方法收集資料，包括調查車輛、GPS跟蹤、社群輸入、政府來源和車輛感測器資料，這裡利用了全球400多輛地圖車輛、政府資料、衛星影象和社群輸入，不斷獲得最新的道路資訊。通過眾包收集資料可以在很短的時間內收集大量最新的道路/交通資料。眾包資料還包含不同的環境，包括城市、城鎮和農村地區。然而，由於多個移動地圖系統的高成本和資料收集的時間消耗，該方法不是單個研究人員的最佳解決方案。個別研究人員還利用MMS收集資料，他們不是收集世界各地不同型別環境的資料，而是關注規模更小的區域，例如城市，大學校園或住宅區。收集的資料出於研究目的，型別也更加具體。

此外，還有大量開源資料，如衛星影象、KITTI資料集、Level5 Lyft資料集[4]和nuScenes資料集，供研究人員進行測試和生成高清地圖。這些資料集包含2D和3D真實世界交通資料，包括影象、3D點雲和IMU/GPS資料，這些資料已經組織和標記，地圖資料的收集方法與優劣如下圖所示：

4點雲高精地圖生成

一旦收集到初始感測器資料，通常會對其進行融合和排序，以生成初始地圖，主要用於精確定位。初始mapping主要使用3D鐳射感測器生成；然而，它可以與其他感測器融合，如IMU、GPS、里程計和視覺里程計，以便在高清地圖中進行更精確的狀態估計。INS和GPS感測器提供方位和位置資訊，以在釐米精度範圍內更新地圖位置。這些點雲地圖已經非常精確，可以幫助車輛在3D空間釐米級進行精確定位。隨後，在mapping獲得點雲配準之後，從PCL對映建立向量對映。點雲配準被稱為對齊多個重疊點雲以生成詳細和準確地圖的多步驟過程（如下圖所示）。

向量地圖包含與車道、人行道、十字路口、道路、十字路口、交通標誌和交通燈相關的資訊。這一關鍵特徵後來被用於檢測交通標誌和訊號燈、路線規劃、全域性規劃和區域性路徑規劃。毫無疑問，地圖生成是高清晰度地圖生成的一個組成部分，它可以定義為HD地圖的基本幾何圖形圖層。

建圖技術

地圖生成技術可分為線上地圖和離線地圖。離線對映資料全部收集在中心位置，資料使用衛星資訊或鐳射雷達和攝像機儲存的資料，然後地圖在收集資料後離線構建。

另一方面，線上地圖中地圖生成使用輕量級模組進行，除了地圖製作型別之外，還可以通過使用感測器或如何融合感測器對地圖技術進行分類。

以下標測技術需要基於鐳射的感測器，因為它們在長距離下顯示出良好的精度。大多測繪技術目前都使用鐳射作為主要感測器，用於測繪和完成高清晰度地圖。另一方面，有一些方法僅使用視覺感測器來構建點雲地圖，存在為3D模型生成而開發的點雲配準技術，下面是幾種常用方法！

1） 基於分割的點雲配準

SegMap是一種基於點雲中分割特徵提取的對映解決方案，該方法通過重構要區分的區域性特徵來生成點雲圖。軌跡結果表明，與LOAM（鐳射測程和測繪）結合使用時，效能比僅使用LOAM框架更高。

2）僅基於鐳射雷達的點雲建圖

通過改進現有的點選擇方法和LOAM迭代姿態優化方法，小視場和不規則取樣的鐳射雷達方法已經實現了卓越的精度和效率，整體建圖結構如下圖所示：

[19]引入了一種快速環路閉合技術，以修復鐳射雷達里程測量和測繪中的長期偏移，[20]中的小視場分散式多鐳射雷達平臺使用擴充套件卡爾曼濾波器進行魯棒建圖。此外，[21]中還有一種技術，在機器人的不同高度安裝鐳射雷達，以生成點雲。

3）里程計融合點雲配準

當GPS不可用或斷開連線時，融合里程計非常方便，主要是在室內。迭代最近點（ICP）方法使用6自由度資訊來匹配給定點雲中的最近幾何體。這種方法的主要缺點是，它停留在區域性最小值，需要一個完美的起點，導致誤差和與實際環境的偏差增加[22]。NDTMap[23]、[24]生成是從點雲[25]、[26]轉換而來的連續可微概率密度，NDTMap的概率密度包含一組正態分佈。它是一個體素網格，其中每個點基於其座標分配給體素。將點雲劃分為體素雲，然後對合並的體素進行濾波，以減少地圖中的噪聲，減少計算量。如果初始猜測中未使用里程計，則從每次NDT更新中得出狀態估計，初始猜測來自基於運動模型的速度和加速度更新。當引入里程計時，位置更新基於里程計資料，特別是速度模型和方向更新。

4）GPS融合點雲配準

GNSS中的絕對位置作為graph-based建圖中的約束，以統一點雲資料與座標系[12]。因此，點雲中的體素使用絕對3D座標資訊進行標記，LIO-SAM中也使用了基於鐳射雷達的里程計，用於精確的姿態估計和地圖構建[13]。

5）INS融合點雲配準

在不使用任何感測器的情況下，根據每次NDT更新計算車輛狀態和偏航。使用速度和加速度匯出基於運動模型的初始猜測。IMU為二次模型提供平移更新和方向更新。Autoware的NDT mapping技術[27]還提供了用於標測的IMU和里程融合。類似地，DLIO方法[28]通過使用鬆耦合融合和姿態圖優化實現精確mapping和高速率狀態估計，整合IMU以通過饋送IMU偏置來校正隨後的線性加速度和角速度值來增強可靠性。FAST-LIO[10]和FAST-LIO2[11]是用於快速和精確測繪的鐳射雷達慣性里程計系統。該系統使用緊耦合迭代EKF（擴充套件卡爾曼濾波器）將IMU與鐳射雷達特徵點融合。FAST-LIO2使用了一種新技術，增量kdTree，它提供了一種增量更新和動態再平衡來維持地圖。

6）視覺感測器融合點雲配準

R2-LIVE[29]和R3-LIVE[30]演算法使用鐳射、慣性導航系統和視覺感測器的融合來進行精確對映和狀態估計。R2-LIVE使用基於卡爾曼濾波器的迭代里程計和因子圖優化來確認準確的狀態估計。

R3-LIVE是兩個獨立模組的組合：鐳射雷達IMU里程計和視覺IMU里程測量。Global地圖實現了鐳射雷達和IMU的精確幾何測量。與IMU融合的視覺感測器將地圖紋理投影到全域性地圖中。類似的兩個子模組LIO和VIO也用於FAST-LIVO[14]中的穩健和精確建圖。LVI-SAM使用與R3-LIVE類似的兩個子模組進行設計。根據LVI-SAM[31]，視覺慣性系統利用鐳射雷達慣性計算來輔助初始化。視覺感測器提供深度資訊以提高視覺慣性系統的精度。

下圖展示出了使用現有建圖演算法生成的地圖。有多種技術可以融合多個感測器以建立完整地圖。視覺里程計（IMU和攝像機）、GPS和鐳射雷達資料被組合到一個超級節點中，以獲得優化地圖[32]。

下圖展示出了使用不同方法從線上對映獲得的軌跡路徑，（a）是地圖感測器資料的完整路徑（安大略科技園區），展示出了來自記錄資料的完整里程計資料。（b）和（c）是全軌跡路徑的放大版本。該地面真實路徑通過RTK-GPS和IMU資料的融合獲得。這些分數表明R3-LIVE遵循地面實況路徑，即RTK-GPS里程計。

5高清地圖的特徵提取方法

為了使ego車輛定位並遵循運動和任務計劃，需要進行特徵提取，如道路/車道提取、道路標記提取和桿狀物體提取。特徵提取傳統上由人工完成，成本高、耗時且精度低。近年來，機器學習輔助的高清地圖生成技術已經開發並廣泛用於提高特徵提取精度和減少人工工作量。機器學習輔助高清地圖生成利用了人在迴路（HITL）技術，該技術涉及人機互動[33]-[35]。人類進行資料標記，並使用監督學習對標記資料進行訓練。具有高精度/置信度分數的結果將儲存到高清地圖，而具有低精度/置信率分數的結果則將由人類檢查併發送回演算法進行重新訓練。機器學習已廣泛用於提取道路/車道網路、道路標記和交通燈。

1）道路網路提取

a）基於二維航空影象的道路提取

道路地圖/網路對於自動駕駛系統定位自我車輛和規劃路線至關重要。從航空影象中提取路線圖也很有吸引力，因為航空照片覆蓋了廣泛的地圖，通常是城市地圖，並通過衛星不斷更新。然而，從航空影象手動建立路線圖既費時又費力。由於人為錯誤，它也不能保證精確的路線圖，因此，需要能夠自動化路線圖提取過程的方法。二維航空影象的自動道路網路提取可分為三種不同的方法：基於分割的方法、迭代圖生長方法和圖生成方法。

基於分割的方法從航空影象預測分割概率圖，並通過後處理細化分割預測和提取圖。Mattyus等人提出了一種直接估計道路拓撲並從航空影象中提取道路網路的方法[36]。在他們名為DeepRoadmper的方法中，他們首先使用ResNet的變體[37]將航空影象分割成感興趣的類別，然後使用softmax啟用函式以0.5概率閾值過濾道路類別，並使用發光提取道路中心線[38]。為了緩解道路分割的不連續性問題，他們將不連續道路的端點連線到特定範圍內的其他道路端點。連線被視為潛在道路，此處應用A*演算法[39]選擇最短連線作為不連續道路，如下圖所示：

為了提高基於分段的道路網路提取效能並解決[36]中的道路網路斷開問題，[42]提出了方向學習和連通性細化方法。所提出的方法通過預測道路網路的方向和分割並使用n-堆疊多分支CNN校正分割結果來解決道路網路斷開問題。該方法在SpaceNet[43]和DeepGlobe[44]資料集上進行了進一步評估，並與DeepRoadmper和其他最先進的方法[45]-[48]進行了比較，以顯示其最先進的結果。

此外，Ghandorh等人通過在基於分割的方法中新增邊緣檢測演算法，從衛星影象中細化了分割的道路網路[49]。所提出的方法使用了編碼器-解碼器架構以及擴展卷積層[50]和注意機制[51]-[54]，使網路能夠分割大規模物件並更加關注重要特徵。然後，通過將分割的道路網路饋入邊緣檢測演算法，進一步細化這些道路網路，下圖為基於分割方法的效能對比！

迭代圖增長法

迭代圖生長方法通過首先選擇道路網路的幾個頂點從2D航空影象生成道路網路。然後，逐點生成道路，直到建立整個道路網路。Bastani等人從深度路線圖中注意到了同樣的限制。當道路分割存在不確定性時，啟發式演算法表現不佳，這可能是由遮擋和複雜拓撲結構（如平行道路）引起的[48]。基於CNN的道路分割在遮擋區域增加時表現不佳，遮擋區域從樹木、建築物和陰影中升起。現有方法[36]、[55]沒有解決此類問題的固溶體。Bastani等人提出了一種新方法RoadTracer，以解決上述問題，並從航空影象中自動提取道路網路[48]。RoadTracer採用迭代圖構建過程，旨在解決遮擋導致的效能不佳。道路追蹤器具有由基於CNNs的決策函式引導的搜尋演算法。搜尋演算法從道路網路上的已知單個頂點開始，並隨著搜尋演算法的探索不斷向道路網路新增頂點和邊。基於CNN的決策函式決定是否應將頂點或邊新增到道路網路。這樣，通過迭代圖生長方法逐點生成道路圖，迭代圖增長方法如下圖視覺化所示：

在15張城市地圖上對道路跟蹤方法進行了評估，並將結果與DeepRoadmper和Bastani等人實施的另一種分割方法進行了比較。與最先進的方法DeepRoadmper相比，RoadTracer可以生成更好的地圖網路結果。迭代圖構建過程的一個缺點是生成大規模道路網路的效率，由於該過程逐點建立道路圖，因此隨著道路網路規模的增長，該過程將變得耗時。

圖生成方法

圖生成方法直接從航空影象預測道路網路圖，該方法將輸入的航空影象編碼為向量場，用於神經網路預測。然後通過解碼演算法將預測解碼成圖。該方法已用於預測道路網路圖，包括線段[56]、線形物件[57]和多邊形建築物[58]。在圖形生成方法的基礎上，Xu等人將圖形生成方法與transformer[59]相結合，提出了一種新的系統，名為csBoundary，用於自動提取道路邊界，用於高清地圖標註[60]。csBoundary系統首先將4通道空間影象作為輸入，它通過特徵金字塔網路（FPN）處理影象，以預測道路邊界的關鍵點圖和分割圖。從關鍵點圖中提取一組長度為M的頂點座標，將關鍵點圖、分割圖和輸入空間影象組合起來形成6通道特徵張量。對於每個提取的頂點𝐿 × 𝐿 感興趣區域（ROI）被裁剪並放置在關鍵點地圖的中心。Xu等人還提出了對鄰接網（AfANet）的關注[60]，AfA編碼器利用ROI計算區域性和全域性特徵向量，這些特徵向量將由AfA解碼器處理以預測提取頂點的鄰接矩陣，以生成道路邊界圖。所有獲得的圖形將用於拼接到最終的城市規模道路邊界圖中。csBoundary的結構如下圖所示。

基於分割的方法可以使用CNN在很短的時間內從航空影象中自動提取大規模道路網路。然而，該方法的效能在很大程度上取決於航空影象的質量。如果道路上存在遮擋，這可能是由陰影或大型構建引起的，分割效能將下降。即使使用深度路線圖中輔助的A*路徑規劃演算法，該方法仍然不能保證高效能的道路網路提取，因為最短路徑並不總是現實生活中的實際路徑。另一方面，迭代圖增長方法利用基於CNN的決策函式支援的搜尋演算法來提高提取具有遮擋的道路的效能。然而，迭代圖增長法提取整個道路網路需要很長時間，因為該方法逐點構建道路網路。該方法的提取時間也將隨著路線圖的大小增加而增加。由於該方法以迭代方式提取道路網路，因此由於累積誤差，它還存在漂移問題，這使得該方法提取大規模道路網路具有挑戰性。用於提取道路網路的圖生成方法仍然侷限於物件的特定形狀，因為它們嚴重依賴於解碼演算法，這限制了它們的泛化能力。

b）基於3D點雲的道路提取

基於3D點雲的道路或車道提取已廣泛用於生成高清地圖的過程中。鐳射雷達點雲具有高精度，通常在毫米級精度，幷包含掃描物件的幾何資訊。使用3D點雲的道路提取是使用分割完成的。Ibrahim等人指出，2D道路網路不提供物體相對位置的任何深度線索，並且2D道路網路中的微小基礎設施變化也不是最新的[64]。Ibrahim等人沒有在航空影象上構建道路網路，而是展示了澳大利亞珀斯中央商務區（CBD）的高清鐳射雷達地圖[64]。在他們的工作中，3D點雲資料是通過在SUV頂部放置一個驅逐鐳射雷達並駕駛SUV通過CBD收集的。以閉環方式收集點雲資料[64]，以避免累積配準誤差引起的漂移問題，如下圖所示：

環路檢測演算法用於提取形成環路的點雲，其中僅提取屬於特定環路的幀。然後對提取的環路點雲進行預處理，包括下采樣，分割地面點，並去除自我車輛和附近的無關點。使用3D正態分佈變換（NDT）對預處理的迴路點雲進行配準和合並，對合並後的原始點雲進行後處理，包括空間子取樣、噪聲去除、重複點去除和平滑，以生成最終提取的道路。

Ding等人提出了另一種生成3D地圖的方法，為特定場景建立高清地圖[67]。他們的提案將特定場景定義為自動駕駛應用的安全和操作環境。本文以大學校園的一部分作為構建三維高清地圖的具體場景。Ding等人劃分了他們的高清地圖架構分為四個不同的層，包括定位層、道路向量和語義層、動態物件層和實時交通層，見下表：

定位層儲存點雲和影象，用於定位，道路向量和語義層儲存道路行駛方向、道路型別和道路物件，在該層中，使用OpenDRIVE檔案格式。顧名思義，動態物件層儲存關於物件（如行人、障礙物和車輛）的高度動態感知資訊。該層以更高的頻率更新，以提供來自周圍環境的反饋。實時交通層儲存實時交通資料，如車速和位置以及交通訊號燈狀態。使用NDT演算法以實際場景的數字3D場景作為參考來建立3D HD地圖。

c）基於感測器融合方法的道路/邊界提取

基於2D航空影象和3D點雲的道路提取都有侷限性。由於照明條件差、路邊設施造成的遮擋以及各種地形因素，從衛星和航空影象中提取的道路網路通常不準確和不完整。3D點雲上的特徵提取也面臨遮擋和點密度變化問題，這導致道路提取不準確和不完整。在提取道路或道路邊界時，使用單一資料來源的侷限性是顯而易見的。因此，研究人員一直在使用多源資料來提取和完成道路或道路邊界。Gu等人[68]採用了鐳射雷達影象和相機透檢視，並構建了一個對映層，將鐳射雷達影象檢視的特徵轉換為相機透檢視像檢視。這種方法增強了攝像機透檢視中的道路提取效能。Gu等人[69]還提出了一種條件隨機森林（CRF）框架，用於融合鐳射雷達點雲和攝像機影象，以提取道路網路的距離和顏色資訊。在[70]中，設計了一個全卷積網路（FCN），用於基於道路檢測的殘差融合策略，合併從鐳射雷達攝像機資料中學習的特徵圖。Li等人[71]採用了一種不同的方法，通過融合GPS軌跡和遙感影象來構建路線圖。該方法使用基於轉移學習的神經網路從影象中提取道路特徵，並使用U網路提取道路中心線。此外，在[72]中設計了一個緊密耦合的感知規劃框架，通過使用GPScamera鐳射雷達感測器融合來檢測道路邊界。

Ma等人還提出了一種新的深度學習框架，名為BoundaryNet，用於提取道路邊界，並利用鐳射掃描點雲和衛星影象填補道路邊界資料中因遮擋造成的現有空白[73]。該方法使用基於路緣的提取方法提取道路邊界，並採用改進的U-net[74]模型從道路邊界點雲中去除噪聲點雲。然後，將基於CNN的道路邊界完成模型應用於提取的道路邊界，以填充一些間隙。受影象到影象轉換方法生成對抗性網路（GAN）[75]的啟發，設計了一種條件深度卷積生成對抗網路（c-DCGAN），以在從衛星影象提取的道路中心線的幫助下，提取更準確和完整的道路邊界。

2）道路標線提取

道路標記是高清地圖上的基本特徵，可為ego車輛提供有關交通方向、轉彎車道、可行駛和不可行駛車道、人行橫道等的資訊。與道路提取方法類似，也可以使用2D影象或3D點雲進行道路標記提取。

a）基於二維影象的道路標線提取

傳統上，2D影象上的道路標記提取是通過影象處理和計算機視覺實現的。包含道路標記的影象首先被去噪和增強，以使道路標記清晰和明顯，並突出目標和背景區域之間的對比度。然後，使用影象處理和計算機視覺方法提取目標道路標記，如基於邊緣的檢測（如Roberts、Sobel、Prewitt、Log和Canny）、閾值分割（如Otsu法和迭代法）、k均值聚類和區域增長法[83]。傳統方法在從路面或混凝土道路提取道路標記方面取得了顯著的效能。然而，沒有正確識別不同道路標記的簡單提取對於ego車輛理解道路規則來說不夠有效。隨著CNN的引入和快速發展，涉及CNN的方法已被廣泛開發並用於檢測和識別道路標記。2D影象上的道路標記提取和識別通常採用兩種不同的方法進行。一種是利用由車載攝像機捕獲的前檢視影象。另一種是從航空影象中提取道路標記。兩者的示例如下圖所示：

前檢視影象由於其成本效益和便利性而被廣泛用於道路標記提取，已經提出了幾種方法來檢測車道線標記。Zhang等人[84]提出了Ripple 車道線檢測網路（RiLLD網路），用於檢測普通車道線標記，Ripple GAN用於檢測複雜或閉塞的車道線標記。使用Sobel邊緣檢測濾波器將包含車道線標記的原始影象預處理為梯度圖，原始影象和梯度圖都被饋入RiLLD網路，以去除冗餘干擾資訊並突出車道線標記。提出的Ripple GAN是Wasserstein GAN（WGAN）[86]和RiLLDNet的組合。將添加了高斯白噪聲的原始車道線標記影象傳送到WGAN，以產生分割車道線標記結果。分割結果與梯度圖一起傳送到RiLLD網路，以進一步增強車道線標記檢測結果。此外，[87]提出了一種具有雙卷積門控遞迴單元（CONVGRU）的時空網路，用於車道線檢測。網路不是一次拍攝一張影象，而是將由連續時間戳的車道線標記組成的多個捕獲作為輸入。兩個convgru都有自己的功能，第一個ConvGRU，也稱為前端ConvGlu（FCGRU），位於編碼器階段，用於學習並過濾掉可能影響模型學習過程的干擾資訊。第二個ConvGRU，也稱為中間ConvGRU，包含多個ConvGRU。它位於編碼器和解碼器階段之間，用於徹底學習FCGRU產生的連續驅動影象的空間和時間驅動資訊。此外，還提出了其他方法來解決車道線檢測和提取問題，如圖形嵌入車道檢測[90]、基於漸進概率霍夫變換的車道跟蹤[91]、SALMNet[92]、基於分割的車道檢測[93]和Mask R-CNN例項分割模型[94]。下表彙總了當前車道線檢測主流方法及效能：

b）航空影象中的道路標線提取

衛星和航空影象不僅可用於道路網路提取，還可用於道路標記提取。Azimi等人[99]提出了航空LaneNet，以直接從航空影象中提取道路標記。所提出的網路包含對稱全卷積神經網路（FCNN）。原始航空影象在傳送到航空網路之前被切割成多個塊。空中LaneNet預測每個輸入塊的語義分割，併為每個塊生成二值影象，表示哪個畫素來自車道標記，哪個畫素來自背景。將所有二值影象/塊拼接在一起以構建具有與輸入影象相同解析度的最終道路標記影象。該模型還利用離散小波變換（DWT）實現多尺度和全譜域分析。同樣，Kurz等人[100]設計了一種小波增強FCNN，用於分割多檢視高解析度航空影象。imagery2D片段還用於基於最小二乘線擬合建立道路標記的3D重建。

Yu等人還提出了一種稱為MarkCapsNet[101]的自注意力引導膠囊網路，用於從航空影象中提取道路標記。所提出的網路結合了膠囊公式和HRNet[102]架構，通過涉及三個具有不同解析度的並行分支，可以在不同尺度上提取特徵語義。還設計了基於膠囊的自關注（SA）模組，並將其整合到MarkCapsNet的每個分支中，以進一步提高生成的用於道路標記提取的特徵地圖的表示質量。此外，Yu等人還為道路標記提取應用建立了一個稱為AerialLanes18的大型航空影象資料集，該資料集可作為未來測試道路標記提取不同方法的基準。MarkCapsNet和其他道路標記提取模型[99]、[102]–[105]在兩個資料集（UAVMark20和AerialLanes18）上進行了實驗和比較。表VIII中的結果表明，MarkCapsNet實現了最先進的效能。與航空影象相比，前檢視影象上的道路標記提取方法具有更小的視場，並且檢測/處理時間也比在航空影象上使用現有提取的道路標記更長。然而，由於檢測是基於實時攝像機影象的，因此對於道路標記的變化（如磨損和遮擋）是靈活的。相比之下，航空影象上的道路標記提取可以提取更大比例的道路標記，並將提取的道路標記儲存在高清地圖中，以減少檢測時間。然而，它對由照明條件、遮擋和路標磨損引起的資料缺陷非常敏感。

c）基於三維點雲的道路標線提取

3D點雲上的道路標線提取通常採用兩種不同的方法，自下而上方法和自上而下方法[81]。自底向上方法通過區分道路標記點雲和背景點雲直接提取道路標記。相反，自上而下的方法使用CNN檢測預定義的幾何模型，並基於檢測重建道路標記。

自底向上方法使用深度學習演算法，基於物件檢測和分割從原始3D點雲中直接提取道路標記。閾值相關方法及其擴充套件，包括多閾值和結合幾何特徵的多閾值過濾廣泛用於道路標記提取[106]-[109]。[103]、[110]在提取道路標記之前，將3D點雲轉換為2D地理參考強度影象，以顯著降低計算複雜度，但丟失姿態（位置和方向）或空間資訊。為了填補從提取的道路標記中缺失的姿態或空間資訊的空白，Ma等人提出了一種基於膠囊的道路標記提取和分類網路[111]。所提出的方法通過過濾掉非地面特徵點雲（如杆、交通燈和樹）來處理資料，以降低計算複雜度。使用反距離加權（IDW）演算法將處理後的3D點雲轉換為2D地理參考強度光柵影象。受[112]中提出的膠囊網路的啟發，Ma等人提出了一種基於U形膠囊的網路，該網路不僅可以從光柵影象中學習強度方差，還可以學習道路標記的姿態和形狀。

自頂向下方法使用現有的目標檢測演算法來檢測和定位道路標記幾何模型。它基於檢測和定位在3D點雲上重建道路標記。Prochazka等人[114]使用生成樹使用方法自動將點雲中的車道標記提取到多邊形地圖圖層中。所提出的方法在原始點雲上進行地面點檢測[115]，並使用生成樹識別檢測。在檢測和識別之後，將車道標記重建為向量形式。該方法可以檢測車道標線，但不能檢測其他型別的道路標線，如道路方向標線和人行橫道標線。Mi等人提出了一種使用MLS點雲進行道路標記提取和建模的兩階段方法[81]，方法利用YOLOv3[116]演算法來檢測道路標記，並在每次檢測時提供語義標籤。

3）桿狀物體提取

在高清地圖中，桿狀物件（如交通燈、交通標誌、路燈、樹木和電話線杆）對道路環境至關重要。它們可以幫助定位（不同於其他道路設施的形狀）和運動規劃（交通訊號燈提供交通流條件）。桿狀物體提取通常通過MLS 3D點雲的分割和分類完成。前幾年已經開發了各種用於桿狀物體提取的方法。Lehtomäki等人[117]提出使用MLS 3D點雲結合分割、聚類和分類方法檢測垂直杆狀物體。El Halawany等人[118]採用了基於協方差的程式，對地面鐳射掃描點雲進行桿狀物體分割，並找到它們的尺寸。Yokoyama等人[119]使用k近鄰圖應用拉普拉斯平滑，並使用主成分分析識別具有不同半徑和傾角的桿狀物體上的點。Pu等人[120]提出了一個從MLS 3D點雲中識別結構的框架，並基於點雲片段的特徵（如大小、形狀、方向和拓撲關係）提取了桿狀物件。Cabo等人[121]提出了一種通過使用規則體素化對點雲進行空間離散化並分析和分割水平體素化點雲來檢測桿狀物體的方法。Ordóñez等人[122]在[121]的基礎上增加了一個分類模組，以區分點雲中不同型別的極點。Yu等人[123]提出了一種半自動提取路燈杆的方法，將MLS 3D點雲分割為道路和非道路表面點，並使用成對3D形狀上下文從非道路段提取路燈杆。Zheng等人[124]提出了一種新的基於圖割集的分割方法，用於從MLS 3D點雲中提取路燈杆，然後採用基於高斯混合模型的方法識別路燈杆。

Plachetka等人[125]最近提出了一種基於深度神經網路（DNN）的方法，用於識別（檢測和分類）鐳射雷達點雲中的桿狀物體。受[126]的啟發，提出的DNN體系結構由三個階段組成：編碼器、主幹、分類和迴歸頭。原始3D點雲被預處理為單元特徵向量，單元特徵向量是編碼器級的輸入。Plachetka等人在[128]之後增加了另一個編碼器級，以提高單元特徵向量的代表性，而不是[127]中僅有一個編碼器。編碼器將單元特徵向量編碼成空間網格，作為主幹網的輸入。主幹階段採用並修改了特徵金字塔架構[61]，以包含更多上下文，提高了檢測小物件的模型效能[129]。主幹級將來自下游路徑的低階特徵和來自上游路徑的高階特徵連線起來，以進一步增強輸入網格的代表性。下游路徑使用卷積層，而上游路徑使用轉置卷積層，輸出特徵網格成為分類和迴歸頭階段輸入。該架構採用SSD[130]方法來計算最後階段的預測。該方法的平均召回率、準確率和分類準確率分別為0.85、0.85和0.93。檢測類別包括保護杆、交通標誌杆、交通燈杆、廣告牌杆、燈柱和樹木，總之，高清地圖中的桿狀物件由於其特殊形狀而成為定位的重要特徵。桿狀物件提取主要在3D點雲上進行，提取的效能還取決於點雲的質量。因此，需要進一步研究如何提高不完美資料下的類極點目標提取效能。

6高清地圖框架

隨著高清地圖越來越複雜，需要提取的環境特徵越來越多，有必要使用框架形式的良好軟體，以便在地圖中充分儲存相關資訊，並確保地圖的一致檢視。本節介紹了三種用於建立高清地圖的流行開源框架，包括Lanelet2、OpenDRIVE和Apollo地圖。

Lanelet2地圖包含三層：物理層、關係層和拓撲層，如下圖所示。這三層的特徵與此處定義的特徵相似。第一個物理層由兩個元素組成，點和線串，點是地圖的基本元素，它可以將垂直結構表示為單點的杆、車道或一組點的區域。線串被構造為兩個或多個點的有序陣列，其中每兩點之間使用線性插值。物理層，顧名思義，定義了可檢測元素，如交通燈、標誌、路緣石等第二個關係層由三個元素組成，lanelets、AREA和調控元素。車道定義了不同的道路型別，如常規車道、人行橫道和軌道。lanelet還與在lanelet內不改變的交通規則相關聯。它由一個左右線字串定義為兩個方向相反的邊界。通過將左邊框更改為右邊框（反之亦然），一對線串中的方向可以互換。區域由一條或多條線串構成，以形成封閉屏障，通常表示靜態結構，如建築物、停車場、遊樂場和草地空間。顧名思義，監管要素定義了交通規則，以監管ego車輛。車道和區域可以有一個或多個監管要素，如速度限制和限制。還可以新增動態規則，例如基於一天時間的轉向限制，作為監管元素。

Lanelet2是一個支援高清地圖的簡單而強大的框架。它還經常與Autoware Auto一起使用，為高清地圖建立向量地圖。

OpenDRIVE是由自動化和測量系統標準化協會（ASAM）開發的用於描述道路網路和建立高清地圖的開源框架。它還使用XML檔案格式儲存地圖資訊。在ASAM OpenDRIVE地圖中，有三個元素/層，參考線/道路、車道和特徵。與Lanelet2地圖不同，OpenDRIVE使用點來描述和構造地圖特徵，使用幾何圖元，包括直線、螺旋線、圓弧、三次多項式和描述道路形狀和行駛方向的引數三次多項式。這些幾何圖元稱為參考線。參考線是每個OpenDRIVE道路網路的關鍵組成部分，因為所有車道和特徵都沿著參考線構建。第二個元素，車道，連線到參考線並表示地圖上的可駕駛路徑。每條道路至少包含一條寬度大於0的車道。每條道路上的車道數取決於實際交通車道，沒有限制。沿道路修建車道時，需要寬度為0的中心車道作為車道編號的參考。中心車道根據道路型別定義兩側的行駛方向，可以是相反方向，也可以是相同方向。由於中心車道和基準線之間沒有偏移，因此中心車道與基準線重合。最後一個元素“要素”包含與交通規則相關的物件，如訊號和標誌。然而，與Lanelet2不同，ASAM OpenDRIVE不包含動態內容。在[135]中還可以找到由ASAM提供的OpenDRIVE使用者指南。

阿波羅地圖是由中國領先的自動駕駛平臺百度阿波羅建立的高清地圖。阿波羅高清地圖也使用OpenDRIVE格式，但是專為阿波羅設計的修改版。阿波羅只是使用點，不像OpenDRIVE，使用線、螺旋線和圓弧等幾何圖元定義道路。與Lanelet2中的點類似，每個點儲存緯度和經度值，這些點的列表定義道路邊界。在阿波羅高清地圖中，通常有五個不同的元素：

1. 道路元素包含道路邊界、車道型別和車道行駛方向等特徵；
2. 相交元素具有相交邊界；
3. 交通訊號元素包括交通訊號燈和標誌；
4. 邏輯關係元素包含交通規則；
5. 其他要素包括人行橫道、路燈和建築物[133]。

為了構建高清地圖，百度阿波羅將生成過程分為五個步驟：資料來源、資料處理、物件檢測、手動驗證和地圖製作，如下圖所示：

阿波羅地圖是OpenDRIVE的更高階和更復雜的版本，阿波羅地圖包含最初不在OpenDRIVE中的元素，如無停車區和人行橫道。阿波羅地圖也需要比OpenDRIVE更多的資料來定義車道。OpenDRIVE只需要指定車道寬度，而Apollo需要點來描述車道邊界。為了在阿波羅中使用OpenDRIVE地圖，可以使用此處提供的方法[136]將OpenDRIVE格式轉換為阿波羅格式。Lanelet2地圖也可以轉換為OpenDRIVE地圖格式。Carla是一個用於自動駕駛的開源模擬器，它提供了一個用於將OSM對映轉換為OpenDRIVE對映的PythonAPI[137]。

7參考文獻

[1] High-Definition Map Generation Technologies for Autonomous Driving

往期回顧

聊一聊基於鐳射雷達、Camera和跨模態資料的地圖定位！

【自動駕駛之心】全棧技術交流群

自動駕駛之心是首個自動駕駛開發者社群，聚焦目標檢測、語義分割、全景分割、例項分割、關鍵點檢測、車道線、目標跟蹤、3D感知、多感測器融合、SLAM、高精地圖、規劃控制、AI模型部署落地等方向；

加入我們： 自動駕駛之心技術交流群彙總！

自動駕駛之心【知識星球】想要了解更多自動駕駛感知（分類、檢測、分割、關鍵點、車道線、3D感知、多感測器融合、目標跟蹤）、自動駕駛定位建圖（SLAM、高精地圖）、自動駕駛規劃控制、領域技術方案、AI模型部署落地實戰、行業動態、崗位釋出，歡迎掃描下方二維碼，加入自動駕駛之心知識星球（三天內無條件退款），日常分享論文+程式碼，這裡匯聚行業和學術界大佬，前沿技術方向盡在掌握中，期待交流！