論文閱讀：RRPN：RADAR REGION PROPOSAL NETWORK FOR OBJECT DETECTION IN AUTONOMOUS

語言: CN / TW / HK
時間 2022-06-02 08:15:15

theme: hydrogen

持續創作，加速成長！這是我參與「掘金日新計劃 · 6 月更文挑戰」的第7天，點選檢視活動詳情  

🍊作者簡介：禿頭小蘇，致力於用最通俗的語言描述問題

🍊往期回顧：凸優化理論基礎1--仿射集    凸優化理論基礎2——凸集和錐

🍊近期目標：擁有5000粉絲

🍊支援小蘇：點贊👍🏼、收藏⭐、留言📩

寫在前面

  在上篇文章中，我們學習到了鐳射雷達和相機融合的論文。那麼這篇文章我將來介紹一下毫米波雷達和相機融合的方法。這裡我先給出三種感測器（相機、鐳射雷達、毫米波雷達）的一些屬性特點，如下：

| | 攝像頭 | 毫米波雷達（radar） | 鐳射雷達(lidar) | | :---------------: | :----------------------------------: | :------------------------------------------------------: | :------------------------------------------------: | | 探測角度（°） | 35 | 10-80 | 15-360 | | 探測距離 | 150m | 200-300 | 200-300 | | 精度 | 一般 | 較高 | 很高 | | 優勢 | 成像清晰、能識別顏色、識別物體屬性 | 體積小、不受雨雪等惡劣天氣影響、全天候進行工作 | 探測精度高、視野大、不受光照限制、可測絕大部分物體 | | 劣勢 | 受光照影響大、受雨霧等惡劣天氣影響大 | 解析度低、不能識別小物體、易受訊號干擾、無法識別物體屬性 | 成像速度較慢、成本高、受霧霾等天氣影響較大 | | 主要功能 | 判斷前車距離、識別物體種類 | 距離檢測、自適應巡航 | 隧道環境內壁檢測、識別與跟蹤、定位導航、環境建模 |

  radar可以在檢測到的物體上提供準確的距離和速率資訊，但它們不適用於諸如物體分類之類的任務，因為它不能夠識別物體的屬性。另一方面，相機是用於物件分類的非常有效的感測器，使radar和相機感測器融合成為自動駕駛應用中非常有趣的話題。

 

RRPN網路

  這篇文章的核心就是這個RRPN網路，主要由三個部分組成，即透視變換、錨點生成、距離補償。值得一提的是這個RRPN網路是非常好理解的，但是你需要對fast-RCNN、faster-RCNN有一定的認識，論文中網路的整體整體框架也是和fast-RCNN類似的。下面將來分別介紹這三個部分。

  • 透視變換

  生成 ROI 的第一步是將雷達檢測從車輛座標對映到攝像機檢視座標。 雷達檢測以鳥瞰圖的形式報告，如下圖所示，物體的距離和方位角在車輛的座標系中測量。 通過將這些檢測到的量對映到相機檢視座標，我們能夠將雷達檢測到的物件與相機獲得的影象中看到的物件相關聯。

image-20220516104203773

  上文紅色字型的意思就是說我們可以將毫米波雷達的角度和距離資料投影到相機的三維座標中，為方便大家理解，我畫了從雷達座標到相機座標轉化的示意圖，如下：

image-20220516104953030

  這樣我們就得到了相機座標系下的座標，之後可以通過四系座標轉化將座標投影到畫素座標系下。論文中還提到了相機的標定，這裡給出張氏標定法參考連結：https://blog.csdn.net/qq_47233366/article/details/124165936?spm=1001.2014.3001.5502🥝🥝🥝

 

  • 錨點生成

  從上一步我們已經將毫米波雷達檢測座標投影到了畫素座標系下，這時我們就有了影象中每個檢測到的物體的大致位置。這些對映到影象上的點(以下稱為興趣點 (POI)) 提供了有關每個影象中物件的有價值的資訊，從而無需對影象本身進行任何處理。有了這些資訊，提出ROI的一種簡單方法就是引入一個以每個POI為中心的邊界框。但是這樣的處理會存在一些問題，一個問題是雷達檢測並不總是對映到每個影象中檢測到的物件的中心。另一個問題是，雷達不提供關於檢測到的物體的大小的任何資訊。為解決這些問題，論文中採取了不同大小和不同比例的候選框且候選框在POI不同位置的策略，如下圖所示：【其實這裡就基本和fastet-RCNN類似】

image-20220516110233177  

  • 距離補償

      每個物體與車輛的距離在確定其在影象中的尺寸方面起著重要作用。通常，影象中物體的大小與其與相機的距離成反比關係。雷達檢測具有每個檢測到的物體的距離資訊，在此步驟中用於縮放所有生成的錨點。我們使用以下公式來確定要在錨點上使用的縮放因子:

    image-20220516110328118

      其中$\alpha、 \beta$ 是學習到的引數，即通過最大化真實框和候選框IUO所對應的$\alpha、 \beta$，公式如下所示：

在這裡插入圖片描述

 

實驗結果

​  實驗中使用兩種不同的骨幹網路，一個是ResNet-101(後文簡稱R101)，一個是ResNext-101(後文稱X101)，且設定了兩個資料集，如下：

| 第一個子集 | 第二個子集 | | :----------------------: | :--------------------------: | | NS-F | NS-FB | | 包含前置攝像頭和前置雷達 | 包含後置攝像頭和兩個後置雷達 | | 共有23k個樣本 | 共有45k個樣本 |

image-20220516110825763

  從上圖可以看出，實驗RRPN網路的檢測精度要比使用SS演算法高，此外在實驗中，RRPN 能夠每秒 處理70 到 90 張影象，而選擇性搜尋演算法每張影象需要 2-7 秒，也就是說使用RRPN網路可以大大提高網路的速度。

   

論文下載

下載地址：https://arxiv.org/pdf/1905.00526.pdf

      如若文章對你有所幫助，那就🛴🛴🛴

咻咻咻咻~~duang\~~點個讚唄

「」