自動駕駛中雷達感知:時域關係的充分利用

語言: CN / TW / HK

arXiv上2022年4月上傳的論文“Exploiting Temporal Relations on Radar Perception for Autonomous Driving“,基本是Brandeis大學的學生在MERL的實習生工作。

該文考慮雷達傳感器在自動駕駛中的目標識別問題。與激光雷達傳感器相比,雷達在全天候條件下對自動駕駛的感知具成本高效和具備魯棒性。然而,雷達信號在識別周圍目標時,角分辨率和精度較低。為了提高車載雷達的能力,這項工作在連續自車為中心的BEV雷達圖像幀中充分利用時間信息進行雷達目標識別。作者利用目標存在和屬性(大小、方向等)的一致性,提出一個 時域關係層(temporal relational layer) 對連續雷達圖像中目標之間的關係明確地建模。在目標檢測和多目標跟蹤方面,該方法與其他幾種基準方法相比具有優越性。

車載雷達主要使用FMCW檢測目標,並在多個物理域上生成點雲。其原理如圖所示:

雷達通過M個發射天線之一發射一組FMCW脈衝信號即

具有徑向速度vt和遠場空間角(即方位角、仰角或同時存在)距離在R0範圍內的一個目標,在N個接收器射頻鏈(包括低噪聲放大器LNA、本地振盪器LO和模數轉換器ADC)的每一個,所接收到的FMCW信號做振幅衰減和相位調製。

基帶信號處理模塊(包括距離、多普勒和空域的快速傅里葉變換FFT)捕獲來自目標的調製信號,生成一個多維譜。頻譜與自適應閾值進行比較,即恆定虛警率(CFAR)檢測,可以在距離、多普勒、方位和仰角域生成雷達點雲。

如圖是所提出的具有時序性雷達目標識別框架:從左到右,該方法取兩個連續的雷達幀,並從每一幀提取時域特徵;然後,選擇可能是潛在目標的特徵,並學習它們之間的時域一致性。最後,對更新後的訓練特徵進行一些迴歸分析。

通過主幹神經網絡,輸入兩幀得到特徵表示

為了在特徵表示中聯合使用高級語義和低級細化細節,神經網絡中不同尺度特徵之間建立跳連接。具體地説,對於一個跳連接,在一個深層上採樣池化特徵,通過雙線性插值將其大小與以前的淺層特徵對齊。一系列操作,包括卷積、非線性激活和批量標準化(BN),隨後應用於該上採樣特徵。接下來,沿通道維度將上採樣特徵與淺層特徵連接。三個跳連接被插入到網絡中,推動特徵在四個不同層接納語義。

如圖是在主幹網插入的幾個跳連接,收集不同尺度特徵進行預測。所選擇用於時域關係建模的特徵附上位置編碼,揭示目標的位置。

設計一個 時域關係層 模擬連續幀中潛在目標之間的相關性和一致性。該時域關係層從兩個幀接收多個特徵向量,每個向量表示雷達圖像中的潛在目標。

應用一個濾波模塊,挑選出前K個潛在目標特徵,其中Zc中的潛在目標座標為:

類似地,可以得到Zp中的潛在目標座標Pp。這樣所選特徵組成的矩陣為

時域關係層的輸入即記作

在Hc+p傳遞到時域關係層之前,在特徵向量中補上位置編碼。由於CNN具有平移不變性,卷積神經網絡在輸出特徵表示中不包含絕對位置信息。然而,位置在目標時域關係中是至關重要的,因為在兩個連續幀中處於特定空域距離的目標更有可能關聯,並且共享相似目標的屬性。同一目標之間的空域距離取決於幀率和車輛運動,可以通過數據驅動的方法進行學習。

時域關係層的輸出特徵為:採用Transformer結構

掩碼矩陣定義為:

自注意機制背後的邏輯是,由於一個目標可以移出範圍,所以在連續幀中不能始終保證同一目標同時出現,因此,當一個目標只在一幀中丟失時,自注意是可取的。值得注意的是,位置編碼只附加給key和query,而不是value,因此輸出特性不涉及位置。其他技術細節遵循Transformer的設計,這裏省略了詳細描述。

關係建模是由多個具有相同設計的時域關係層構成的。最後,將更新後的特徵Hc和Hp從Hc+p中分離出來,並在Pc和Pp的相應空間座標中將特徵向量重新填充到Zc和Zp。

在模型訓練時,從熱圖中選取目標的中心座標,並通過迴歸從特徵表示中學習其屬性(即寬度、長度、方向和中心座標偏移)。

將2D徑向基函數(RBF)核置於每個真值目標的中心,生成真值熱圖,而RBF核的參數σ與目標的寬度和長度成比例。考慮到雷達圖像中目標的稀疏性,用focal loss來平衡真值中心和背景的迴歸,並驅動預測的熱圖來近似真值熱圖,即

注:在模型推理中,在熱圖上設置一個閾值,以區分目標中心和背景。應用NMS,可避免過多邊框出現。

目標寬度和長度的迴歸損失項為:

其中L1平滑損失為

目標姿態的迴歸損失為

主幹網絡中下采樣會造成目標中心座標偏離。這裏記作

其迴歸損失為

這樣總損失為

每個訓練步驟,都會計算損失L,並同時對當前幀和前一幀進行反向運算。在當前幀中的目標,接收過去的信息以進行識別。另一方面,從前一個幀角度來看,目標會利用來自未來最近幀的時間信息。因此,可以將優化視為對兩個連續幀的雙向後向-前向訓練。目前,沒有將當前的框架擴展到多個幀,因為一箇中間幀沒有時域特徵提取所需要的輸入圖像適當序貫次序(既不是從過去到未來,也不是從未來到過去),並且會降低訓練效率。

對於多目標跟蹤,在中心特徵向量添加一個迴歸頭,預測當前幀和前一幀具有相同跟蹤ID的目標中心之間的2-D運動偏移。簡單地,用歐氏距離來實現跟蹤解碼中的關聯。

如下是MOT的解碼算法偽代碼:

數據集Radiate,包括了在惡劣天氣(包括太陽、夜晚、雨、霧和雪)下錄製的視頻序列。駕駛場景從高速公路到市區,各不相同。數據格式為從點雲生成的雷達圖像,其中像素值表示雷達信號反射的強度。Radiate採用機械掃描方式的Navtech CTS350-X雷達,提供360度4赫茲高分辨率距離-方位(range-azimuth)圖像。目前,雷達無法提供多普勒或速度信息。整個數據集共有61個序列,劃分為三部分:好天氣下訓練(31個序列,22383幀,僅在好天氣,晴天或陰天),好天氣和壞天氣(12個序列,9749幀,好天氣和壞天氣)條件下訓練以及測試(18個序列,11305幀,各種天氣條件)。分別在前兩個訓練集上訓練模型,並在測試集上進行評估。

實驗結果如下: