最全自動駕駛資料集分享系列七 | 駕駛行為資料集

語言: CN / TW / HK
時間 2022-09-07 03:15:19

目前關於自動駕駛資料集你想知道的，應該都在這裡了，這是「整數智慧」自動駕駛資料集八大系列分享之系列七：

「本期劃重點」

  • 首次提出由駕駛視訊、鐳射雷達和相應的駕駛行為組成的資料集：DBNet
  • 第一個帶註釋的DAVIS行車記錄開放資料集：DDD17
  • 第一組自然駕駛資料集：Brain4Cars

圖片

「八大系列概覽」

自動駕駛資料集分享是整數智慧推出的一個全新分享系列，在這個系列中，我們將介紹目前為止各大科研機構和企業推出的所有公開自動駕駛資料集。資料集主要分為八個系列：

本文是<系列七：駕駛行為資料集>，下面共包括10個數據集：

### 01 「DBNet」

  • 釋出方：上海交通大學

  • 下載地址：

    http://www.dbehavior.net

  • 論文地址：

    http://www.dbehavior.net/data/egpaper_release.pdf

  • 釋出時間：2018年

  • 簡介：該網路提供了由Velodyne鐳射掃描的大規模高質量點雲、儀表盤攝像頭記錄的視訊和標準司機行為

  • 特徵

    • 大規模：該資料集由超過10k幀的真實街景組成，資料總量超過1TB
    • 多樣性：記錄真實交通中連續而多變的場景，如海邊道路、學校區域甚至是山路，其中包含了大量的十字路口、行人和交通標誌
    • 高質量：資料集中的點雲、視訊和駕駛員行為均通過高解析度感測器獲取，能夠較好地還原真實駕駛工況

圖片

第一行是灰色特徵圖，第二行是對應的使用噴射彩色地圖的彩色特徵圖

02 「DDD17」

  • 釋出方：蘇黎世聯邦理工學院

  • 下載地址：

    sensors.ini.uzh.ch/databases

  • 論文地址：

    http://xueshu.baidu.com/usercenter/paper/show?paperid=af61bd34613491c87c1e28579e900d42

  • 釋出時間：2017年

  • 簡介：DDD17是第一個帶註釋的DAVIS行車記錄開放資料集。DDD17有一個346x260畫素的DAVIS感測器，可以記錄公路和城市在白天、晚上、夜晚、乾溼天氣條件下的行駛情況，以及從車載診斷介面獲取的車輛速度、GPS位置、駕駛員轉向、油門和剎車資訊

  • 特徵

    • 使用活動畫素視覺感測器（DAVIS）收集資料
    • DAVIS行車記錄帶有註釋

圖片

頂部面板顯示DAVIS框架（左：覆蓋了一些駕駛資料集，右：事件），底部面板顯示了進度條，以及不同車輛資料的視覺化（頂部是前燈狀態，中間是轉向角度，底部是速度）

03 「Brain4Cars」

  • 釋出方：康奈爾大學

  • 下載地址：

    http://www.brain4cars.com

  • 論文地址：

    http://xueshu.baidu.com/usercenter/paper/show?paperid=db1a3beb87eca6e87b799b1c1d87111d

  • 釋出時間：2016年

  • 簡介：該資料集包括1180英里的自然高速公路和城市駕駛，並表明可以在機動車實時發生前3.5秒預測這些機動車，精確度和召回率分別為90.5%和87.4%

  • 特徵

    • 提出了一種提前幾秒鐘預測駕駛動作的方法
    • 第一組自然駕駛的資料集，包括車內的視訊、GPS和速度資訊

圖片

資料集在司機和景觀方面是多樣化的

04 「Dr(eye)ve」

  • 釋出方：摩德納大學

  • 下載地址：

    http://imagelab.ing.unimore.it/dreyeve

  • 論文地址：

    http://xueshu.baidu.com/usercenter/paper/show?paperid=b3c91a0614c90b14472ab520ae4b8093

  • 釋出時間：2016年

  • 簡介：該資料集由50多萬幀組成，包含司機的凝視和他們的時間整合，提供了特定任務的顯著性地圖。地理參考位置、駕駛速度和路線完成了這組釋出的資料。

  • 特徵

    • 該資料集是公開的，提供了數小時的駕駛視訊，可以用來理解注意力現象
    • 該資料集依賴於任務和環境。根據注意力的心理學研究，資料是在真實的駕駛體驗中收集的，因此儘可能地真實
    • 使用高階注意力識別儀器，結合攝像頭資料和GPS資訊

圖片

從左到右，從上到下：車載檢視、駕駛員視角、凝視地圖疊加和地理參考路線

05 「Elektra(DrivFace)」

  • 釋出方：巴塞羅那自治大學

  • 下載地址：

    http://adas.cvc.uab.es/elektra/enigma-portfolio/cvc11-drivface-dataset/

  • 官網地址：

    http://adas.cvc.uab.es/elektra/

  • 釋出時間：2016年

  • 簡介：該資料庫包含在真實場景中駕駛時的主題影象序列。它由606個樣本組成，每個樣本大小為640x480畫素，在不同的日期從4名司機（2名女性和2名男性）那裡獲得，並具有眼睛和鬍鬚等多種面部特徵

  • 特徵

    • ground truth包含人臉邊界框和人臉關鍵點的註釋
    • 給出了一組標籤，將每個影象分配到3個可能的注視方向類別。第一類是“右視”類，包含-45°和-30°之間的角度。第二個是“正面”類，包含-15°和15°之間的角度。最後一個是“左視”類，包含30°到45°之間的角度

圖片

06 「DIPLECS Surrey」

  • 釋出方：薩里大學

  • 下載地址：

    http://cvssp.org/data/diplecs/

  • 釋出時間：2015年

  • 簡介：該資料集是通過將高清攝像頭放置在薩里鄉村周圍行駛的汽車中記錄，包含大約30分鐘的駕駛時間。視訊解析度為1920x1080，使用H.264編解碼編碼

  • 特徵

    • 通過跟蹤方向盤上的標記來估計轉向
    • 汽車的速度是從汽車的時速表OCR估計的

圖片

07 「HDD」

  • 釋出方：美國本田研究所

  • 下載地址：

    http://usa.honda-ri.com/hdd

  • 論文地址：

    http://usa.honda-ri.com/documents/248678/249773/CVPR_18_HDD_Yi_Ting-v2.pdf/bb391444-9687-7b3b-0b34-c3534f15904f

  • 釋出時間：2018年

  • 簡介：該資料集明確的目標是學習人類如何執行行動並與交通參與者互動。作者在舊金山灣區收集了104個小時的人類真實駕駛記錄，使用的是一輛帶儀器的車輛。錄音由137個session組成，每個session代表一個司機執行的導航任務

  • 特徵

    • 104小時的人類真實駕駛記錄
    • 高解析度相機：1920 x 1200畫素，幀率30Hz
    • 資料收集範圍包括舊金山灣區市區、郊區和高速公路

圖片

交通場景中不同司機行為的例子，黃色的軌跡表示儀器車輛的GPS位置

08 「JAAD」

  • 釋出方：美國本田研究所

  • 下載地址：

    http://data.nvision2.eecs.yorku.ca/JAAD_dataset/

  • 論文地址：http://openaccess.thecvf.com/content_ICCV_2017_workshops/w3/html/Rasouli_Are_They_Going_ICCV_2017_paper.html

  • 釋出時間：2017年

  • 簡介：JAAD是用於研究自動駕駛背景下的聯合注意力的資料集。重點是行人和駕駛員在交叉路口的行為以及影響它們的因素。為此，JAAD資料集提供了一個有豐富註釋的346個短視訊片段（5-10秒長）的集合，這些片段是從超過240小時的駕駛錄影中提取的。這些在北美和東歐幾個地方拍攝的視訊代表了不同天氣條件下日常城市駕駛的典型場景。該資料集為所有行人提供了帶有遮擋標籤的邊界框，使這個資料集適用於行人檢測。行為註釋說明了與司機互動或需要司機注意的行人的行為，每段視訊都有幾個標籤（天氣、地點等）和固定列表中帶有時間戳的行為標籤（例如，停止、行走、尋找等）。此外，還為每個行人提供了人口屬性列表（如年齡、性別、運動方向等），以及每一幀的可見交通場景元素列表（如停車標誌、交通訊號等）

  • 特徵

    • 資料集中有超過300個視訊片段，持續時間從5秒到15秒不等
    • 資料收集在北美（60個片段）和歐洲（286個片段）
    • 使用三種不同的高解析度單眼相機收集，視訊幀率為30fps

圖片

 資料集中提供的註釋示例:所有行人的邊界框，行為標籤，行人過馬路或打算過馬路的性別和年齡，上下文標籤(天氣，一天的時間，街道結構)

09 「UAH-DriveSet」

  • 釋出方：阿爾卡拉大學（UAH）

  • 下載地址：

    http://www.robesafe.uah.es/personal/eduardo.romera/uah-driveset/#dataset

  • 論文地址：

    http://www.robesafe.uah.es/personal/eduardo.romera/pdfs/Romera16itsc.pdf

  • 釋出時間：2016年

  • 簡介：UAH-DriveSet 是我們的駕駛監控應用 DriveSafe 由不同環境中的各種測試人員捕獲的公共資料集合。該資料集試圖通過提供大量變數來促進駕駛分析領域的進展，這些變數在獨立駕駛測試期間由智慧手機的所有感測器和功能捕獲和處理。該應用程式在 6 位不同的駕駛員和車輛上執行，在兩種型別的道路（高速公路和次要道路）上執行 3 種不同的行為（正常、昏昏欲睡和攻擊性），產生超過 500 分鐘的自然駕駛及其相關的原始資料和其他語義資訊，以及旅行的視訊記錄

  • 特徵

    • 由6名不同的司機和車輛執行
    • 在兩種型別的道路上執行3種不同的行為（正常、瞌睡和攻擊性）
    • 產生了500分鐘的自然駕駛及其相關的原始資料和經過處理的語義資訊，同時還有行程的視訊記錄

圖片

在次要道路行駛的記錄

10 「DADA」

  • 釋出方：西安交通大學，長安大學

  • 下載地址：

    http://github.com/JWFangit/LOTVS-DADA

  • 論文地址：

    http://arxiv.org/abs/1912.12148v1

  • 釋出時間：2019年

  • 簡介：作者製作了該資料集用於研究駕駛員注意力預測。作者搜尋了幾乎所有的公共資料集和主流視訊網站，獲得了300萬幀左右的視訊，經過清洗工作後獲得了2000個解析度為1584 x 660的視訊中（等於6.1小時，30fps），視訊不做任何修剪工作使注意力的收集更加自然

  • 特徵

    • 根據事故的參與者將視訊劃分為54類
    • 場景涉及高速公路，城市道路，鄉村道路，隧道等

圖片

目標檢測和注意力預測結果
「」