最全自動駕駛資料集分享系列一|目標檢測資料集(1/3)

語言: CN / TW / HK

目前關於自動駕駛資料集你想知道的,應該都在這裡了,這是「整數智慧」自動駕駛資料集八大系列分享之系列一:

「八大系列概覽」

自動駕駛資料集分享是整數智慧推出的一個全新分享系列,在這個系列中,我們將介紹目前為止各大科研機構和企業推出的所有公開自動駕駛資料集。資料集主要分為八個系列: - 系列一:目標檢測資料集 - 系列二:語義分割資料集 - 系列三:車道線檢測資料集 - 系列四:光流資料集 - 系列五:Stereo Dataset - 系列六:定位與地圖資料集 - 系列七:駕駛行為資料集 - 系列八:模擬資料集

本文是<系列一目標檢測資料集>的第一篇,一共分為三篇來介紹。

過去,研究人員建立和釋出的資料集相對較小,這些資料集的資料來源也比較有限,通常僅限於攝像頭資料。隨著採集裝置的升級, 自動駕駛資料集也在不斷升級。以谷歌自動駕駛汽車為例,谷歌自動駕駛汽車在外部車頂上裝置了64束鐳射測距儀,能夠使自動駕駛汽車把鐳射測的資料和高解析度的地圖相結合,使得做出不同型別的資料場景,以便在自動駕駛中躲避障礙物及遵循交通規則。除此之外,Pandset、nuScenes、BLVD等均採用了鐳射雷達感測器。

除了國外的一些知名資料集,百度、華為、滴滴和西安交大研究所也先後推出了國內的自動駕駛資料集,如Apollo Scape資料集、SODA10M 資料集、D²-City資料集和BLVD資料集,為國內自動駕駛技術的進展提供了重要的研究材料。

下面共包括14個數據集:

01 「Waymo資料集」

  • 釋出方:Waymo
  • 下載地址:https://waymo.com/open/
  • 釋出時間:2019年釋出感知資料集,2021年釋出運動資料集
  • 大小:1.82TB
  • 簡介:Waymo資料集是到目前為止最大、最多樣化的資料集,相比於以往的資料集,Waymo在感測器質量和資料集大小等方面都有較大提升,場景數量是nuScenes資料集的三倍
  • Perception Dataset
    • 1950個自動駕駛視訊片段,每段視訊包括20s的連續駕駛畫面
    • 汽車、行人、自行車、交通標誌四類標籤
    • 1260萬個3D框,1180萬個2D框
    • 感測器資料:1 箇中程鐳射雷達、4 個短程鐳射雷達、5個攝像頭
    • 採集範圍涵蓋美國加州的鳳凰城、柯克蘭、山景城、舊金山等地區的市中心和郊區。同時涉及各種駕駛條件下的資料,包括白天、黑夜、黎明、黃昏、雨天、晴天

waymo-perception.gif

  • Motion Dataset
    • 包括574 小時的資料,103,354個帶地圖資料片段
    • 汽車、行人、自行車三類標籤,每個物件都帶有2D框標註
    • 挖掘用於行為預測研究的行為和場景,包括轉彎、並道、變道和交匯
    • 地點包括:舊金山、鳳凰城、山景城、洛杉磯、底特律和西雅圖

waymo-motion.gif

02「PandaSet」

  • 釋出方:禾賽科技&Scale AI
  • 下載地址:https://scale.com/resources/download/pandaset
  • 釋出時間:2019
  • 大小:16.0 GB
  • 簡介:Pandaset面向科研及商業應用公開。首次同時使用了機械旋轉式和影象級前向兩類鐳射雷達進行資料採集,輸出點雲分割結果
  • 特徵
  • 48000多個攝像頭影象
  • 16000個鐳射雷達掃描點雲圖像(超過100個8秒場景)
  • 每個場景的28個註釋
  • 大多數場景的37個語義分割標籤
  • 感測器:1個機械LiDAR,1個固態LiDAR,5個廣角攝像頭,1個長焦攝像頭,板載GPS / IMU

pandaset.png

03「nuScenes」

  • 釋出方:無人駕駛技術公司Motional
  • 下載地址:https://scale.com/open-datasets/nuscenes/tutorial
  • 論文地址:https://arxiv.org/abs/1903.11027
  • 釋出時間:2019
  • 大小:547.98GB
  • 簡介:nuScenes 資料集是自動駕駛領域使用最廣泛的公開資料集之一,也是目前最權威的自動駕駛純視覺 3D 目標檢測評測集。nuScenes資料集靈感來源於kitti,是首個包含全感測器套件的資料集。其中包含波士頓和新加坡的 1000 個複雜的駕駛場景。該資料集禁止商用
  • 特徵
  • 全感測器套件:1個鐳射雷達、5個雷達、6個攝像頭、GPS 、 IMU
  • 1000個場景,每個場景20秒(850個用於模型訓練,150個用於模型測試)
  • 40萬個關鍵幀,140萬張相機圖片,39萬個鐳射雷達掃描點雲圖像,140 萬個雷達掃描點雲圖像
  • 為23個物件類標註的1400萬個3D標註框

nus.png

04「Lyft Level 5」

  • 釋出方:來福車(Lyft)交通網路公司
  • 下載地址:https://level-5.global/register/
  • 論文地址:https://arxiv.org/pdf/2006.14480v2.pdf
  • 釋出時間:2019年釋出Lyft-perception資料集,2020年釋出Lyft-prediction資料集
  • Lyft-perception
  • 簡介:來福車的自動駕駛汽車配備了一個內部感測器套件,可以收集其他汽車、行人、交通燈等的原始感測器資料
  • 特徵
    • 超過 55,000 幀,由人工進行3D標註
    • 130萬3D標註
    • 3萬鐳射雷達點雲資料
    • 350個60-90分鐘的場景

Lyft.png

  • Lyft-prediction
  • 簡介:該資料集包括無人駕駛車隊遇到的汽車、騎自行車者、行人等其他交通行為主體的動作記錄。這些記錄來自通過原始鐳射雷達、相機和雷達資料,是訓練運動預測模型的理想選擇
  • 特徵
    • 1000 個小時的駕駛記錄
    • 17 萬個場景:每個場景持續約 25 秒,包括交通訊號燈、航拍地圖、人行道等
    • 2575 公里:來自公共道路的 2575 公里數據
    • 15242 張標註圖片:包括高清語義分割圖以及該區域的高清鳥瞰圖

lyft-2.png

05「H3D - HRI-US」

  • 釋出方:本田研究所
  • 下載地址:https://usa.honda-ri.com//H3D
  • 論文地址:https://arxiv.org/abs/1903.01568
  • 釋出時間:2019
  • 簡介:使用3D LiDAR掃描器收集、大型全環繞3D多目標檢測和跟蹤資料集,該資料集僅供大學研究人員使用
  • 特徵
  • 360 度 LiDAR 資料集
  • 160個擁擠且複雜的交通場景
  • 27,721幀,1,071,302個3D標註框
  • 自動駕駛場景中8類常見物件的人工標註
  • 感測器:3個高清攝像頭,1個鐳射雷達,GPS / IMU

H3D.gif

06「Boxy vehicle detection資料集」

  • 釋出方:博世
  • 下載地址:https://boxy-dataset.com/boxy/
  • 論文地址:https://openaccess.thecvf.com/content_ICCVW_2019/papers/CVRSUAD/Behrendt_Boxy_Vehicle_Detection_in_Large_Images_ICCVW_2019_paper.pdf
  • 釋出時間:2019
  • 大小:1.1TB
  • 簡介:大型車輛檢測資料集,該資料集的亮點在於其500萬畫素的高解析度,但不提供3D點雲資料以及城市道路交通資料
  • 特徵
  • 220萬張、共1.1TB的高解析度影象
  • 500萬畫素解析度
  • 1,990,806個車輛標註,包括2D框標註和2.5D標註
  • 包括晴天、雨天、黎明、白天、傍晚等多種場景
  • 涵蓋交通擁堵和暢通的高速公路場景

boxy.jpeg

07「BLVD」

  • 釋出方:西安交通大學人工智慧與機器人研究所
  • 下載地址:https://github.com/VCCIV/BLVD/
  • 論文地址:https://arxiv.org/pdf/1903.06405.pdf
  • 釋出時間:2019
  • 簡介:全球首個五維駕駛場景理解資料集。BLVD旨在為動態4D跟蹤(速度、距離、水平角度和垂直角度)、5D互動事件識別(4D+互動行為)和意圖預測等任務提供一個統一的驗證平臺。由西安交通大學夸父號無人車採集
  • 特徵
  • 標註654個包含12萬幀的序列,全序列5D語義註釋
  • 249129條3D目標框,4902個有效可跟蹤的獨立個體
  • 總長度約214900個跟蹤點
  • 6004個用於5D互動事件識別的有效片段,4900個可以進行5D意圖預測的目標
  • 豐富的場景:城市和高速公路、白天和夜晚
  • 多個物件:行人、車輛、騎行者(包括騎自行車和騎摩托車的人)
  • 感測器:一個Velodyne HDL-64E三維鐳射雷達、GPS / IMU、兩個高解析度多視點相機

blvd.png

08「SODA10M 資料集」

  • 釋出方:華為諾亞方舟實驗室&中山大學
  • 下載地址:https://soda-2d.github.io/download.html
  • 論文地址:https://arxiv.org/pdf/2106.11118.pdf
  • 釋出時間:2021
  • 大小:5.6GB(帶標記的資料),2TB(未標記的資料)
  • 簡介:半/自監督的2D基準資料集,其主要包含從32個城市採集的一千萬張多樣性豐富的無標籤道路場景圖片以及兩萬張帶標籤圖片
  • 特徵
  • 1000萬張無標籤圖片以及2萬張有標籤圖片,由手機或行車記錄儀(1080P+)每10秒獲取一幀影象
  • 6種主要的人車場景類別:行人、自行車、汽車、卡車、電車、三輪車
  • 覆蓋中國32個城市
  • 場景的多樣性覆蓋:晴天/陰天/雨天;城市街道/高速公路/鄉村道路/住宅區;白天/夜間/黎明/黃昏
  • 地平線保持在影象的中心,車內的遮擋不超過整個影象的15%

soda.png

09「D²-City資料集」

  • 釋出方:滴滴
  • 下載地址:https://www.scidb.cn/en/detail?dataSetId=804399692560465920
  • 釋出時間:2019年
  • 大小:131.21 GB
  • 簡介:D²-City是一個大規模行車視訊資料集。與現有的資料集相比,D²-City勝在其資料集的多樣性,資料集採集自執行在中國五個城市的滴滴運營車輛,並且涵蓋不同的天氣、道路和交通狀況
  • 特徵
  • 10,000 多個視訊,所有視訊均以高清(720P)或超高清(1080P)解析度錄製,所提供的原始資料均儲存為幀率25fps、時長30秒的短視訊
  • 其中大約有1000個視訊對12類物件都進行2D框標註以及跟蹤標註,包括汽車、貨車、公共汽車、卡車、行人、摩托車、自行車、開放式和封閉式三輪車、叉車以及障礙物
  • 所提供的原始資料均儲存為幀率25fps、時長30秒的短視訊
  • 豐富的場景:涵蓋了不同的天氣、道路、交通狀況,尤其是極複雜和多樣性的交通場景,如光線不足、雨霧天氣、道路擁堵、影象清晰度低等

10「Apollo Scape資料集」

  • 釋出方:百度
  • 下載地址:http://apolloscape.auto/scene.html
  • 釋出時間:2018-2020年
  • 簡介:百度阿波羅資料集包括軌跡預測、3D 鐳射雷達目標檢測和跟蹤、場景解析、車道語義分割、3D 汽車例項分割、立體和修復資料集等
  • 特徵
  • 場景分割資料:ApolloScape釋出的整個資料集包含數十萬幀逐畫素語義分割標註的3384 x 2710高解析度影象資料
  • 車道語義分割:110,000多幀的高質量的畫素級語義分割資料
  • 3D物體檢測和追蹤資料集:在中國北京的各種照明條件和交通密度下收集

apollo.gif

11「BDD100K」

  • 釋出方:加州大學伯克利分校AI實驗室(BAIR)
  • 下載地址:https://bdd-data.berkeley.edu/
  • 論文地址:https://arxiv.org/pdf/1805.04687.pdf
  • 釋出時間:2018
  • 大小:57.45GB
  • 簡介:BDD100K憑藉其資料集的多樣性贏得了很大關注,該資料集通過眾包的方式由數萬名司機進行採集,涵蓋的城市包括紐約、舊金山灣區和其他地區。BAIR 研究者在視訊上取樣關鍵幀,併為這些關鍵幀提供標註
  • 特徵
  • 100,000個高清視訊,超過1,100小時的駕駛記錄,每個視訊大約40秒長,清晰度為720p,幀率為30
  • 視訊還包含GPS位置資訊、IMU資料和時間戳
  • 涵蓋晴天、陰天、雨天、雪天、多霧天氣、多雲6種天氣;白天、夜晚;城市道路、隧道、高速公路、居民區、停車場和加油站等不同駕駛場景
  • 研究者為每個視訊的第10秒取樣關鍵幀
  • 包含以下幾種標註型別:影象標註、車道線標註、可行駛區域標註、道路目標檢測、語義分割、例項分割、多目標檢測跟蹤等

BDD100K.png

12「KITTI」

  • 釋出方:德國卡爾斯魯厄理工學院(KIT)、豐田工業大學芝加哥分校(TTIC)
  • 下載地址:http://www.cvlibs.net/datasets/kitti/
  • 論文地址:https://arxiv.org/abs/1803.09719
  • 釋出時間:2011
  • 簡介:KITTI是自動駕駛領域最重要的資料集之一,KITTI主要是針對自動駕駛領域的影象處理技術,主要應用在自動駕駛感知和預測方面,其中也涉及定位和SLAM技術。該資料集用於評測立體影象(stereo),光流(optical flow),視覺測距(visual odometry),3D物體檢測(object detection)和3D跟蹤(tracking)等計算機視覺技術在車載環境下的效能
  • 特徵
  • 包括KITTI-stereo、KITTI-flow、KITTI-sceneflow、KITTI-depth、KITTI-odometry、KITTI-object、KITTI-tracking、KITTI-road、KITTI-semantics等資料集
  • 立體影象和光流圖:389對
  • 39.2 km視覺測距序列以及超過200k 3D標註物體的影象組成 ,以10Hz的頻率取樣及同步
  • 3D物體檢測類別:汽車、貨車、卡車、行人、自行車、電車、其他
  • 包含場景:城市道路、鄉村和高速公路
  • 感測器:1個64線3D鐳射雷達,2個灰度攝像機,2個彩色攝像機,以及4個光學鏡頭

KITTI.png

13「CityPersons 」

  • 釋出方:馬克斯·普朗克學會 (Max Planck Inst.(Info.))
  • 下載地址:https://www.cityscapes-dataset.com/login/
  • 論文地址:https://arxiv.org/abs/1702.05693
  • 釋出時間:2017
  • 簡介:CityPersons是Cityscapes的一個子集,對Cityperscapes中的行人進行2D框標註。該行人資料集比以往的資料集如INRIA 、ETH、TudBrussels和Daimler等更具多樣性和豐富性,涵蓋的範圍包括法國、德國和瑞士
  • 特徵
  • 進一步的細粒度標籤:行人(步行、跑步、站立)、騎行者(騎自行車的人、騎摩托車的人)、坐著的人、其他(不同尋常的人體姿態例如伸展等)
  • 除了真人之外,還標註了海報上的人、雕塑、鏡子或的窗戶上人的倒影等
  • 資料集涵蓋27個不同城市、3個不同季節以及不同的天氣狀況
  • 資料集共包含35000個行人,平均每張圖包含7個人的標註

cityperson.png

14「TUD-Brussels Pedestrian &TUD-MotionPairs 」

  • 釋出方:馬克斯·普朗克學會 (Max Planck Inst.(Info.))
  • 下載地址:https://www.mpi-inf.mpg.de/departments/computer-vision-and-machine-learning/research/people-detection-pose-estimation-and-tracking/multi-cue-onboard-pedestrian-detection
  • 論文地址:https://www.mpi-inf.mpg.de/fileadmin/inf/d2/wojek/wojek09cvpr.pdf
  • 釋出時間:2010
  • 簡介:馬克斯·普朗克學會於2010年早期推出行人資料集,馬克斯·普朗克學會通過這個資料集實現了當時一項具有挑戰性的任務——即在汽車行駛過程中,通過樣貌特徵和運動特徵來實現多視角的行人檢測
  • TUD-Brussels Pedestrian
  • 通過一輛駕駛汽車採集的布魯塞爾市中心的資料
  • 508對解析度為640x480的影象
  • 包含1326個行人標註

  TUD-Brussels Pedestrian.png

  • TUD- MotionPairs
  • 1092對影象,帶有1776個行人標註的影象
  • 192對包含正負片的影象
  • 在城市行人區內記錄的多視角影象

TUD- MotionPairs.png

「聯絡我們」

我們希望通過我們在資料處理領域的專業能力,在未來三年,能夠賦能1000+以上的AI企業,成為這些企業的「資料合夥人」,因此我們非常期待能與正在閱讀這篇文章的您,有進一步的溝通交流,所以非常歡迎您來聯絡我們,一起探索合作的可能性,我們的聯絡方式如下:

聯絡人:祁先生 13456872274

更多詳情可訪問我們的官網:www.molardata.com