如何轻松上手3D检测应用实战?飞桨产业实践范例全流程详解
随着深度学习技术的快速发展,3D检测技术作为关键发展方向之一,在机器人视觉、城市视觉、增强现实等领域发挥重要作用。传统依靠激光雷达的3D检测方法存在传感器昂贵,难以大规模广泛部署、点云缺失纹理信息、分辨率低等问题。建立单目3D检测模型,有效地利用了图像相对于点云的各个优势,以更低的成本部署到实际应用场景。
为了让大家能够更快速的应用前沿的技术,百度视觉技术部基于飞桨提供了一套完整的3D视觉检测产业实践范例,提供了从数据准备、模型训练及优化的全流程可复用方案,降低产业落地门槛。
:star: 项目链接 :star:
点击阅读原文一键GET
http://aistudio.baidu.com/aistudio/projectdetail/4038086
所有源码及教程均已开源,欢迎大家使用
场景难点
-
深度信息缺失,由2D图像预测3D位置困难;
-
相机传感器敏感,受环境影响(夜晚、雨天)等较大;
-
图像层面,遮挡、截断等问题严重影响感知精度。
模型选择
单目3D检测提供两种方案选择:基于anchor的方案和anchor-free的方案。
-
anchor方案:从图像中估计出3D检测框,也无需预测中间的3D场景表示,可以直接利用一个区域提案网络,生成给定图像的3D锚点。不同于以往与类别无关的2D锚点,3D锚点的形状通常与其语义标签有很强的相关性。
-
anchor-free方案:将2D检测方法CenterNet扩展到基于图像的3D检测器,该框架将对象编码为单个点(对象的中心点)并使用关键点估计来找到它。此外,几个平行的头被用来估计物体的其他属性,包括深度、尺寸、位置和方向。
我们采用基于anchor的方法,使用了3D障碍物的平均信息作为先验知识,效果实际落地更好。在骨干网络部分,我们选择的是DenseNet,这种网络建立的是前面所有层与后面层的密集连接,实现特征重用,有着省参数、扛过拟合等优点。我们提供了以下版本的方案尝试:
根据单目3D检测实时性的要求,这里我们选择了DenseNet121作为我们的骨干网络。
算法优化
本范例提供了在模型迭代过程中优化精度的思路:
-
数据过滤:根据bbox可见程度、大小来过滤每个bbox标签,根据有无保留bbox过滤每张图片,整体平衡前后背景,保证训练的稳定性。
-
数据增强:主要使用RandomFlip、Resize两种数据增强策略。
-
anchor定义:模型输出
-
后处理优化:根据将3D相关信息组成3D框,投影到图像上得到投影的八点框,取八点最小外接包围框与2D预测结果算IOU,通过不断的调整旋转角ry或深度z,来使得IOU最小。此算法利用了2D检测的结果要比3D检测的结果准确的先验知识,用2D框来纠正预测的3D属性,来达到优化3D定位精度的目的。整体框架如下图所示:
经过调整后,在car类前后效果对比如下:
模型部署
使用飞桨原生推理库Paddle Inference,用于服务端模型部署,总体上分为三步:
-
创建PaddlePredictor,设置所导出的模型路径;
-
创建输入用的 PaddleTensor,传入到 PaddlePredictor中;
-
获取输出的 PaddleTensor,将结果取出。
飞桨产业实践范例 助力企业跨越AI落地鸿沟
飞桨产业实践范例,致力于加速AI在产业落地的前进路径,减少理论技术与产业应用的差距。范例来源于产业真实业务场景,通过完整的代码实现,提供从数据准备到模型部署的方案过程解析,堪称产业落地的“自动导航”。
-
真实产业场景:与实际具有AI应用的企业合作共建,选取企业高频需求的AI应用场景如智慧城市-安全帽检测、智能制造-表计读数等;
-
完整代码实现:提供可一键运行的代码,在“AI Studio一站式开发平台”上使用免费算力一键Notebook运行;
-
详细过程解析:深度解析从数据准备和处理、模型选择、模型优化和部署的AI落地全流程,共享可复用的模型调参和优化经验;
-
直达项目落地:百度高工手把手教用户进行全流程代码实践,轻松直达项目POC阶段。
- 训练数据有缺陷?TrustAI来帮你!
- 低代码平台中的数据连接方式(上)
- 你一定爱读的极简数据平台史,从数据仓库、数据湖到湖仓一体
- 百度APP视频播放中的解码优化
- 如何轻松上手3D检测应用实战?飞桨产业实践范例全流程详解
- 四步做好 Code Review
- 百度智能云天工边云融合物联网平台,助力设备高效上云
- Redis 主从复制的原理及演进
- 面由心生,由脸观心:基于AI的面部微表情分析技术解读
- 大模型应用新范式:统一特征表示优化(UFO)
- 智能大数据,看这本白皮书就够了
- 效果提升28个点!基于领域预训练和对比学习SimCSE的语义检索
- 百度基于 Prometheus 的大规模线上业务监控实践
- AI CFD:面向空天动力的科学机器学习新方法与新范式
- 飞桨图神经网络PGL助力国民级音乐App,创新迭代千亿级推荐系统
- 全新缓存组件,大幅加速云上飞桨分布式训练作业
- 知乎用户画像和实时数据的架构与实践
- 全新缓存组件,大幅加速云上飞桨分布式训练作业
- “千言”开源数据集项目全面升级:数据驱动AI技术进步
- 百度CTO王海峰:AI大生产平台再升级 助力中国科技自立自强