DDP:微软提出动态detection head选择,适配计算资源有限场景 | CVPR 2022
DPP能够对目标检测proposal进行非统一处理,根据proposal选择不同复杂度的算子,加速整体推理过程。从实验结果来看,效果非常不错
来源:晓飞的算法工程笔记 公众号
论文: Should All Proposals be Treated Equally in Object Detection?
-
论文地址:http://arxiv.org/abs/2207.03520
-
论文代码:http://github.com/liyunsheng13/dpp
Introduction
在目标检测中,影响速度的核心主要是密集的proposal设计。所以,Faster RCNN → Cascade RCNN → DETR → Sparse RCNN的演变都是为了稀疏化proposal密度。虽然Sparse R-CNN成功地将proposal数量从几千个减少到几百个,但更复杂deation head导致减少proposal数量带来的整体计算收益有限。
复杂的deation head结构虽然能带来准确率的提升,但会抹杀轻量级设计带来的计算增益。对于仅有300个proposal的Sparse RCNN,deation head的计算量是主干网络MobileNetV2的4倍(25 GFLOPS 与 5.5 GFLOPS)。
为此,作者研究是否有可能在降低deation head计算成本的同时保留精度增益和proposal稀疏性。现有检测算法采用相同复杂度的操作处理所有proposal,在高质量proposal上花费大量的计算是合适的,但将相同的资源分配给低质量的proposal则是一种浪费。由于每个proposal的IoU在训练期间是已知的,所以可以让检测器学习为不同的proposal分配不同的计算量。
由于在推理时没有IoU,网络需要学习如何根据proposal本身进行资源分配。为此,作者提出了dynamic proposal processing(DPP),将detection head使用的单一算子替换为一个包含不同复杂度算子的算子集,允许检测器在复杂度-精度之间进行权衡。算子的选择通过增加一个轻量级选择模型来实现,该模型在网络的每个阶段选择适用于每个proposal的最佳算子。
Complexity and Precision of Proposals
假设主干网络产生了一组proposal,计算消耗主要来源于detection head而主干的计算消耗可忽略,并且将deation head的计算进一步分解为per-proposal的算子 h
(网络结构)以及对应的proposal间处理组件 p
( NMS
操作或proposal之间的的自注意机制)。
-
Complexity of unequally treated proposals
在之前的检测器中,所有的proposal都由同一个算子 h
处理:
其中,和分别是 h
和 p
的 per-proposal 复杂度。
-
Complexity of unequally treated proposals
与其将相同的算子 h
应用于所有proposal,作者建议使用包含 J
个具有不同复杂度算子的算子集,由动态选择器 s
选择具体的算子分配给proposal:
其中,表示来自的算子,由选择器 s
分配给的proposal,,为整个per-proposal操作的计算复杂度。为简单起见, p
的复杂度仍然视为常数。
-
Precision over proposals
当deation head对proposal非统一处理时,给定复杂性约束 C
的最佳检测器精度可以通过优化算子对proposal的分配来提升:
其中是分配的特定运算符的精度。随着 C
的变化,构建了复杂度-精度(C-P)曲线,该曲线表示了可使用实现的目标检测器在成本和精度之间trade-off的最佳性能。
Dynamic Proposal Processing
基于上面的背景,作者提出了一个动态proposal处理(DPP)。假设detection head由多个阶段()依次处理proposal,每个阶段由选择器 s
从中选择的运算符实现。为了最小化复杂性,选择器每次只应用于阶段子集,其余阶段使用上一次处理选择的运算符,即。
Operator Set
作者提出了由三个计算成本差异较大的算子组成的算子集合:
-
是高复杂度的算子,由一个参数与proposal相关的动态卷积层(DyConv)和一个前馈网络(FFN)来实现,类似于Sparse R-CNN采用的动态Head结构。
-
是一个中等复杂度的算子,由FFN实现。
-
是一个由identity block构建的轻量级算子,只是简单地传递proposal而无需进一步提取特征。
Selector
在DPP中,通过控制操作符对proposal的分配,选择器是控制精度和复杂性之间权衡的关键组件。定义是proposal在阶段的输入特征,选择器由3层MLP实现,输出与关联的3维向量:
其中是中的选择变量,代表将操作分配给proposal的权重:
-
在训练期间,选择向量是包含三个变量one hot编码,将Gumble-Softmax函数作为MLP的激活函数,用于生成选择向量。
-
在推理中,选择向量包含三个连续值,选择值最大的变量对应的操作。
分配过程如图2所示,整体开销非常小(100个proposal仅需4e-3 GFLOPS),与detection head相比可以忽略不计。
从公式4可以看出,不同的proposal和阶段选择的算子都有变化,从而能够进行动态处理。此外,虽然仅有三个候选项,但潜在的detection head网络结构有种。最后,由于选择器是可训练的,所以整体结构可以端到端学习。
Loss Functions
为了确保在给定复杂度的情况下,DPP能为每个proposal选择最优的操作序列,作者增加了选择器损失,包含两个目标:
-
首先,应该将复杂的算子(和)分配给高质量的proposal(高IoU):其中是第
i
个proposal在第k
阶段的 IoU。当IoU小于0.5时,推动选择器将和变为0,反之则变为1,鼓励在阶段 k 中使用更复杂的算子来获得高质量的proposal。此外,损失的大小是由IoU值决定的,为高IoU proposal选择简单结构或为低IoU proposal选择复杂结构均会产生大梯度值。 -
其次,选择器应该知道每张图像中的实例总数,并根据总数调整整体复杂度,在实例密集时选择更复杂的算子:其中
T
是特定图像选择算子目标次数,定义为,即图像中M
个实例的倍数。此外,需通过根据预先指定的下限和由总体proposal数N
给出的上限对进行裁剪。下界防止对高复杂度算子进行过于稀疏的选择,然后则是根据实例数调整选择器。
最终的整体选择器损失为:
选择器损失是一种即插即用损失,可以应用于不同的对象检测器。在实现时,与应用DPP的原始检测器的所有损失相结合,包括交叉熵损失和边界框回归损失。
Experiments
DPP的主干网络使用MobileNet V2或ResNet-50,使用特征金字塔网络(FPN)生成多维特征,在其之上使用Sparse R-CNN的策略学习初始proposal。为简单起见,选择器仅应用于阶段。
对于损失函数,设置,,,。
Proposal processing by DPP
-
Contribution of Each Operator
不同候选算子对性能的贡献。
-
Performance of Each Stage in DPP
阶段1∼6的AP分别为,精度在前 4 个阶段迅速增加,然后达到饱和。较后的阶段,复杂算子占比越少,这说明 DPP 如何在复杂性与精度之间取得相当成功。
-
Visualization
阶段4和阶段6中,的预测结果。
Main Results
-
ResNet
基于ResNet50与SOTA算法对比。
-
MobileNetV2
基于MobileNetV2与SOTA算法对比。
-
Inference speed
推理速度对比。
Ablation Study
-
Selection loss
选择器损失的作用。
-
Target number of heavy operators
复杂算子预期数量的作用。
Conclusion
DPP能够对目标检测proposal进行非统一处理,根据proposal选择不同复杂度的算子,加速整体推理过程。从实验结果来看,效果非常不错。
如果本文对你有帮助,麻烦点个赞或在看呗~
更多内容请关注 微信公众号【晓飞的算法工程笔记】
- DDP:微软提出动态detection head选择,适配计算资源有限场景 | CVPR 2022
- DVT:华为提出动态级联Vision Transformer,性能杠杠的 | NeurIPS 2021
- PVT:特征金字塔在Vision Transormer的首次应用,又快又好 | ICCV 2021
- DeiT:训练ImageNet仅用4卡不到3天的平民ViT | ICML 2021
- OREPA:阿里提出训练也很快的重参数策略,内存减半,速度加倍 | CVPR 2022
- GIT:斯坦福大学提出应对复杂变换的不变性提升方法 | ICLR 2022
- Dynamic ATSS:预测结果才是正负样本区分的最佳准则 | 2022 arxiv
- 看看谷歌如何在目标检测任务使用预训练权值 | CVPR 2022
- DW:优化目标检测训练过程,更全面的正负权重计算 | CVPR 2022
- PLC:自动纠正数据集噪声,来洗洗数据集吧 | ICLR 2021 Spotlight
- ResNet-RS:谷歌领衔调优ResNet,性能全面超越EfficientNet系列 | 2021 arxiv
- GID:旷视提出全方位的检测模型知识蒸馏 | CVPR 2021
- GWD:基于高斯Wasserstein距离的旋转目标检测 | ICML 2021
- NF-ResNet:去掉BN归一化,值得细读的网络信号分析 | ICLR 2021
- MobileNext:打破常规,依图逆向改造inverted residual block | ECCV 2020
- RepVGG:VGG,永远的神! | CVPR 2021
- 为什么SOTA网络在你的数据集上不行?来看看Imagnet结果的迁移能力研究 | arxiv新文
- OREPA:阿里提出训练也很快的重参数策略,内存减半,速度加倍 | CVPR 2022
- FSAF:嵌入anchor-free分支来指导acnhor-based算法训练 | CVPR2019
- DW:优化目标检测训练过程,更全面的正负权重计算 | CVPR 2022