融合多尺度空洞卷积与反卷积的轻量化目标检测

doi:10.12141/j.issn.1000-565X.220095

华南理工大学学报(自然科学版) ›› 2022, Vol. 50 ›› Issue (12): 41-48.doi: 10.12141/j.issn.1000-565X.220095

所属专题： 2022年计算机科学与技术

融合多尺度空洞卷积与反卷积的轻量化目标检测

易清明^1,² 吕人毅¹ 石敏¹ 骆爱文¹

^1.暨南大学信息科学技术学院，广东广州 510632
^2.泰斗微电子科技有限公司，广东广州 510663

收稿日期:2022-03-06 出版日期:2022-12-25 发布日期:2022-04-08
通信作者: 骆爱文（1986-），女，博士，讲师，主要从事机器视觉与智能IC设计研究。 E-mail:luoaiwen@jnu.edu.cn.
作者简介:易清明（1965-），女，博士，教授，主要从事通信信号处理及SoC设计、人工智能SoC设计研究.E-mail:tyqm@jnu.edu.cn.
基金资助:
国家自然科学基金资助项目(62002134);广东省基础与应用基础研究基金资助项目(2020A1515110645);新型半导体材料与器件广东省重点实验室项目(2021KSY001);广州市创新领军人才项目(2019019);暨南大学中央高校基本科研业务费专项资金资助项目(21620353);暨大-泰斗联合培养研究生基地项目(82621176)

Lightweight Object Detection Combined with Multi-Scale Dilated-Convolution and Multi-Scale Deconvolution

YI Qingming^1,² LÜ Renyi¹ SHI Min¹ LUO Aiwen¹

^1.College of Information Science and Technology, Jinan University, Guangzhou 510632, Guangdong, China
^2.Techtotop Microeletronics Technology Co. , Ltd. , Guangzhou 510663, Guangdong, China

Received:2022-03-06 Online:2022-12-25 Published:2022-04-08
Contact: 骆爱文（1986-），女，博士，讲师，主要从事机器视觉与智能IC设计研究。 E-mail:luoaiwen@jnu.edu.cn.
About author:易清明（1965-），女，博士，教授，主要从事通信信号处理及SoC设计、人工智能SoC设计研究.E-mail:tyqm@jnu.edu.cn.
Supported by:
the National Natural Science Foundation of China(62002134);the Basic and Applied Basic Research Foundation of Guangdong Province(2020A1515110645);the Project of Key Laboratory of New Semiconductors and Devices of Guangdong Province(2021KSY001)

摘要/Abstract

摘要：

深度神经网络存在目标检测速度慢、参数量大的问题，不适用于算力有限但速度要求较高的移动应用场景。为了提高目标检测的推理速度，有效权衡目标检测任务的精度与速度，文中提出了一种融合多尺度空洞卷积与反卷积的轻量化目标检测网络MDDNet。首先，基于高效的单阶段多目标检测策略设计了轻量的目标检测基础网络，并引入深度可分离卷积，以进一步减少基础网络的参数量，加快图像特征提取的速度；然后在主干网络中添加两条基于多尺度空洞卷积的特征扩展旁路，分别连接在基础网络的最末端和次末端残差层的输出端，将两条旁路的特征输出到预测层进行特征融合，以增强较低层特征图的纹理特征；并且进一步引入了多尺度反卷积模块，连接于深层特征网络层，以增大特征图尺寸，再融合具有不同尺度的上一层的浅层特征图，以获得更多的特征语义信息和细节信息，提高检测精度；最后在预测层基于K均值算法优化先验框参数，使其与目标真实框更匹配，提高目标识别的准确率。实验结果表明：MDDNet的参数量约为7.21×10⁶，平均检测精度在KITTI、Pascal VOC数据集上分别为58.7%、76.0%，推理速度在两个数据集上分别达到55和52 f/s。因此，MDDNet在参数量、检测速度和检测精度上达到了较佳的平衡，可适用于移动端的实时目标检测。

关键词: 目标检测, 空洞卷积, 反卷积, 多尺度, 精度-速度均衡

Abstract:

Due to the tough issues of slow detection and heavy parameters, the deep neural networks are inapplicable to be deployed on mobile application scenarios which are computing-resource-constrained but demand high speed calculation. To improve the inference speed for object detection and achieve a better tradeoff between detection accuracy and inference speed, this paper proposed a lightweight object detection network named MDDNet which combined multi-scale dilated-convolution and multi-scale deconvolution. Firstly, a lightweight detection backbone network was designed based on an efficient single-stage strategy, and the depthwise separable convolution was introduced to reduce the parameter amount of the baseline and further speed up the feature extraction. Secondly, two feature extension branches based on multi-scale dilated convolution were added to the backbone network, which were respectively connected to the ends of the final and the penultimate residual layers of the basic network. The features of the two branches were fused in the prediction layer to augment the texture features of the shallow feature maps. Thirdly, the multi-scale deconvolution module was further introduced and connected to the deep feature network layers to increase the size of the feature map, and then the shallow feature maps of the previous layer with different scales were fused so as to enrich the feature semantic information and the detailed information, improving the detection accuracy. Finally, the parameters of the prior bounding box were optimized in the prediction layer based on the K-means clustering method, so that the prior bounding box could better match the ground truth of the object, achieving higher object recognition accuracy. The experimental results show that the MDDNet produces about 7.21×10⁶ parameters. The average accuracy is 58.7% and 76.0% in KITTI and Pascal VOC datasets, respectively, while the corresponding inference speed respectively reaches 55 f/s and 52 f/s in the above two datasets. Therefore, MDDNet achieves a decent tradeoff among the parameter amount, detection speed, and detection accuracy, and it can be applied to real-time object detection on mobile terminals.

Key words: object detection, dilated convolution, deconvolution, multi-scale, accuracy-speed tradeoff

中图分类号:

TP391.41

易清明, 吕人毅, 石敏, 等. 融合多尺度空洞卷积与反卷积的轻量化目标检测[J]. 华南理工大学学报(自然科学版), 2022, 50(12): 41-48.

YI Qingming, LÜ Renyi, SHI Min, et al. Lightweight Object Detection Combined with Multi-Scale Dilated-Convolution and Multi-Scale Deconvolution[J]. Journal of South China University of Technology(Natural Science Edition), 2022, 50(12): 41-48.

图/表 9

图1

图2

图3

图4

表1

表2

表3

图5

表4

参考文献 24

1	SCHROFF F， KALENICHENKO D， PHILBIN J ．FaceNet：a unified embedding for face recognition and clustering ［C］∥ Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition．Boston：IEEE，2015：815-823.
2	REDMON J， FARHADI A ．YOLO9000：better，faster，stronger ［C］∥ Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition．Honolulu：IEEE，2017：7263-7271.
3	CHEN X， XIANG S， LIU C L，et al ．Vehicle detection in satellite images by hybrid deep convolutional neural networks ［J］．IEEE Geoscience and Remote Sensing Letters，2014，11（10）：1797-1801.
4	LITJENS G， KOOI T， BEJNORDI B E，et al ．A survey on deep learning in medical image analysis ［J］．Medical Image Analysis，2017，42（9）：60-88.
5	CHEN X， KUNDU K， ZHANG Z，et al ．Monocular 3D object detection for autonomous driving ［C］∥ Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition．Las Vegas：IEEE，2016：2147-2156.
6	KIM K Y， CHOI Y W， KIM J H，et al ．Development of passenger safety system based on the moving object detection and test result on the real vehicle ［C］∥ Proceedings of the Eighth International Conference on Ubiquitous and Future Networks．Vienna：IEEE，2016：64-66.
7	LIU W， ANGUELOV D， ERHAN D，et al ．SSD：single shot multibox detector ［C］∥ Proceedings of the 14th European Conference on Computer Vision．Amsterdam：Springer，2016：21-37.
8	GIRSHICK R， DONAHUE J， DARRELL T，et al ．Rich feature hierarchies for accurate object detection and semantic segmentation ［C］∥ Proceedings of 2014 IEEE　Conference on Computer Vision and Pattern Recognition．Columbus：IEEE，2014：580-587.
9	IANDOLA F N， HAN S， MOSKEWICZ M W，et al ．SqueezeNet：AlexNet-level accuracy with 50x fewer para-meters and <0.5 MB model size ［EB/OL］．（2016-02-24）［2021-10-11］．.
10	HOWARD A G， ZHU M， CHEN B，et al ．MobileNets：efficient convolutional neural networks for mobile vision applications ［EB/OL］．（2017-04-17）［2021-10-11］．.
11	ZHANG X， ZHOU X， LIN M，et al ．ShuffleNet：an extremely efficient convolutional neural network for mobile devices ［C］∥ Proceedings of 2018 IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition．Salt Lake City：IEEE，2018：6848-6856.
12	MA N， ZHANG X， ZHENG H T，et al ．ShuffleNet V2：practical guidelines for efficient CNN architecture design ［C］∥ Proceedings of the 15th European Conference on Computer Vision．Munich：Springer，2018：122-138.
13	SANDLER M， HOWARD A， ZHU M，et al ．MobileNetV2：inverted residuals and linear bottlenecks ［C］∥ Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition．Salt Lake City：IEEE，2018：4510-4520.
14	FU C Y， LIU W， RANGA A，et al ．DSSD：deconvolutional single shot detector ［EB/OL］．（2017-01-23）［2021-10-11］．.
15	LIU S， HUANG D ．Receptive field block net for accurate and fast object detection ［C］∥ Proceedings of the 15th European Conference on Computer Vision．Munich：Springer，2018：404-419.
16	SIMONYAN K， ZISSERMAN A ．Very deep convolutional networks for large-scale image recognition ［EB/OL］．（2014-09-04）［2021-10-11］．.
17	吴帅，徐勇，赵东宁．基于深度卷积网络的目标检测综述［J］．模式识别与人工智能，2018，31（4）：335-346.
	WU Shuai， XU Yong， ZHAO Dongning ．Survey of object detection based on deep convolutional networks ［J］．Pattern Recognition and Artificial Intelligence，2018，31（4）： 335-346.
18	LIN T Y， DOLLAR P， GIRSHICK R，et al ．Feature pyramid networks for object detection ［C］∥ Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition．Honolulu：IEEE，2017：2117-2125.
19	GLOROT X， BORDES A， BENGIO Y ．Deep sparse rectifier neural networks ［J］．Journal of Machine Learning Research，2011，15：315-323.
20	朱槐雨，李博．单阶段多框检测器无人机航拍目标识别方法［J］．计算机应用，2021，41（11）：3234-3241.
	ZHU Huaiyu， LI Bo ．Single shot multibox detector recognition method for aerial targets of unmanned aerial vehicle ［J］．Journal of Computer Applications，2021，41（11）：3234-3241.
21	梁京章，黄星舒，吴丽娟，等．基于KPCA和改进K-means的电力负荷曲线聚类方法［J］．华南理工大学学报（自然科学版），2020，48（6）：143-150.
	LIANG Jingzhang， HUANG Xingshu， WU Lijuan，et al ．Clustering method of power load profiles based on KPCA and improved K-means ［J］．Journal of South China University of Technology（Natural Science Edition），2020，48（6）：143-150.
22	VICENTE S， CARREIRA J， AGAPITO L，et al ．Reconstructing Pascal VOC ［C］∥ Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Re-cognition．Columbus：IEEE，2014：41-48.
23	GEIGER A， LENZ P， URTASUN R ．Are we ready for autonomous driving？The KITTI vision benchmark suite ［C］∥ Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition．Providence：IEEE，2012：3354-3361.
24	郑冬，李向群，许新征．基于轻量化SSD的车辆及行人检测网络［J］．南京师大学报（自然科学版），2019，42（1）：73-81.
	ZHENG Dong， LI Xiangqun， XU Xinzheng ．Vehicle and pedestrian detection model based on lightweight SSD ［J］．Journal of Nanjing Normal University（Natural Science Edition），2019，42（1）：73-81.

数据集	MobileNetV2+SSDLite	RFB	RFE	Dconv	mAP/%	检测速度/（f·s^-1）	参数量/10⁶
KITTI	√				56.6	63	6.56
	√	√			57.9	56	6.91
	√		√		57.7	59	6.85
	√		√	√	58.7	55	7.21
Pascal VOC	√				73.2	60	6.56
	√	√			75.4	52	6.91
	√		√		75.1	55	6.85
	√		√	√	76.0	52	7.21

数据集	网络模型	mAP/%	检测速度/（f·s^-1）	参数量/10⁶
KITTI	SSD	55.9	49	26.79
	SqueezeNet-SSD	48.1	104	5.04
	RFB Net	61.3	88	34.50
	Tiny-YOLOv2	41.9	29	15.10
	LVP-DN	56.6	63	6.56
	MDDNet	58.7	55	7.21
Pascal VOC	SSD	74.3	46	26.79
	SqueezeNet-SSD	64.3	100	5.04
	RFB Net	80.5	83	34.50
	Tiny-YOLOv2	57.1	25	15.10
	LVP-DN	73.2	60	6.56
	MDDNet	76.0	52	7.21

[1]	李家春, 李博文, 林伟伟. AdfNet：一种基于多样化特征的自适应深度伪造检测网络[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 82-89.
[2]	赵荣超, 吴百礼, 陈祝云, 温楷儒, 张绍辉, 李巍华. 多尺度时空信息融合驱动的图神经网络故障诊断方法[J]. 华南理工大学学报(自然科学版), 2023, 51(12): 42-52.
[3]	杜启亮, 向照夷, 田联房. 面向嵌入式设备的扶梯客流量实时统计方法[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 60-70.
[4]	黄怀纬, 贺万里, 曹亚军. 基于多尺度法的预载压电梁俘能特性[J]. 华南理工大学学报(自然科学版), 2022, 50(5): 118-126.
[5]	杨春玲杨雅静. 基于多尺度特征逐层融合深度神经网络的无参考图像质量评价方法研究[J]. 华南理工大学学报(自然科学版), 2022, 50(4): 81-89,141.
[6]	杨晋生, 陈洪鹏, 关欣, 等. 一种多尺度轻量级脑胶质瘤图像分割网络[J]. 华南理工大学学报(自然科学版), 2022, 50(12): 132-141.
[7]	张香竹, 张立家, 宋逸凡, 等. 基于深度学习的无人机单目视觉避障算法[J]. 华南理工大学学报（自然科学版）, 2022, 50(1): 101-108, 131.
[8]	谭光李昌镐詹昭焕. 基于端云协同的目标检测跟踪自适应调度算法[J]. 华南理工大学学报（自然科学版）, 2021, 49(7): 86-93.
[9]	杨易, 谭健成, 金博崇, 等. 基于WRF与CFD的复杂地形风场多尺度耦合模拟分析#br#[J]. 华南理工大学学报（自然科学版）, 2021, 49(5): 65-73,83.
[10]	陈玲, 杜安林, 唐煜括, 等. 不同糊化度淀粉材料结构演变对其热挤压 3D 打印成型性的影响[J]. 华南理工大学学报(自然科学版), 2021, 49(3): 62-70,87.
[11]	李波饶浩波. 复杂场景下特征增强的显著性目标检测方法[J]. 华南理工大学学报（自然科学版）, 2021, 49(11): 135-144.
[12]	吴秋霞黎玲敏. 基于点云俯视图重映射的 3D 目标检测[J]. 华南理工大学学报(自然科学版), 2021, 49(1): 39-46.
[13]	苏峰华冯文营袁熙. 基于多尺度方法的机油冷却器数值模拟[J]. 华南理工大学学报（自然科学版）, 2020, 48(5): 112-117.
[14]	孙朝云, 裴莉莉, 李伟, 等. 基于改进 Faster R-CNN 的路面灌封裂缝检测方法[J]. 华南理工大学学报（自然科学版）, 2020, 48(2): 84-93.
[15]	刘杰平温竣文梁亚玲. 基于多尺度注意力导向网络的单目图像深度估计[J]. 华南理工大学学报（自然科学版）, 2020, 48(12): 52-62.

融合多尺度空洞卷积与反卷积的轻量化目标检测

Lightweight Object Detection Combined with Multi-Scale Dilated-Convolution and Multi-Scale Deconvolution

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 24

相关文章 15

编辑推荐

Metrics

本文评价

数据集	分辨率	mAP/%	检测速度/（f·s^-1）	参数量/10⁶
KITTI	300×300	58.7	55	7.21
	512×512	77.8	37	7.21
	800×800	85.2	26	7.21
Pascal VOC	300×300	76.0	52	7.21
	512×512	78.7	33	7.21
	800×800	80.2	21	7.21

数据集	先验框选择	mAP/%	检测速度/（f·s^-1）	参数量/10⁶
KITTI	默认设置	53.6	55	7.19
KITTI	优化设置	58.7	55	7.21
Pascal VOC	默认设置	76.0	52	7.19
Pascal VOC	优化设置	76.3	52	7.21