基于密集特征推理及混合损失函数的修复算法

doi:10.12141/j.issn.1000-565X.220420

华南理工大学学报(自然科学版) ›› 2023, Vol. 51 ›› Issue (9): 99-109.doi: 10.12141/j.issn.1000-565X.220420

基于密集特征推理及混合损失函数的修复算法

李海燕¹ 尹浩林¹ 李鹏² 周丽萍²

^1.云南大学信息学院，云南昆明 650500
^2.云南大学云南大学学报（自然科学版）编辑部，云南昆明 650500

收稿日期:2022-07-04 出版日期:2023-09-25 发布日期:2023-02-08
通信作者: 李海燕（1976-），女，教授，博士生导师，主要从事人工智能、图像处理研究。 E-mail:leehy@ynu.edu.cn
作者简介:李海燕（1976-），女，教授，博士生导师，主要从事人工智能、图像处理研究。
基金资助:
国家自然科学基金资助项目(62266049);云南省万人计划“云岭教学名师”(2019010015)

Image Inpainting Algorithm Based on Dense Feature Reasoning and Mix Loss Function

LI Haiyan¹ YIN Haolin¹ LI Peng² ZHOU Liping²

^1.School of Information Science and Engineering，Yunnan University，Kunming 650500，Yunnan，China
^2.Editorial Department of Journal of Yunnan University（Natural Science Edition），Yunnan University，Kunming 650500，Yunnan，China

Received:2022-07-04 Online:2023-09-25 Published:2023-02-08
Contact: 李海燕（1976-），女，教授，博士生导师，主要从事人工智能、图像处理研究。 E-mail:leehy@ynu.edu.cn
About author:李海燕（1976-），女，教授，博士生导师，主要从事人工智能、图像处理研究。
Supported by:
the National Natural Science Foundation of China(62266049)

摘要/Abstract

摘要：

为有效解决现有算法修复大面积不规则缺失图像时存在特征利用率低、图像结构连贯性差的问题，提出基于密集特征推理（DFR）及混合损失函数的图像修复算法。修复网络由多个特征推理（FR）模块密集连接组成，首先将待修复图像输入第1个推理模块中进行特征推理，之后将输出特征图通道合并送入下一个推理模块，后续推理的每一个模块的输入都是来自前面所有推理模块的推理特征，如此循环，以充分利用每个推理模块捕获的特征信息；然后提出一个传播一致性注意力机制（PCA），提高修补区域与已知区域的整体一致性；最后，提出混合损失函数（ML）优化修复结果的结构连贯性。整个DFR网络使用组归一化（GN），小批量训练也可达到优异的修复效果。在国际公认的Paris StreetView巴黎街景数据集和CelebA人脸数据集上验证文中所提算法的性能，主客观的实验结果表明：所提算法能有效修复大面积不规则缺失图像，提升特征利用率与结构连贯性，其平均峰值信噪比（PSNR）、平均结构相似度（SSIM）、均方误差（MSE）、弗雷歇距离（FID）及学习感知图像块相似度（LPIPS）指标优于对比算法。

关键词: 图像修复, 密集特征推理, 注意力机制, 混合损失函数, 组归一化

Abstract:

To effectively solve the problems of low feature utilization and poor image structure coherence occurred when existing algorithms are used to repair large irregularly missing images, this study proposed an image repair algorithm based on dense feature inference (DFR) and hybrid loss function. The repair network consists of multiple inference modules (FRs) densely connected. Firstly, after the image to be restored was fed into the first inference module for feature inference, the output feature map channels were merged and sent to the next inference module. The input of each subsequent inference module was the inferred features from all the previous inference modules and so on, so as to make full use of the feature information captured by each reasoning module. Subsequently, a propagation consistent attention (PCA) mechanism was proposed to improve the overall consistency of the patched regions with the known regions. Finally, a hybrid loss function (ML) was proposed to optimize the structural coherence of the repair results. The whole DFR network adopted group normalization (GN), and excellent repair results can be achieved even using small training batches. The performance of the proposed algorithm was verified on Paris StreetView and CelebA face datasets, which are internationally recognized datasets. The objective and subjective experimental results show that the proposed algorithm can effectively repair large irregular missing images, improve feature utilization and structural coherence. Its average peak signal-to-noise ratio (PSNR), average structural similarity ( SSIM), mean square error (MSE), Fréchet distance (FID) and learning perceptual image block similarity (LPIPS) metrics all outperform the comparison algorithms.

Key words: image inpainting, dense feature reasoning, attention mechanism, hybrid loss function, group normalization

中图分类号:

TP391.41

李海燕, 尹浩林, 李鹏, 等. 基于密集特征推理及混合损失函数的修复算法[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 99-109.

LI Haiyan, YIN Haolin, LI Peng, et al.. Image Inpainting Algorithm Based on Dense Feature Reasoning and Mix Loss Function[J]. Journal of South China University of Technology(Natural Science Edition), 2023, 51(9): 99-109.

图/表 13

图1

图2

图3

图4

图5

表1

图6

图7

图8

图9

图10

图11

表2

参考文献 22

1	EFROS A， LEUNG T K ．Texture synthesis by non-parametric sampling［C］∥Proceedings of the Seventh IEEE International Conference on Computer Vision．Kerkyra：IEEE，1999：1033-1038．
2	CRIMINISI A， PÉREZ P， TOYAMA K ．Region filling and object removal by exemplar-based image inpainting［J］．IEEE Transactions on Image Processing，2004，13（9）：1200-1212．
3	BARNES C， SHECHTMAN E， FINKELSTEIN A，et al ．PatchMatch：A randomized correspondence algorithm for structural image editing［J］．ACM Transactions on Graphics，2009，28（3）：1-11．
4	HE K， SUN J ．Statistics of patch offsets for image completion［C］∥Proceedings of the European Conference on Computer Vision．Heidelberg，Berlin：Springer，2012：16-29．
5	MAO X， SHEN C， YANG Y B ．Image restoration using very deep convolutional encoder-decoder networks with symmetric skip connections［J］．Advances in Neural Information Processing Systems，2016，29：2810-2818．
6	KÖHLER R， SCHULER C， SCHÖLKOPF B，et al ．Mask-specific inpainting with deep neural networks［C］∥Proceedings of the German Conference on Pattern Recognition．Cham：Springer，2014：523-534．
7	PATHAK D， KRAHENBUHL P， DONAHUE J，et al ．Context encoders：Feature learning by inpainting［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition．Las Vegas：IEEE，2016：2536-2544．
8	LI Y， LIU S， YANG J，et al ．Generative face completion［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition．Honolulu，Hawaii：IEEE，2017：3911-3919．
9	李海燕，吴自莹，郭磊，等．基于混合空洞卷积网络的多鉴别器图像修复［J］．华中科技大学学报（自然科学版），2021，49（3）：40-45．
	LI Haiyan， WU Ziying， GUO Lei，et al ．Multi-discriminator image inpainting algorithm based on hybrid dilated convolution network［J］．Journal of Huazhong University of Science and Technology （Natural Science Edition），2021，49（3）：40-45．
10	ZHAO L， MO Q， LIN S，et al ．Uctgan：Diverse image inpainting based on unsupervised cross-space translation［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition．Seattle：IEEE，2020：5741-5750．
11	CAO C， FU Y ．Learning a sketch tensor space for image inpainting of man-made scenes［C］∥Proceedings of the IEEE/CVF International Conference on Computer Vision．Montreal：IEEE，2021：14509-14518．
12	刘微容，米彦春，杨帆，等．基于多级解码网络的图像修复［J］．电子学报，2022，50（3）：625-636．
	LIU Weirong， MI Yanchun， YANG Fan，et al ．Generative image inpainting with multi-stage decoding network［J］．Acta Electronica Sinica，2022，50（3）：625-636．
13	LIU G， REDA F A， SHIH K J，et al ．Image inpainting for irregular holes using partial convolutions［C］∥Proceedings of the European Conference on Computer Vision （ECCV）．Munich：Springer，2018：85-100．
14	ZHENG C， CHAM T J， CAI J ．Pluralistic image completion［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition．Long Beach：IEEE，2019：1438-1447．
15	LI J， HE F， ZHANG L，et al ．Progressive reconstruction of visual structure for image inpainting［C］∥Proceedings of the IEEE/CVF International Conference on Computer Vision．Seoul：IEEE，2019：5962-5971．
16	GUO X， YANG H， HUANG D ．Image inpainting via conditional texture and structure dual generation［C］∥Proceedings of the IEEE/CVF International Conference on Computer Vision．Montreal：IEEE，2021：14134-14143．
17	LI J， WANG N， ZHANG L，et al ．Recurrent feature reasoning for image inpainting［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition．Seattle：IEEE，2020：7760-7768．
18	WU Y， HE K ．Group normalization［C］∥Proceedings of the European Conference on Computer Vision （ECCV）．Munich：Springer，2018：3-19．
19	HUANG G， LIU Z， VAN D M L，et al ．Densely connected convolutional networks［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition．Honolulu，Hawaii：IEEE，2017：4700-4708．
20	HE K， ZHANG X， REN S，et al ．Deep residual learning for image recognition［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition．Las Vegas，IEEE，2016：770-778．
21	RONNEBERGER O， FISCHER P， BROX T ．U-Net：Convolutional networks for biomedical image segmentation［C］∥Proceedings of the International Conference on Medical Image Computing and Computer-Assisted Intervention．Cham：Springer，2015：234-241．
22	ZHAO H， GALLO O， FROSIO I，et al ．Loss functions for image restoration with neural networks［J］．IEEE Transactions on Computational Imaging，2016，3（1）：47-57．

数据集	掩膜率	算法	PSNR/dB	SSIM	MSE	FID	LPIPS
CelebA	30%~40%	PIC	23.25	0.836 5	0.027 8	65.259 9	0.116 7
		PRVS	25.05	0.856 3	0.021 6	57.310 6	0.088 2
		RFR	24.92	0.852 8	0.022 1	47.530 4	0.077 4
		CTSDG	25.39	0.859 1	0.020 4	56.690 0	0.087 3
		本文所提	25.50	0.867 9	0.020 2	41.563 9	0.067 2
	40%~50%	PIC	22.06	0.822 8	0.032 3	70.283 3	0.146 5
		PRVS	23.74	0.832 4	0.025 9	66.792 4	0.112 3
		RFR	23.52	0.828 7	0.026 7	52.232 3	0.097 8
		CTSDG	23.67	0.831 6	0.025 7	67.283 6	0.115 7
		本文所提	24.08	0.844 7	0.024 4	49.450 2	0.086 4
	50%~60%	PIC	20.40	0.749 5	0.048 3	98.730 6	0.203 0
		PRVS	22.00	0.760 1	0.038 2	87.411 0	0.149 2
		RFR	22.14	0.763 4	0.037 9	63.751 2	0.125 9
		CTSDG	22.18	0.768 0	0.037 0	84.335 1	0.148 3
		本文所提	22.53	0.780 8	0.035 6	60.557 1	0.111 9
Paris Street View	30%~40%	PIC	21.89	0.762 3	0.037 9	69.887 9	0.198 6
		PRVS	24.48	0.809 6	0.025 7	54.362 4	0.148 4
		RFR	24.33	0.807 2	0.026 6	47.291 3	0.128 9
		CTSDG	24.59	0.816 3	0.025 0	57.168 7	0.143 7
		本文所提	24.80	0.821 1	0.024 8	42.174 2	0.116 9
	40%~50%	PIC	20.15	0.683 7	0.052 5	92.187 4	0.265 3
		PRVS	22.83	0.745 6	0.034 8	73.046 6	0.198 1
		RFR	22.67	0.742 8	0.035 9	60.992 0	0.170 1
		CTSDG	22.97	0.751 9	0.033 8	75.180 3	0.191 4
		本文所提	23.04	0.759 6	0.033 7	53.938 7	0.155 7
	50%~60%	PIC	20.46	0.661 9	0.052 2	92.376 3	0.276 0
		PRVS	22.59	0.720 2	0.037 8	79.934 8	0.213 7
		RFR	22.40	0.717 4	0.039 0	69.280 2	0.186 5
		CTSDG	22.71	0.726 7	0.036 9	86.129 3	0.206 9
		本文所提	22.87	0.738 3	0.036 5	63.094 2	0.168 7

模型	PSNR/dB	SSIM	MSE	FID	LPIPS
无密集连接	23.47	0.803 9	0.032 4	62.066 6	0.115 0
有密集连接	23.57	0.805 7	0.031 1	57.810 6	0.106 1
无注意力传播	24.40	0.847 7	0.024 6	40.282 6	0.079 1
有注意力传播	24.50	0.850 6	0.024 4	41.061 3	0.082 0
单一损失函数	24.09	0.808 5	0.028 9	55.088 8	0.101 4
混合损失函数	24.26	0.818 0	0.028 7	59.101 7	0.101 5
批量归一化	23.02	0.793 8	0.032 7	66.446 8	0.112 4
组归一化	23.53	0.805 7	0.031 1	58.324 0	0.104 2

[1]	李家春, 李博文, 林伟伟. AdfNet：一种基于多样化特征的自适应深度伪造检测网络[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 82-89.
[2]	郭恩强, 符锌砂. 基于特征相似性学习的抛洒物检测方法[J]. 华南理工大学学报(自然科学版), 2023, 51(6): 30-41.
[3]	刘宇鹏, 张雷. 融合遗忘和知识点重要度的认知诊断模型[J]. 华南理工大学学报(自然科学版), 2023, 51(5): 54-62.
[4]	陆璐, 赖锦雄. 基于胶囊网络和注意力机制的智能合约漏洞检测方法[J]. 华南理工大学学报(自然科学版), 2023, 51(5): 36-44.
[5]	沃焱, 梁籍云, 韩国强. 基于度量学习的跨模态人脸检索方法[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 1-9.
[6]	余映, 何鹏浩, 徐超越. 基于残差注意力融合和门控信息蒸馏的图像修复[J]. 华南理工大学学报(自然科学版), 2022, 50(12): 49-59.
[7]	杨晋生, 陈洪鹏, 关欣, 等. 一种多尺度轻量级脑胶质瘤图像分割网络[J]. 华南理工大学学报(自然科学版), 2022, 50(12): 132-141.
[8]	王洁, 夏晓明. 基于机器阅读理解的BiLSTM-BiDAF命名实体识别[J]. 华南理工大学学报(自然科学版), 2022, 50(12): 80-88.
[9]	黄敏齐海涛蒋春林. 基于注意力机制的耦合协同过滤模型[J]. 华南理工大学学报(自然科学版), 2021, 49(7): 59-65.
[10]	刘慧婷, 李茵捷, 郭玲玲, 等. 基于异构信息网络的紧耦合推荐算法[J]. 华南理工大学学报（自然科学版）, 2021, 49(7): 66-75.
[11]	胡广华, 王宁, 何文亮, 等. 基于图像修复的无监督表面缺陷检测方法[J]. 华南理工大学学报（自然科学版）, 2021, 49(7): 76-85,124.
[12]	张艳, 吴洛天, 王年, 等. 基于多模块关系网络的2D足迹分类[J]. 华南理工大学学报（自然科学版）, 2021, 49(6): 66-76.
[13]	张瑞峰, 白金桐, 关欣, 等. 结合SE与BiSRU的Unet的音乐源分离方法[J]. 华南理工大学学报（自然科学版）, 2021, 49(11): 106-115,134.
[14]	IKA Novita Dewi, 蔡晓玲, 刘晓锋, 等. 结合类别关键词与注意力机制的药物相互关系抽取模型[J]. 华南理工大学学报（自然科学版）, 2021, 49(1): 10-17.
[15]	刘慧婷, 纪强, 刘慧敏, 等. 基于双层注意力机制的联合深度推荐模型[J]. 华南理工大学学报（自然科学版）, 2020, 48(6): 97-105.

基于密集特征推理及混合损失函数的修复算法

Image Inpainting Algorithm Based on Dense Feature Reasoning and Mix Loss Function

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 22

相关文章 15

编辑推荐

Metrics

本文评价