AdfNet： 一种基于多样化特征的自适应深度伪造检测网络

doi:10.12141/j.issn.1000-565X.220825

华南理工大学学报(自然科学版) ›› 2023, Vol. 51 ›› Issue (9): 82-89.doi: 10.12141/j.issn.1000-565X.220825

AdfNet：一种基于多样化特征的自适应深度伪造检测网络

李家春李博文林伟伟

华南理工大学计算机科学与工程学院，广东广州 510006

收稿日期:2022-12-24 出版日期:2023-09-25 发布日期:2023-04-20
通信作者: 李家春（1968-），女，博士，副教授，主要从事计算机网络与信息安全、隐私保护、人工智能安全、智慧教学等研究。 E-mail:jclee@scut.edu.cn
作者简介:李家春（1968-），女，博士，副教授，主要从事计算机网络与信息安全、隐私保护、人工智能安全、智慧教学等研究。
基金资助:
广东省重点领域研发计划项目(2021B0101420002);教育部产学合作协同育人项目(201902186007);广州市重点领域研发计划项目(202007040002);广州市开发区国际合作项目(2020GH10)

AdfNet: An Adaptive Deep Forgery Detection Network Based on Diverse Features

LI Jiachun LI Bowen LIN Weiwei

School of Computer Science and Engineering，South China University of Technology，Guangzhou 510006，Guangdong，China

Received:2022-12-24 Online:2023-09-25 Published:2023-04-20
Contact: 李家春（1968-），女，博士，副教授，主要从事计算机网络与信息安全、隐私保护、人工智能安全、智慧教学等研究。 E-mail:jclee@scut.edu.cn
About author:李家春（1968-），女，博士，副教授，主要从事计算机网络与信息安全、隐私保护、人工智能安全、智慧教学等研究。
Supported by:
Guangdong Provincial Key R&D Program(2021B0101420002);the Ministry of Education’s Cooperative Education Project(201902186007)

摘要/Abstract

摘要：

视频篡改造成的危害一直在危及人们的生活，这使深度伪造检测技术逐渐得到广泛关注和发展。然而，目前的检测方法由于使用了不灵活的约束条件，无法有效捕获噪声残差；此外，也忽略了纹理和语义特征之间的关联，以及时序特征对检测性能提升的影响。为了解决上述问题，文中提出了一种用于深度伪造检测的、具有多样化特征的自适应网络（AdfNet），它通过提取语义特征、纹理特征和时序特征帮助分类器判断真伪；探索了自适应纹理噪声提取机制（ATNEM），通过未池化的特征映射与基于频域的通道注意力机制，灵活捕获非固定频段的噪声残差；设计了深层语义分析指导策略（DSAGS），通过空间注意力机制突出篡改痕迹，并引导特征提取器关注焦点区域的深层特征；研究了多尺度时序特征处理方法（MTFPM），利用时序注意力机制给不同视频帧分配权重，捕获被篡改视频中时间序列的差异。实验结果表明，所提出的网络在FaceForensics++（FF++）数据集HQ模式中的ACC值为97.41%，相比当前主流网络有较为明显的性能提升；并且在FF++数据集上保持AUC值为99.80%的同时，在Celeb-DF上AUC值可达到76.41%，具有较强的泛化性。

关键词: 深度学习, 深度伪造检测, 多尺度时序特征, 注意力机制, 自适应网络

Abstract:

The harm caused by video tampering has been endangering people’s lives, which makes deep forgery detection technology gradually obtain widespread attention and development. However, current detection methods could not effectively capture noisy residuals due to the use of inflexible constraints. In addition, they ignore the correlation between texture and semantic features and the impact of temporal features on detection performance improvement. To solve these problems, this paper proposed an adaptive network (AdfNet) with diverse features for deep forgery detection. It helps the classifier to judge authenticity by extracting semantic features, texture features and temporal features. The paper explored the adaptive texture noise extraction (ATNEM) mechanism, and flexibly captured the noise residuals in non-fixed frequency bands through unpooled feature mapping and frequency-based channel attention mechanism. The deep semantic analysis guidance strategy (DSAGS) was designed to highlight the tampering traces through spatial attention mechanism, and guide the feature extractor to focus on the deep features of the focus region. The paper studied multi-scale temporal feature processing (MTFPM), and used temporal attention mechanism to assign weights to different video frames and capture the difference of time series in tampered videos. The experimental results show that the ACC score of the proposed network in the HQ mode of FaceForensics++(FF++) dataset is 97.41%, which is significantly better than that of the existing mainstream algorithms. Moreover, while maintaining the AUC value of 99.80% on the FF++ dataset, the AUC value can reach 76.41% on Celeb-DF, reflecting strong generalization.

Key words: deep learning, deep forgery detection, multi-scale temporal feature, attention mechanism, adaptive network

中图分类号:

TP391.4

李家春, 李博文, 林伟伟. AdfNet：一种基于多样化特征的自适应深度伪造检测网络[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 82-89.

LI Jiachun, LI Bowen, LIN Weiwei. AdfNet: An Adaptive Deep Forgery Detection Network Based on Diverse Features[J]. Journal of South China University of Technology(Natural Science Edition), 2023, 51(9): 82-89.

图/表 9

图1

图2

图3

表1

表2

表3

表4

表5

表6

参考文献 27

1	KORSHUNOV P， MARCEL S ．Deepfakes：a new threat to face recognition？assessment and detection［EB/OL］．（2018-12-20）［2022-09-01］．.
2	胡永健， SALMAN Alhamidi，王宇飞，等．视频篡改检测数据库的构建及测试［J］．华南理工大学学报（自然科学版），2017，45（12）：57-64.
	HU Yong-jian， SALMAN Alhamidi， WANG Yu-fei，et al ．Construction and evaluation of video forgery detection database［J］．Journal of South China University of Technology （Natural Science Edition），2017，45（12）：57-64.
3	WANG J， SUN Y， TANG J ．LISIAM：Localization invariance Siamese network for deepfake detection［J］．IEEE Transactions on Information Forensics and Security，2022，17：2425-2436.
4	陆璐，钟文煜，吴小坤．基于多尺度视觉Transformer的图像篡改定位［J］．华南理工大学学报（自然科学版），2022，50（6）：10-18.
	LU Lu， ZHONG Wenyu， WU Xiaokun ．Image tampering localization based on mutil-scale transformer［J］．Journal of South China University of Technology（Natural Science Edition），2022，50（6）：10-18.
5	YANG J， XIAO S， LI A，et al ．Detecting fake images by identifying potential texture difference［J］．Future Generation Computer Systems，2021，125：127-135.
6	COZZOLINO D， POGGI G， VERDOLIVA L ．Recasting residual-based local descriptors as convolutional neural networks：An application to image forgery detection［C］∥Proceedings of the 5th ACM Workshop on Information Hiding and Multimedia Security．Philadelphia：ACM，2017：159-164.
7	BAYAR B， STAMM M C ．A deep learning approach to universal image manipulation detection using a new convolutional layer［C］∥Proceedings of the 4th ACM Workshop on Information Hiding and Multimedia Security．Vigo：ACM，2016：5-10.
8	AFCHAR D， NOZICK V， YAMAGISHI J，et al ．Mesonet：A compact facial video forgery detection network［C］∥Proceedings of the 2018 IEEE International Workshop on Information Forensics and Security （WIFS）．Hong Kong：IEEE，2018：1-7.
9	CHOLLET F ．Xception：Deep learning with depthwise separable convolutions［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu：IEEE，2017：1251-1258.
10	MASI I， KILLEKAR A， MASCARENHAS R M，et al ．Two-branch recurrent network for isolating deepfakes in videos［C］∥Proceedings of the European Conference on Computer Vision．Glasgow：Springer，2020：667-684.
11	ZHAO H， ZHOU W， CHEN D，et al ．Multi-attentional deepfake detection［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition．Kuala Lumpur：IEEE，2021：2185-2194.
12	WU X， XIE Z， GAO Y T，et al ．Sstnet：Detecting manipulated faces through spatial，steganalysis and temporal features［C］∥Proceedings of the 2020 IEEE International Conference on Acoustics，Speech and Signal Processing （ICASSP）．Barcelona：IEEE，2020：2952-2956.
13	GÜERA D， DELP E J ．Deepfake video detection using recurrent neural networks［C］∥Proceedings of the 2018 15th IEEE International Conference on Advanced Video and Signal Based Surveillance （AVSS）．Auckland：IEEE，2018：1-6.
14	SABIR E， CHENG J， JAISWAL A，et al ．Recurrent convolutional strategies for face manipulation detection in videos［J］．Interfaces （GUI），2019，3（1）：80-87.
15	ROSSLER A， COZZOLINO D， VERDOLIVA L，et al ．FaceForensics++：Learning to detect manipulated facial images［C］∥Proceedings of the IEEE/CVF International Conference on Computer Vision．Calif：IEEE，2019：1-11.
16	LI Y， YANG X， SUN P，et al ．Celeb-DF：A large-scale challenging dataset for deepfake forensics［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition．Seattle：IEEE，2020：3207-3216.
17	DENG J， DONG W， SOCHER R，et al ．ImageNet：A large-scale hierarchical image database［C］∥Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition．Miami：IEEE，2009：248-255.
18	BOROUMAND M， CHEN M， FRIDRICH J ．Deep residual network for steganalysis of digital images［J］．IEEE Transactions on Information Forensics and Security，2018，14（5）：1181-1193.
19	QIN Z， ZHANG P， WU F，et al ．Fcanet：Frequency channel attention networks［C］∥Proceedings of the IEEE/CVF International Conference on Computer Vision．Montreal：IEEE，2021：783-792.
20	LIU H， LI X， ZHOU W，et al ．Spatial-phase shallow learning：Rethinking face forgery detection in frequency domain［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition．Kuala Lumpur：IEEE，2021：772-781.
21	QIAN Y， YIN G， SHENG L，et al ．Thinking in frequency：Face forgery detection by mining frequency-aware clues［C］∥Proceedings of the European Conference on Computer Vision．Glasgow：Springer，2020：86-103.
22	TAN M， LE Q ．Efficientnet：Rethinking model scaling for convolutional neural networks［C］∥Proceedings of the International Conference on Machine Learning. New York：PMLR，2019：6105-6114.
23	TRINH L， TSANG M， RAMBHATLA S，et al ．Interpretable and trustworthy deepfake detection via dynamic prototypes［C］∥Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision．Montreal：IEEE，2021：1973-1983.
24	NGUYEN H H， FANG F， YAMAGISHI J，et al ．Multi-task learning for detecting and segmenting manipulated facial images and videos［C］∥Proceedings of the 2019 IEEE 10th International Conference on Biometrics Theory，Applications and Systems （BTAS）．Tampa：IEEE，2019：1-8.
25	CHO K， VAN M B， GULCEHRE C，et al ．Learning phrase representations using RNN encoder-decoder for statistical machine translation［EB/OL］．（2014-09-03）［2022-09-01］．.
26	LIN T Y， ROYCHOWDHURY A， MAJI S ．Bilinear CNN models for fine-grained visual recognition［C］∥Proceedings of the IEEE International Conference on Computer Vision．Santiago：IEEE，2015：1449-1457.
27	DAI Y， GIESEKE F， OEHMCKE S，et al ．Attentional feature fusion［C］∥Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision．Montreal：IEEE，2021：3560-3569.

方法	LQ		HQ
方法	ACC	AUC	ACC	AUC
MesoNet^［8］	70.47	—	83.10	—
SRNet^［17］	73.56	78.60	95.02	97.04
Xception^［9］	85.80	88.68	94.27	96.41
文献［13］	85.32	87.23	94.47	95.68
文献［14］	87.10	89.25	95.07	97.52
文献［10］	—	86.95	—	98.70
文献［11］	87.03	88.36	96.68	98.99
文献［12］	87.25	88.79	95.61	98.12
文献［20］	81.57	82.82	91.50	95.32
文献［3］	87.81	85.39	94.90	98.37
AdfNet	88.43	91.53	97.41	99.38

方法	FF++	Celeb-DF
MesoNet^［8］	84.70	54.80
Xception-c23^［9］	99.70	65.30
文献［10］	93.18	73.41
文献［21］	98.10	65.17
文献［22］	99.70	64.29
文献［11］	99.80	67.44
文献［20］	96.91	76.88
文献［23］	99.20	68.20
文献［24］	76.30	54.30
AdfNet	99.80	76.41

训练集	方法	测试集
训练集	方法	DF	F2F	FS	NT	FSH
DF	MesoNet	97.63	46.55	60.70	77.49	69.74
	Xception	99.31	74.56	38.69	75.36	62.88
	AdfNet	99.85	73.95	65.28	84.47	65.52
F2F	MesoNet	74.00	97.78	53.57	63.67	54.13
	Xception	81.74	99.38	57.94	69.08	62.59
	AdfNet	86.34	99.60	61.95	67.68	65.71
FS	MesoNet	51.19	58.18	98.95	51.27	49.23
	Xception	58.35	67.36	99.44	54.26	64.68
	AdfNet	60.41	66.85	99.71	58.38	57.39
NT	MesoNet	87.54	61.92	49.30	86.86	63.88
	Xception	84.65	69.78	46.83	98.19	70.55
	AdfNet	93.63	70.96	50.76	98.65	70.77
FSH	MesoNet	78.33	45.83	47.90	65.31	95.13
	Xception	74.13	47.36	50.39	64.62	99.35
	AdfNet	64.36	52.18	52.20	65.90	99.49

方法	DF（HQ）		F2F（HQ）		FS（HQ）		NT（HQ）		FSH（HQ）
方法	ACC	AUC	ACC	AUC	ACC	AUC	ACC	AUC	ACC	AUC
双流网络	98.13	98.67	97.87	98.01	98.01	98.83	93.80	97.99	97.07	99.43
双流网络+双向GRU	98.59	99.36	98.78	99.34	98.97	99.33	94.09	98.65	97.64	99.49
双流网络+MTFPM	98.92	99.80	98.80	99.53	98.95	99.74	94.48	98.52	97.76	99.63
双流网络+ATNEM	98.64	99.70	98.88	99.56	98.79	99.57	94.34	98.46	97.12	99.51
双流网络+DSAGS	98.77	99.76	98.75	99.50	98.55	99.54	94.19	98.15	97.41	99.55
AdfNet	99.15	99.87	98.99	99.60	99.12	99.75	94.85	98.67	97.90	99.49

伪造方法	单帧		连续两帧		连续3帧		连续4帧
伪造方法	ACC	AUC	ACC	AUC	ACC	AUC	ACC	AUC
DF	98.13	99.63	99.15	99.87	99.23	99.68	99.40	99.87
F2F	98.36	99.24	98.99	99.60	98.73	99.61	98.99	99.52
FS	98.51	99.72	99.12	99.75	99.13	99.82	99.05	99.77
NT	94.29	98.08	94.85	98.67	94.69	98.54	95.03	98.50
FSH	96.89	99.47	97.90	99.49	97.88	99.53	98.01	99.64

AdfNet：一种基于多样化特征的自适应深度伪造检测网络

AdfNet: An Adaptive Deep Forgery Detection Network Based on Diverse Features

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 27

相关文章 15

编辑推荐

Metrics

本文评价

方法	DF（HQ）		F2F（HQ）		FS（HQ）		NT（HQ）		FSH（HQ）
方法	ACC	AUC	ACC	AUC	ACC	AUC	ACC	AUC	ACC	AUC
逐点相加	98.88	99.64	98.22	99.11	98.15	99.23	94.33	97.90	97.23	99.50
拼接	98.83	99.69	98.47	99.22	98.63	99.69	94.45	98.44	97.86	99.54
双线性池化	98.94	99.65	98.84	99.29	98.72	99.81	94.53	97.94	97.77	99.53
注意力特征融合	99.15	99.87	98.99	99.60	99.12	99.75	94.85	98.67	97.90	99.49

[1]	李海燕, 尹浩林, 李鹏, 等. 基于密集特征推理及混合损失函数的修复算法[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 99-109.
[2]	李方, 郭炜森, 张平, 等. 基于时空双细胞状态的轴承剩余使用寿命预测方法[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 69-81.
[3]	苏锦钿, 余珊珊, 洪晓斌. 一种面向中文拼写纠错的自监督预训练方法[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 90-98.
[4]	郭恩强, 符锌砂. 基于特征相似性学习的抛洒物检测方法[J]. 华南理工大学学报(自然科学版), 2023, 51(6): 30-41.
[5]	赵建东, 焦岚馨, 赵志敏, 等. 考虑侧向车换道影响的理论和数据组合驱动的车辆跟驰模型[J]. 华南理工大学学报(自然科学版), 2023, 51(6): 10-19.
[6]	陆璐, 赖锦雄. 基于胶囊网络和注意力机制的智能合约漏洞检测方法[J]. 华南理工大学学报(自然科学版), 2023, 51(5): 36-44.
[7]	叶峰, 陈彪, 赖乙宗. 基于特征空间嵌入的对比知识蒸馏算法[J]. 华南理工大学学报(自然科学版), 2023, 51(5): 13-23.
[8]	刘宇鹏, 张雷. 融合遗忘和知识点重要度的认知诊断模型[J]. 华南理工大学学报(自然科学版), 2023, 51(5): 54-62.
[9]	侯力玮, 王恒升, 邹浩然. 基于深度学习的玻璃基板铲起过程作用力预测[J]. 华南理工大学学报(自然科学版), 2022, 50(8): 71-81.
[10]	莫建文, 朱彦桥, 袁华, 等. 基于神经元正则和资源释放的增量学习[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 71-79,90.
[11]	陆璐, 钟文煜, 吴小坤. 基于多尺度视觉Transformer的图像篡改定位[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 10-18.
[12]	张勤, 胡嘉辉, 任海林. 饲喂辅助机器人的智能推料方法与试验研究[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 111-120.
[13]	杨春玲, 凌茜, 吕泽宇. 特征域多假设预测视频压缩感知重构神经网络[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 80-90.
[14]	沃焱, 梁籍云, 韩国强. 基于度量学习的跨模态人脸检索方法[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 1-9.
[15]	赵建东, 朱丹, 刘佳欣. 基于时间序列分解与门控循环单元的地铁换乘客流预测 [J]. 华南理工大学学报(自然科学版), 2022, 50(5): 22-31.

AdfNet： 一种基于多样化特征的自适应深度伪造检测网络

AdfNet: An Adaptive Deep Forgery Detection Network Based on Diverse Features

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 27

相关文章 15

编辑推荐

Metrics

本文评价

AdfNet：一种基于多样化特征的自适应深度伪造检测网络