特征域多假设预测视频压缩感知重构神经网络

doi:10.12141/j.issn.1000-565X.210507

华南理工大学学报(自然科学版) ›› 2022, Vol. 50 ›› Issue (6): 80-90.doi: 10.12141/j.issn.1000-565X.210507

所属专题： 2022年电子、通信与自动控制

• 电子、通信与自动控制 • 上一篇下一篇

特征域多假设预测视频压缩感知重构神经网络

杨春玲凌茜吕泽宇

华南理工大学电子与信息学院，广东广州 510640

收稿日期:2021-08-12 修回日期:2021-12-02 出版日期:2022-06-25 发布日期:2021-12-31
通信作者: 杨春玲 (1970-)，女，教授，主要从事图像/视频压缩编码、图像质量评价、图像/视频压缩感知重构研究。 E-mail:eeclyang@ scut. edu. cn
作者简介:杨春玲 (1970-)，女，教授，主要从事图像/视频压缩编码、图像质量评价、图像/视频压缩感知重构研究。
基金资助:
广东省自然科学基金资助项目 (2017A030311028，2019A1515011949)

Feature-domain Multi-Hypothesis Prediction Reconstruction Neural Network for Compressed Video Sensing

YANG Chunling LING Xi LÜ Zeyu#br#

School of Electronic and Information Engineering，South China University of Technology，Guangzhou 510640，Guangdong，China

Received:2021-08-12 Revised:2021-12-02 Online:2022-06-25 Published:2021-12-31
Contact: 杨春玲 (1970-)，女，教授，主要从事图像/视频压缩编码、图像质量评价、图像/视频压缩感知重构研究。 E-mail:eeclyang@ scut. edu. cn
About author:杨春玲 (1970-)，女，教授，主要从事图像/视频压缩编码、图像质量评价、图像/视频压缩感知重构研究。
Supported by:
Supported by the Natural Science Foundation of Guangdong Province (2017A030311028，2019A1515011949)

摘要/Abstract

摘要： 在预测-残差重构框架中，利用视频时间相关性进行多假设预测是视频压缩感知重构的关键步骤。本文基于深度学习，研究了利用丰富的特征域信息实现更精确预测的方法，提出一种特征域多假设预测视频压缩感知重构网络(FMH_CVSNet)。首先提出一种新的特征域多假设预测模块（FMH_Module），通过构造合理的运动估计模块与假设权重求解模块增强了网络的预测能力；其次提出两阶段多参考帧运动补偿模式，使不同运动特征序列均能构造更优假设集，进一步提升了预测精度。仿真结果表明，FMH_CVSNet在各实验条件下均取得了优秀的重构性能，相比于传统多假设算法2sMHR平均PSNR提升了4.76dB，相比于基于深度学习的视频压缩感知重构算法VCSNet-2提升了3.87dB。

关键词: 视频压缩感知, 深度学习, 多假设预测, 自适应假设权重, 多参考帧, 视频运动特征

Abstract: In the prediction-residual reconstruction framework, multi-hypothesis prediction based on temporal correlation is the key step of compressed video sensing reconstruction. This paper studies the accuracy prediction method by utilizing rich features based on deep learning, and a novel feature-domain multi-hypothesis reconstruction network for compressed video sensing (FMH_CVSNet) is proposed. In FMH_CVSNet, the feature domain multi-hypothesis prediction module (FMH_Module) is firstly proposed, which improves the prediction ability by reasonably constructing the motion estimation module and the hypothesis weight calculation module based on the characteristics of video signal. Secondly, the two-stage multi-reference motion compensation mode is proposed, which makes the constructed hypothesis sets much better for sequences with different motion and the further improves the prediction accuracy. Simulation results show that FMH_CVSNet achieves better reconstruction performance under various experimental conditions, improves by 4.76dB compared with the traditional multi-hypothesis algorithm 2sMHR and improves by 3.87dB compared with CNN based compressed video sensing reconstruction algorithm VCSNet-2.

Key words: compressed video sensing, deep learning, multi-hypothesis prediction, adaptive hypothesis weight, multiple reference frame, video motion feature

中图分类号:

TP919.8

杨春玲, 凌茜, 吕泽宇. 特征域多假设预测视频压缩感知重构神经网络[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 80-90.

YANG Chunling, LING Xi, LÜ Zeyu. Feature-domain Multi-Hypothesis Prediction Reconstruction Neural Network for Compressed Video Sensing[J]. Journal of South China University of Technology(Natural Science Edition), 2022, 50(6): 80-90.

[1]	李方, 郭炜森, 张平, 等. 基于时空双细胞状态的轴承剩余使用寿命预测方法[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 69-81.
[2]	苏锦钿, 余珊珊, 洪晓斌. 一种面向中文拼写纠错的自监督预训练方法[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 90-98.
[3]	李家春, 李博文, 林伟伟. AdfNet：一种基于多样化特征的自适应深度伪造检测网络[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 82-89.
[4]	郭恩强, 符锌砂. 基于特征相似性学习的抛洒物检测方法[J]. 华南理工大学学报(自然科学版), 2023, 51(6): 30-41.
[5]	赵建东, 焦岚馨, 赵志敏, 等. 考虑侧向车换道影响的理论和数据组合驱动的车辆跟驰模型[J]. 华南理工大学学报(自然科学版), 2023, 51(6): 10-19.
[6]	叶峰, 陈彪, 赖乙宗. 基于特征空间嵌入的对比知识蒸馏算法[J]. 华南理工大学学报(自然科学版), 2023, 51(5): 13-23.
[7]	侯力玮, 王恒升, 邹浩然. 基于深度学习的玻璃基板铲起过程作用力预测[J]. 华南理工大学学报(自然科学版), 2022, 50(8): 71-81.
[8]	莫建文, 朱彦桥, 袁华, 等. 基于神经元正则和资源释放的增量学习[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 71-79,90.
[9]	陆璐, 钟文煜, 吴小坤. 基于多尺度视觉Transformer的图像篡改定位[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 10-18.
[10]	张勤, 胡嘉辉, 任海林. 饲喂辅助机器人的智能推料方法与试验研究[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 111-120.
[11]	沃焱, 梁籍云, 韩国强. 基于度量学习的跨模态人脸检索方法[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 1-9.
[12]	赵建东, 朱丹, 刘佳欣. 基于时间序列分解与门控循环单元的地铁换乘客流预测 [J]. 华南理工大学学报(自然科学版), 2022, 50(5): 22-31.
[13]	苏锦钿洪晓斌余珊珊. 基于多模型集成的语义文本相似性判断[J]. 华南理工大学学报(自然科学版), 2022, 50(4): 1-9.
[14]	冯浩王年唐俊. 面向大规模图像检索的深度多尺度注意力哈希网络[J]. 华南理工大学学报(自然科学版), 2022, 50(4): 35-45.
[15]	郑娟毅, 慕金玉, 邢丽荣, 等. 基于深度压缩感知的波束空间信道估计算法[J]. 华南理工大学学报(自然科学版), 2022, 50(12): 101-108.

特征域多假设预测视频压缩感知重构神经网络

Feature-domain Multi-Hypothesis Prediction Reconstruction Neural Network for Compressed Video Sensing

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价