多特征增量学习的视频重建图像质量增强算法

doi:10.3969/j.issn.1000-565X.2018.12.006

华南理工大学学报（自然科学版）

多特征增量学习的视频重建图像质量增强算法

丁丹丹¹ 陈靖森¹ 费加罗¹ 佟骏超¹ 潘志庚^1,2 姚争为¹

1．杭州师范大学信息科学与工程学院，浙江杭州 311121; 2．广州玖的数码科技有限公司，广东广州 511400

收稿日期:2018-08-25 出版日期:2018-12-25 发布日期:2018-11-01
通信作者: 丁丹丹(1983-)，女，讲师，主要从事视频图像处理、视频编码研究． E-mail:DandanDing@hznu.edu.cn
作者简介:丁丹丹(1983-)，女，讲师，主要从事视频图像处理、视频编码研究．
基金资助:
国家重点研发计划项目(2017YFB1002803);国家级大学生创新创业训练计划项目(201810346015)

A Multi-Feature Incremental Learning Neural Network for the Quality Enhancement of Video Reconstructed Pictures in H. 265/HEVC

DING Dandan¹ CHEN Jingsen¹ FEI Jialuo¹ TONG Junchao¹ PAN Zhigeng^1,2 YAO Zhengwei¹

1． School of Information Science and Engineering，Hangzhou Normal University，Hangzhou 311121，Zhejiang，China; 2． Guangzhou NINED LLC，Guangzhou 511400，Guangdong，China

Received:2018-08-25 Online:2018-12-25 Published:2018-11-01
Contact: 丁丹丹(1983-)，女，讲师，主要从事视频图像处理、视频编码研究． E-mail:DandanDing@hznu.edu.cn
About author:丁丹丹(1983-)，女，讲师，主要从事视频图像处理、视频编码研究．
Supported by:
Supported by the National Key R＆D Program of China under Grant (2017YFB1002803) and the National-Level Collage Student’s Innovative Entrepreneurial Training Plan Program (201810346015)

摘要/Abstract

摘要： 新一代视频编码标准 H． 265/HEVC 采用了去方块滤波与样点自适应补偿滤波技术来去除视频重建图像的块效应并降低失真．这两种技术都源于信号处理理论，依赖人工设计相关算法与参数，并不能充分挖掘自然视频丰富而复杂的特性．本文将视频编码的环路滤波问题转化为端到端的回归问题，借助于卷积神经网络，自动学习重建视频图像与原始图像的复杂映射关系，降低两者的误差，进而提升编码效率．所提出的多特征增量学习网络模型共 35 层，整个网络采用全局残差学习方式，通过依次串联多特征增量学习块，不断提取、筛选，加强有用特征，提升网络的感知能力与学习能力;在局部的每个增量学习块内，设计了多尺度的卷积核，借助于稠密网络的思想，充分利用各个层次的特征，使得信息在各层间充分传递．实验结果表明，这种稠密与稀疏结合的网络结构有效地提高了网络的学习能力，并具备良好的泛化性，对视频编码重建图像的质量增强有明显效果．所提出的网络模型用于取代 H． 265/HEVC 的环路滤波，在 All Intra Main 配置下，亮度分量获得最高－11． 12%，平均－ 6． 32% 的 BD-rate 节省．该模型用于 H． 265/HEVC 的环路滤波， BD-rate 平均可降低 5． 24%．

关键词: H.265/HEVC, 环路滤波, 卷积神经网络, 增量学习

Abstract: The new generation video coding standard H. 265/HEVC employs in-loop filter，which includes de-bloc- king (DBF) and sample adaptive offset filter (SAO)，to remove the blocking artifacts and reduce the distortions of reconstructed video frames． Both of DBF and SAO originated from signal processing theory，and the corresponding algorithms and parameters are designed and set manually． Although the computational complexity is relatively low， such filters may not deal with different kinds of contents well enough as the natural videos are much more complex． This paper formulates the loop-filter problem in video coding as an end-to-end regression problem，which can be solved by deep neural network． The relationship between reconstructed frames and original frames are mapped au- tomatically and as a result，the differences between them are minimized． The proposed Multi-Feature based Incre- mental Learning Network (MFILNet) includes 35 layers． The integrated network adopts global residual learning strategy and cascades several Feature Incremental Learning Blocks (FIBs) to extract features of different levels． Consequently，useful features are finally extracted，selected and enhanced to improve the perceptual ability of the network． Within each FIB，variable convolutional kernels are adopted． Inspirited by DenseNet，features from dif- ferent layers are fused，thus to facilitate information flow among layers． Experimental results show that with the scheme of combining density and sparsity，learning capability and generalization capability of the proposed network are boosted tremendously． Both objective and subjective quality of the video compressed frames is improved signifi- cantly． Consequently，the proposed network model is used to substitute the DBF and SAO in H. 265/HEVC． Up to 11. 2% and averaged 6. 32% BD-rate reduction is obtained． The model is also used after the DBF and SAO， 5. 24% BD-rate saving can be obtained in average．

Key words: H. 265/HEVC, in-loop filter, convolutional neural network, incremental learning

丁丹丹陈靖森费加罗佟骏超潘志庚姚争为. 多特征增量学习的视频重建图像质量增强算法[J]. 华南理工大学学报（自然科学版）, doi: 10.3969/j.issn.1000-565X.2018.12.006.

DING Dandan CHEN Jingsen FEI Jialuo TONG Junchao PAN Zhigeng YAO Zhengwei. A Multi-Feature Incremental Learning Neural Network for the Quality Enhancement of Video Reconstructed Pictures in H. 265/HEVC[J]. Journal of South China University of Technology (Natural Science Edition), doi: 10.3969/j.issn.1000-565X.2018.12.006.

[1]	马晓亮, 安玲玲, 邓从健, 等. 基于行业词表的自动语音转写后优化技术[J]. 华南理工大学学报(自然科学版), 2023, 51(8): 118-125.
[2]	朱铮宇, 罗超, 贺前华, 等. 基于唇重构与三维耦合CNN的多视角音唇一致性判别[J]. 华南理工大学学报(自然科学版), 2023, 51(5): 70-77.
[3]	叶峰, 陈彪, 赖乙宗. 基于特征空间嵌入的对比知识蒸馏算法[J]. 华南理工大学学报(自然科学版), 2023, 51(5): 13-23.
[4]	莫建文, 朱彦桥, 袁华, 等. 基于神经元正则和资源释放的增量学习[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 71-79,90.
[5]	邱志斌, 卢祖文, 王海祥, 等. 基于Mel频谱图和CNN的电网涉鸟故障鸟声识别[J]. 华南理工大学学报(自然科学版), 2022, 50(2): 129-136.
[6]	张香竹, 张立家, 宋逸凡, 等. 基于深度学习的无人机单目视觉避障算法[J]. 华南理工大学学报（自然科学版）, 2022, 50(1): 101-108, 131.
[7]	黄敏齐海涛蒋春林. 基于注意力机制的耦合协同过滤模型[J]. 华南理工大学学报(自然科学版), 2021, 49(7): 59-65.
[8]	刘奇, 于斌, 孟祥成, 等. 基于转置卷积神经网络的路面裂缝识别算法[J]. 华南理工大学学报(自然科学版), 2021, 49(12): 124-132.
[9]	李波饶浩波. 复杂场景下特征增强的显著性目标检测方法[J]. 华南理工大学学报（自然科学版）, 2021, 49(11): 135-144.
[10]	谢康, 陈晓斌, 尧俊凯, 等. 基于机器视觉的建筑垃圾填料物质组分图像分析方法[J]. 华南理工大学学报（自然科学版）, 2021, 49(10): 50-58,69.
[11]	杜启亮, 黄理广, 田联房, 等. 基于视频监控的手扶电梯乘客异常行为识别[J]. 华南理工大学学报（自然科学版）, 2020, 48(8): 10-21.
[12]	陈善雄, 韩旭, 林小渝, 等. 基于 MSER 和 CNN 的彝文古籍文献的字符检测方法[J]. 华南理工大学学报（自然科学版）, 2020, 48(6): 123-133.
[13]	范自柱, 王松, 张泓, 等. 基于 W- Net 的高分辨率遥感卫星图像分割 [J]. 华南理工大学学报（自然科学版）, 2020, 48(12): 114-124.
[14]	文生平, 周正军, 张啸言, 等. 基于计算机视觉的轴承滚子表面缺陷在线检测系统[J]. 华南理工大学学报（自然科学版）, 2020, 48(10): 76-87.
[15]	刘建国, 冯云剑, 纪郭, 等. 一种基于 PSMNet 改进的立体匹配算法[J]. 华南理工大学学报（自然科学版）, 2020, 48(1): 60-69,83.

多特征增量学习的视频重建图像质量增强算法

A Multi-Feature Incremental Learning Neural Network for the Quality Enhancement of Video Reconstructed Pictures in H. 265/HEVC

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价