基于多层次深度卷积神经网络的图像情感分类

doi:10.12141/j.issn.1000-565X.180059

华南理工大学学报(自然科学版) ›› 2019, Vol. 47 ›› Issue (6): 39-50.doi: 10.12141/j.issn.1000-565X.180059

基于多层次深度卷积神经网络的图像情感分类

王伟凝¹ 李乐敏¹ 黄杰雄¹ 罗杰波² 徐向民^1†

1．华南理工大学电子与信息学院，广东广州 510640; 2．罗切斯特大学计算机科学学院，纽约罗彻斯特 14627

收稿日期:2018-02-01 修回日期:2018-12-21 出版日期:2019-06-25 发布日期:2019-05-05
通信作者: 徐向民(1972-)，男，教授，主要从事人机交互、计算机视觉和 EDA 设计研究． E-mail:xmxu@scut.edu.cn
作者简介:王伟凝(1975-)，女，副教授，主要从事计算机视觉、图像情感分析、图像分类与检索、机器学习研究． E-mail: wnwang@ scut． edu． cn
基金资助:
国家自然科学基金资助项目( U180120050，61702192 ，U1636218); 广东省自然科学基金资助项目(2015A030313212);国家留学基金资助出国留学项目(201506155081)

A Multi-level Deep Convolutional Neural Network for Image Emotion Classification

WANG Weining¹ LI Lemin¹ HUANG Jiexiong¹ LUO Jiebo² XU Xiangmin¹

1． School of Electronic and Information Engineering，South China University of Technology，Guangzhou 510640， Guangdong，China; 2． Department of Computer Science，University of Rochester，Rochester 14627，New York，USA

Received:2018-02-01 Revised:2018-12-21 Online:2019-06-25 Published:2019-05-05
Contact: 徐向民(1972-)，男，教授，主要从事人机交互、计算机视觉和 EDA 设计研究． E-mail:xmxu@scut.edu.cn
About author:王伟凝(1975-)，女，副教授，主要从事计算机视觉、图像情感分析、图像分类与检索、机器学习研究． E-mail: wnwang@ scut． edu． cn
Supported by:
Supported by the National Natural Science Foundation of China(U180120050，61702192 ，U1636218)，the Natu- ral Science Foundation of Guangdong Province(2015A030313212) and the State Scholarship Found of China(201506155081)

摘要/Abstract

摘要： 由于图像的复杂性和人类情感的主观性，图像情感分类是一项非常具有挑战性的任务．针对深度学习方法没有充分考虑图像先验信息的问题，提出一个新的多层次深度卷积神经网络框架．该框架综合考虑全局和局部视角，引入显著主体、颜色和局部等先验信息，从多个层次学习图像的情感表达．实验结果表明，在公开的大数量级和小数量级情感图库上，该框架的分类准确率均高于现有的图像情感分类方法，其平均分类准确率比最优方法提高了 2． 8%，特别在情感类别“厌恶”上提高了 15%．

关键词: 图像情感分类, 卷积神经网络, 先验信息, 多层次

Abstract: Emotion classification of images is a challenging task regarding the complexity of various images and the subjectivity of human’s emotion perception． Most existing deep learning methods didn’t consider image prior in- formation fully． A new multi-level deep convolutional neural network was proposed to predict the emotion based on the multi-level prior information from global and local view． Extensive experiments on both the large scale and small scale emotion datasets demonstrate the effectiveness of our method． The average classification accuracy of our meth- od is 2. 8% higher than the state-of-art method，especially 15% higher in the category“disgust”．

Key words: image emotion classification, deep convolutional neural network, prior information, multiple-levels learning

中图分类号:

TP391

王伟凝李乐敏黄杰雄罗杰波徐向民. 基于多层次深度卷积神经网络的图像情感分类[J]. 华南理工大学学报(自然科学版), 2019, 47(6): 39-50.

WANG Weining LI Lemin HUANG Jiexiong LUO Jiebo XU Xiangmin. A Multi-level Deep Convolutional Neural Network for Image Emotion Classification[J]. Journal of South China University of Technology(Natural Science Edition), 2019, 47(6): 39-50.

[1]	马晓亮, 安玲玲, 邓从健, 等. 基于行业词表的自动语音转写后优化技术[J]. 华南理工大学学报(自然科学版), 2023, 51(8): 118-125.
[2]	朱铮宇, 罗超, 贺前华, 等. 基于唇重构与三维耦合CNN的多视角音唇一致性判别[J]. 华南理工大学学报(自然科学版), 2023, 51(5): 70-77.
[3]	叶峰, 陈彪, 赖乙宗. 基于特征空间嵌入的对比知识蒸馏算法[J]. 华南理工大学学报(自然科学版), 2023, 51(5): 13-23.
[4]	罗玉涛, 高强. 基于通道注意力和特征增强的交通标志检测[J]. 华南理工大学学报(自然科学版), 2023, 51(12): 64-72.
[5]	邱志斌, 卢祖文, 王海祥, 等. 基于Mel频谱图和CNN的电网涉鸟故障鸟声识别[J]. 华南理工大学学报(自然科学版), 2022, 50(2): 129-136.
[6]	张香竹, 张立家, 宋逸凡, 等. 基于深度学习的无人机单目视觉避障算法[J]. 华南理工大学学报（自然科学版）, 2022, 50(1): 101-108, 131.
[7]	黄敏齐海涛蒋春林. 基于注意力机制的耦合协同过滤模型[J]. 华南理工大学学报(自然科学版), 2021, 49(7): 59-65.
[8]	刘奇, 于斌, 孟祥成, 等. 基于转置卷积神经网络的路面裂缝识别算法[J]. 华南理工大学学报(自然科学版), 2021, 49(12): 124-132.
[9]	李波饶浩波. 复杂场景下特征增强的显著性目标检测方法[J]. 华南理工大学学报（自然科学版）, 2021, 49(11): 135-144.
[10]	谢康, 陈晓斌, 尧俊凯, 等. 基于机器视觉的建筑垃圾填料物质组分图像分析方法[J]. 华南理工大学学报（自然科学版）, 2021, 49(10): 50-58,69.
[11]	杜启亮, 黄理广, 田联房, 等. 基于视频监控的手扶电梯乘客异常行为识别[J]. 华南理工大学学报（自然科学版）, 2020, 48(8): 10-21.
[12]	陈善雄, 韩旭, 林小渝, 等. 基于 MSER 和 CNN 的彝文古籍文献的字符检测方法[J]. 华南理工大学学报（自然科学版）, 2020, 48(6): 123-133.
[13]	范自柱, 王松, 张泓, 等. 基于 W- Net 的高分辨率遥感卫星图像分割 [J]. 华南理工大学学报（自然科学版）, 2020, 48(12): 114-124.
[14]	文生平, 周正军, 张啸言, 等. 基于计算机视觉的轴承滚子表面缺陷在线检测系统[J]. 华南理工大学学报（自然科学版）, 2020, 48(10): 76-87.
[15]	刘建国, 冯云剑, 纪郭, 等. 一种基于 PSMNet 改进的立体匹配算法[J]. 华南理工大学学报（自然科学版）, 2020, 48(1): 60-69,83.

基于多层次深度卷积神经网络的图像情感分类

A Multi-level Deep Convolutional Neural Network for Image Emotion Classification

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价