计算机科学与技术

基于多层次深度卷积神经网络的图像情感分类

展开
  • 1. 华南理工大学 电子与信息学院,广东 广州 510640; 2. 罗切斯特大学 计算机科学学院,纽约 罗彻斯特 14627
王伟凝(1975-),女,副教授,主要从事计算机视觉、图像情感分析、图像分类与检索、机器学习研究. E-mail: wnwang@ scut. edu. cn

收稿日期: 2018-02-01

  修回日期: 2018-12-21

  网络出版日期: 2019-05-05

基金资助

国家自然科学基金资助项目( U180120050,61702192 ,U1636218); 广东省自然科学基金资助项目(2015A030313212);国家留学基金资助出国留学项目(201506155081)

A Multi-level Deep Convolutional Neural Network for Image Emotion Classification

Expand
  • 1. School of Electronic and Information Engineering,South China University of Technology,Guangzhou 510640, Guangdong,China; 2. Department of Computer Science,University of Rochester,Rochester 14627,New York,USA
王伟凝(1975-),女,副教授,主要从事计算机视觉、图像情感分析、图像分类与检索、机器学习研究. E-mail: wnwang@ scut. edu. cn

Received date: 2018-02-01

  Revised date: 2018-12-21

  Online published: 2019-05-05

Supported by

Supported by the National Natural Science Foundation of China(U180120050,61702192 ,U1636218),the Natu- ral Science Foundation of Guangdong Province(2015A030313212) and the State Scholarship Found of China(201506155081) 

摘要

由于图像的复杂性和人类情感的主观性,图像情感分类是一项非常具有挑战性 的任务. 针对深度学习方法没有充分考虑图像先验信息的问题,提出一个新的多层次深度 卷积神经网络框架. 该框架综合考虑全局和局部视角,引入显著主体、颜色和局部等先验 信息,从多个层次学习图像的情感表达. 实验结果表明,在公开的大数量级和小数量级情 感图库上,该框架的分类准确率均高于现有的图像情感分类方法,其平均分类准确率比最 优方法提高了 2. 8%,特别在情感类别“厌恶”上提高了 15%.

本文引用格式

王伟凝 李乐敏 黄杰雄 罗杰波 徐向民 . 基于多层次深度卷积神经网络的图像情感分类[J]. 华南理工大学学报(自然科学版), 2019 , 47(6) : 39 -50 . DOI: 10.12141/j.issn.1000-565X.180059

Abstract

Emotion classification of images is a challenging task regarding the complexity of various images and the subjectivity of human’s emotion perception. Most existing deep learning methods didn’t consider image prior in- formation fully. A new multi-level deep convolutional neural network was proposed to predict the emotion based on the multi-level prior information from global and local view. Extensive experiments on both the large scale and small scale emotion datasets demonstrate the effectiveness of our method. The average classification accuracy of our meth- od is 2. 8% higher than the state-of-art method,especially 15% higher in the category“disgust”.

参考文献

 
文章导航

/