论文部分内容阅读
随着多媒体技术的飞速发展,互联网图片、视频等媒介呈现指数级的增长趋势,越来越多的人通过媒体内容来表达自己的情感,因此,图片的情感分析开始逐渐受到关注。作为计算机领域的一个重要课题,现有的情感分析工作大都基于全局图片设计出更适合的特征或分类器,将情感分析归结于单标签情感分类问题,这存在两个局限:首先,对于情感分类问题,一个重要且明显的难点在于图片情感分布的空间不均衡性,一幅图片传递情感的区域通常只是图片的某一部分,相对而言背景中含有的情感信息较少;其次,图片情感的标签存在很强的模糊性,一幅图片往往是多种情感的混合表达。即使对于相同的图片,不同文化背景的人也可能有不同的情感判断,而传统的单一标签无法清晰描述图片的情感分布情况。因此,仅仅从单标签分类的角度研究图像的情感是远远不够的。针对情感分类问题中空间分布不均匀的问题,本文提出了图片情感区域的概念。首先给出了情感区域的两个性质,并基于此给出情感区域的定义;然后设计了基于深度学习模型的检测系统来自动检测图片的情感区域;最后,为了验证情感区域的重要性,我们使用情感区域增强全局图片的情感表达,在此基础上执行分类算法,取得了优于现有方法的结果。另外,为了解决情感标签的模糊性问题,本文引入了标签分布学习范式。鉴于目前多数数据集都没有提供图片的情感标签分布信息,本文收集了两个较大规模的数据集并对数据集进行了多类情感标签分布的标注。为了学习这样的标签分布信息,我们对条件概率神经网络模型(CPNN)的标签输入进行二值编码,有效地解决了特征和标签在数值上不对等的问题。其次针对图片情感标签间的模糊性,我们将原数据集中的图片的情感标签进行了标签分布增强,一定程度上缓解了神经网络的训练对庞大的强标记数据的依赖。本文在公开的数据集以及自采的情感标签数据集上均进行了相关实验来证明所提方法的有效性。