论文部分内容阅读
随着物质生活水平的不断提高,人们的精神文化需求也日益增强。我国社会现阶段主要矛盾已经转化为人民日益增长的美好生活需要和不平衡不充分的发展之间的矛盾。近些年,伴随着移动互联网和社交网络的快速发展,图像等多媒体内容呈现爆炸式增长,这在一定程度上满足了当下人们对美好精神生活的需求,比如,美景美食、艺术照片和影视电影等。因此,研究符合人们视觉审美需求的图像内容变得越来越迫切,对现阶段社会精神文明的建设具有重要意义。图像美学评价就是研究如何运用智能可计算技术来模仿人们对图像的审美感知能力并自动预测出美学评估结果,通过这种方式就可以筛选出符合人们审美需求的图像内容。但是由于人们的视觉审美具有高度主观性,往往会受到个人心理状态和情感因素的影响,因此图像美学评价是一项极具挑战性的任务。目前大多数的图像美学评价研究主要集中在大众化图像美学评价上,也就是预测大多数人对图像的审美评估结果,但是这些方法没有考虑到图像美学的主观特性,无法精准地评估特定用户的个性化图像审美结果。近些年,虽然也出现一些针对用户的个性化图像美学评价方法,但是这些方法主要是利用图像的客观属性对用户个性化的审美感知进行建模,忽略了用户的主观特性(如,性格特征和情感情绪)在其视觉审美感知的重要作用。因此,本文针对用户在图像审美感知中存在的上述问题进行研究,首先利用社交网络中用户对图像的审美偏好来分析与研究其性格特征,提出基于偏好图像的用户性格特征预测方法;然后把用户的性格特征作为重要的主观特性,辅助于图像美学评价方法,得到符合用户主观感知的个性化图像美学评价模型;最后针对个性化图像美学评价中存在的小样本特性,利用元学习方法构建美学先验元知识模型,使其快速适应目标用户的个性化图像美学评价任务中。因此,探究社交网络中用户性格分析与个性化图像美学评价方法是当前社会精神文明发展中迫切需要解决的问题,也是心理学、计算机视觉和人工智能等领域重要的研究课题。本论文围绕社交网络中用户对图像的主观性审美偏好进行分析,从用户和图像两个层面展开研究,首先利用用户对图像的审美偏好预测其性格特征,然后研究针对特定用户的个性化图像美学评价方法。主要研究内容分为以下四个方面:(1)图像的场景是一种高度抽象的语义特性,用户对图像场景有不同的偏好,这反映出了他们不同的性格特征。受到用户的性格特征与偏好图像场景之间关系的启发,本文提出了一种基于场景感知概率的用户性格特征预测方法。首先,利用基于卷积神经网络的场景识别方法对用户偏好的图像场景进行识别;然后,进一步生成用户偏好图像的场景概率分布;最后,利用场景概率分布特征构建线性回归模型,对用户的性格特征进行预测。在Pshyco Flickr数据集上的实验结果证明了提出的方法可以有效地通过偏好图像的场景信息预测用户的性格特征。(2)用户对图像的视觉注意力通常具有局部注意力特性,因此在基于偏好图像的用户性格特征预测方法中应该考虑到这种特性。本文提出了一种由分类网络和回归网络组成的弱监督双卷积网络的用户性格特征预测方法。其中,分类网络在只需要利用图像级的用户性格类别标签进行监督训练时,就可以捕获不同性格特征对图像的注意力区域特征;在回归网络中,通过结合图像的全局特征与局部注意力特征进一步地预测用户的性格特征;因此,该方法不仅可以通过用户的偏好图像预测得到他们的性格特征,而且可以获取不同性格特征用户对偏好图像的注意力区域特征。在Pshyco Flickr数据集上的实验结果表明,该方法优于目前国际主流的基于偏好图像的用户性格特征预测方法。(3)传统的图像美学评价方法主要针对大多数人的图像平均美学进行评价。然而,不同用户对图像的审美偏好却各不相同,这主要是因为他们具有不同的主观视觉偏好。性格特征作为一种重要的主观特性,是塑造用户主观偏好的关键因素。本文提出了一个基于性格辅助多任务学习的个性化图像美学评价方法。提出的方法框架包括两个阶段。在第一个阶段,提出了一个具有共享权重的多任务学习网络,用于同时预测图像的美学分布和偏好该图像的用户性格特征。为了获取图像的大众化美学和用户的性格特征的共同表征,本文构建一个孪生网络,将美学数据和性格数据用于联合训练多任务学习网络模块。在第二个阶段,基于多任务模块中预测得到用户的性格特征和大众化审美分数,进一步引入任务间融合学习模块,最终生成针对特定用户的个性化图像美学评价模型。该方法在两个公开的图像美学数据库进行了性能评估,实验结果表明,提出的方法在大众化和个性化的图像美学评价任务上都优于现有的主流方法。(4)由于在实际生活中难以获取特定用户对大量图像的审美标注样本,因此用户的个性化图像美学评价是一个典型的小样本学习问题。针对此问题,现有的个性化图像美学评价模型一般是通过把大众化图像美学评价模型作为先验知识进行微调而获得的。然而,这种基于大众化平均美学的先验知识无法体现出不同用户对图像审美的多样性。为了学习不同用户对图像进行美学评价时共享的先验知识,本文提出了一种基于梯度优化元学习的个性化图像美学评价方法,该方法可以直接通过对大量用户的个性化图像美学评价任务进行训练构建先验知识模型,然后通过目标用户的少量训练样本进行微调快速地泛化到该用户的个性化图像美学评价任务上。实验结果表明,提出的方法性能优于目前国际主流的个性化图像美学评价方法。