【摘 要】
：
人们的认知、表达和决策等行为在不同程度上受到情感因素的影响。因此,拥有对人类情感的感知和理解能力是人工智能的重要一部分。视觉情感分析是情感计算领域的一个重要研究方向,在用户行为预测、视觉场景构建等方面有着重要意义。研究表明图像中不同区域对情感表达的贡献是不同的,观看者的情感变化受图像中相关区域影响。当前大多数研究聚焦于挖掘图像中与情感最相关的局部区域,忽略了图像中多个局部区域间具有的语义上的联系。
论文部分内容阅读
人们的认知、表达和决策等行为在不同程度上受到情感因素的影响。因此,拥有对人类情感的感知和理解能力是人工智能的重要一部分。视觉情感分析是情感计算领域的一个重要研究方向,在用户行为预测、视觉场景构建等方面有着重要意义。研究表明图像中不同区域对情感表达的贡献是不同的,观看者的情感变化受图像中相关区域影响。当前大多数研究聚焦于挖掘图像中与情感最相关的局部区域,忽略了图像中多个局部区域间具有的语义上的联系。根据上述研究现状,本论文将自注意力机制应用于视觉情感分析任务中,并针对以下问题展开两个方面的研究:（1）基于情感表达与语义对象的共现关系,针对不同尺度对象感知和多层次情感特征表征的问题,本文提出了多层次上下文金字塔网络（MCPNet）。该模型由多个多尺度自适应上下文模块组成。每个多尺度自适应上下文模块作用于不同深度的特征并输出对应的多尺度上下文特征。不同深度的多尺度上下文特征与全局信息融合得到用于分类的多线索上下文特征。在7个常用数据集上的实验结果表明MCPNet的有效性。分类准确率与当前最先进的算法相比,MCPNet在FI数据集上提高了2.8%,在Emotion ROI数据集上提高了2.16%。可视化结果进一步显示了MCPNet在复杂情况下的语义感知能力。（2）虽然多层次上下文金字塔网络利用了自注意力模块提升了模型挖掘语义信息的能力,但未能从本质上解决CNN高层语义感知效率低的问题。因此本文将Transformer架构引入视觉情感分析任务,提出了可嵌套不同架构的多深度融合Transformer模型（MFT）。该模型主要分为将输入的二维图像数据映射成序列特征的Tokenizer模块,表征不同深度情感特征的多深度融合编码器,和分类模块三个部分。同时,针对视觉情感分析任务数据集样本不均衡,学习难度不一的问题,本文提出了一个适合视觉情感二分类任务的批分段损失,在训练阶段根据当前批数据中积极消极样本比例自适应地给出不同的惩罚策略来调整损失函数的数值,提高模型的鲁棒性。多个数据集上的实验结果表明所提出的方法性能优于现有方法。与MCPNet相比,MFT的情感分类准确率在FI数据集上提高了3.1%,在Emotion ROI数据集上提高了2.96%。在基于CNN和Transformer架构的可视化实验对比中显示了本文提出的方法在语义感知上的有效性。
其他文献
计算机视觉的持续发展离不开各种计算机视觉任务算法性能的提升。显著性物体检测旨在模拟人眼的视觉选择性注意机制,能够捕获图像中最为显著或重要的物体和区域,排除图像中无关内容的干扰。因此,显著性物体检测能够有效用于提升包括图像和视频压缩、图像分割、图像识别、图像合成和图像检索等计算机视觉任务的模型性能。为了能够有效辅助这些计算机视觉任务,显著性物体检测模型需要具备极强的泛化能力,并且能够同时提取准确细致
社会治安与每个公民的实际生活息息相关,良好的社会治安是每个公民的诉求。为了维护社会治安,各种公共场所布置了大量的摄像头用以收集数据。然而,人工分析处理如此海量的数据是相当困难且耗时的。行人重识别（Person Re-Identification,Re ID）作为一种适用于该场景下的自动图像分析技术,近年来受到了广泛的关注与研究。在行人重识别算法中,行人的特征需要经过某种特殊的距离度量来排序。深度度
炎性肠病（inflammatory bowel diseases,IBD）包含溃疡性结肠炎（ulcerative colitis,UC）和克罗恩病（Crohn’s disease,CD）两种主要类型。近些年,随着国人饮食结构的改变,结肠炎在中国的发病几率呈现逐年上升的趋势,这类疾病由于其患病周期长,反复性强严重的影响了民众的身心健康,并且占用了大量公共卫生资源。目前,对于结肠炎的发病原因仍不清楚,
鳞杯伞是一种珍贵的野生食用菌,富含多糖、粗纤维、蛋白质和脂肪等营养物质,长期食用可防止血管动脉硬化,提高机体免疫力。研究表明,活性多糖具有抗氧化、抗肿瘤、抗衰老、抗胃溃疡以及保护肝脏等生物功效,现已成为当前科研领域的研究热点。本研究以鳞杯伞子实体为供试材料,通过响应面法优化鳞杯伞多糖（CSFP）的最佳提取工艺,并对CSFP进行分离纯化,探究CSFP及其纯化组分CSFP1-β和CSFP2-α的结构与
脂质降解与发酵香肠的风味密切相关,并最终影响发酵香肠的品质。为筛选具有较高脂质降解能力的菌株,本试验以实验室保藏的12株菌株作为研究对象,首先在体外筛选脂质降解能力强的菌株,之后将所筛选出的菌株应用到发酵香肠中,考察对发酵香肠品质的影响,并分析发酵香肠中微生物、脂质和风味物质三者之间的相关性,探究脂质降解菌株在发酵香肠中的作用机制。具体研究内容和结果如下:1以实验室前期通过分离、纯化和16S r
试验以甜荞（F.esculentum Moench）为原料,以寻找最佳富集γ-氨基丁酸（γ-aminobutyric acid,GABA）的方式为目的,优化电生功能水（electrolyzed functional water,EFW）、高压静电场（high voltage electric field,HVEF）处理条件。以优化结果为基础,将两种处理相结合,研究甜荞萌发后GABA含量变化及相关酶
本文以小米、绿豆和高粱为原料,基于山西老陈醋酿造工艺,酿制小米绿豆醋。主要研究内容为,探究小米和绿豆不同比例的复配方案,通过CS、AAS和EAAI等氨基酸评价方法筛选出小米和绿豆的最佳复配比例;以氨基酸态氮、还原糖和总黄酮为评价指标,通过单因素、Plackett-Burman试验及响应面法优化小米绿豆醋的糖化工艺;以酒精度、氨基酸态氮和总黄酮含量为评价指标,通过单因素和响应面试验确定酒化阶段初始糖
α-半乳糖苷酶可以催化α-1,6连接的末端半乳糖残基靶向水解半乳寡糖,在食品工业、动物饲料、生物医学和生物质加工方面具有巨大的潜力。为丰富食用菌α-半乳糖苷酶基因库以及开发五台山台蘑的应用潜力,本研究利用离子交换层析和凝胶过滤层析对鳞杯伞子实体中的α-半乳糖苷酶进行纯化,得到了一种分子量为50 k Da的α-半乳糖苷酶,命名为CSG。CSG的纯化倍数为891.46倍,得率为0.71%,比活为54.
本研究选用小麦麸皮、胚芽,通过挤压膨化技术和超微粉碎技术来使物料改性,达到提高物料中可溶性膳食纤维（SDF）含量的目的。通过响应面优化物料挤压膨化的工艺参数,分析物料膨化粉碎前后的结构及功能性变化情况。结果表明:最优挤压膨化工艺参数,小麦麸皮为物料水分含量40%,螺杆转速45 r/min,末端膨化温度130℃;小麦胚芽为物料水分含量25%,螺杆转速50 r/min,末端膨化温度120℃。挤压膨化物
立体图像有着非常广泛的用途,如高分辨率3D电视、三维建模、智能导航、自动驾驶等,而且随着沉浸式技术（如VR、AR等）和游戏影音行业的发展,要求更精细、更高分辨率的立体图像内容,这也催生了立体图像超分辨技术的兴起。超分辨技术是从低分辨图像中盲重建出高分辨率的图像,是一个不适定性问题。近几年,单图像超分辨领域的研究者利用深度学习方法进行了充分的探索,并获得了优异的效果。立体图像超分辨技术是借鉴单图像超