自底而上视觉注意力算法研究

来源 :福州大学 | 被引量 : 0次 | 上传用户:handsomels
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自底而上视觉注意力是指人类面对繁杂的视觉场景时,能够迅速地找到与周围区域有明显区别的物体或者区域,并且忽略其它不重要区域的一种初级认知能力。它可以应用在感兴趣目标提取、图像压缩、图像检索、关键帧提取等领域,具有深刻的研究意义与实际的应用价值。首先本文提出了一种面向图像的自底而上视觉注意力计算方法。该算法包含了四个模块:底层视觉特征提取、基于局部空间稀疏编码与重构的显著值计算、特征竞争与合并、形态学操作。在底层视觉特征提取模块,本文将原始图像的三通道信息进行分离,并按照颜色对立机制重组为RG(Red-Green)、BY(Blue-Yellow)两种颜色特征。加上亮度特征,随后对三种特征图像进行多尺度表达,以获得充分的图像底层信息用于驱动自底而上视觉注意力的计算。在显著值计算模块,本文尝试利用稀疏编码来表达局部区域的显著性,这与人类视网膜上的视觉局部刺激原则相符。为了减少信息的损失并且充分体现局部区域的差异性,本文使用了区域约束线性编码(Locality-constrained Linear Coding,LLC),它将中心区域作为输入信号,周边区域作为字典。编码的重构误差代表了中心区域与周边区域的差异程度,可以作为局部区域的显著值。在特征竞争与合并模块,本文提出了基于熵的赢者通吃输者淘汰策略,仅选择具有代表性的特征显著结果进行叠加。本文将该算法在MSRA-1000数据集中进行了验证,实验表明该算法相较于其它九种自底而上视觉注意力算法具有更出色的计算结果。随后本文引入了直接针对显著图的交叉熵评估,结合领域内常用的F1评估与ROC(Receiver Operating Characteristic)评估,本文提出的图像算法均取得了最佳的得分。随后本文在图像算法的基础上进行扩展,提出了一种面向视频的自底而上视觉注意力算法。主要包含了三个模块:底层视觉特征提取、基于多时间尺度稀疏编码与重构的显著值计算、特征合并与归一化。为了体现前后帧之间的差异,并且充分计算出视频中的运动信息,本文针对不同的视频类型,结合多个时间尺度的构建,提出了不同的编码与重构策略。同时,本文自主建立了视频数据集,该数据集包含了 16段多种类型与内容的测试视频。本文在该视频数据集上进行实验以验证该视频算法的可行性与有效性。实验结果表明本文所提出的视频算法可以有效计算出视频帧中最引人关注的区域。并且在PRI(Probabilistic Rand Index)评估和一致性评估中,本文视频算法的性能均优于其它三种对比算法。
其他文献
当今,随着经济的繁荣发展,人们的出行和社会活动日益频繁,在火车站、汽车站、地铁、商城、公园等公共场所中经常会出现人群拥挤的现象。人群拥挤一方面会给人们的出行和活动
民生问题一直以来都是我们国家党和政府所高度重视的一个核心问题,而其中,就业乃民生之本。十八大报告指出,为了改善民生问题,要推动实现更高质量的就业。作为政府公共服务体
机器人技术、控制理论、计算机控制等多个领域技术的综合体是倒立摆系统。它的自身特性和优势可作为一个典型的控制工程领域的被控制对象研究的缩影,且便于检验控制理论或方法的方案可实施性。倒立摆系统的相关研究成果广泛应用于机器人控制技术、电动平衡车研究、火箭发射中的垂直度控制、卫星飞行中的姿态控制和机械手等工业生产工程。因此,倒立摆系统的研究具有着重要的意义和不可预估的工程应用价值。针对工程领域非线性系统的
文物碎片的分类和拼接是破损文物虚拟修复过程中的核心,也是智慧博物馆数据展示的前提。兵马俑碎片具有体积小、碎片个体相似度大、表面信息缺失、断裂面磨损严重等特点,导致
多电平有源电力滤波器作为改善电能质量的重要装置,具备精确的电流检测能力,高效的动态补偿性能,传统多电平拓扑在应用场合具有控制复杂、功率器件多以及在容错方面需要增加
随着互联网的发展以及智能手机的普及,人们获取及接触到的图像数据越来越多,图像数据有一个显著特点就是维数很高。我们在得到极大便利的同时,也面临着如何有效分析和处理这些庞大数据的难题。图像聚类技术不断应用在高维图像数据中,它将相似性高的图像数据聚成一簇,相似性低的图像聚到不同簇。近年来,非负矩阵分解(NMF)被证明是一种高效的降维方法,它被广泛应用在计算机视觉,模式识别和信息检索中。然而,NMF实际上
随着科技的不断发展,互联网和数据库技术得到了飞速的提升。日常生活中,社会生活的各个领域每分每秒在源源不断的产生大量的数据和信息,比如大量的文本数据。学术、工业研究
随着深度学习技术在图像领域上越来越普及,研究学者对图像超分辨率重建的研究方向从传统方法逐渐转向基于深度学习的算法。图像超分辨率重建的目的是应用某些技术和算法将模
随着社会各界安防意识的加强,监控摄像头的安装需求越来越大,导致监控视频数据急剧增加,仅靠人力进行人流量监测难以及时有效地处理视频数据。基于计算机视觉的人流量统计是
家庭是社会组织管理的最小单位,正是千百万个家庭汇聚成整个社会,个体才能够在社会中生存与发展。家庭的稳定与和谐是社会安定团结的重要基础,也是社会稳定发展的基石。家庭的稳定与和谐一方面需要家庭成员之间建立良好的信任关系,另一方面依靠家庭传统与文化观念的培育与熏陶。家庭文化的传承事关每一个家庭成员对自己在家庭内部的身份认同、道德品性的培养、家庭凝聚力的提升。家庭文化的传承不但需要无形的文化氛围的熏陶也需