论文部分内容阅读
21世纪,科学技术日新月异、多媒体信息铺天盖地,作为一种特殊的知识形态,近年来,图像内容受到了人们的广泛研究,尤其在特征提取、情感计算、图像检索方面取得了丰硕成果。但图像研究方面的瓶颈问题依然存在--对象识别与描述困难、图像检索“语义鸿沟”问题严重、图像存储安全性无法保障、各层研究模型与方法验证缺乏资源支撑等,主要在于人们针对图像的低层特征、对象及情感内容分别研究,其内容分散、孤立,没有形成一个完整的有机体,且并未有统一、公用、真正的图像资源库。如何全面地“认识”、“描述”和“理解”图像、提供拥有较强安全性且用于图像内容研究的专用基础资源库,是图像相关领域研究获得长足发展的保障,是当前亟待解决的问题。同时,本课题还受到国家自然科学基金“基于fMRI的个性化图像情感标注及本体库研究(60970059)”的支持。
本课题针对当前图像库存在的图像语义内容不完整、缺乏统一描述标准、图像存储独立于数据库管理系统(Database Management System,DBMS)而无法保证数据安全等问题进行了研究和创新,主要成果如下:
1)根据图像语义内容及各层内容的研究特点,确立了以图像、图像低层特征、图像对象、图像公共情感及个性化情感为核心的内容体系,提出了包含原始图像库、特征库、对象库及情感库和个性化库的图像知识库整体框架及其各特征子库相应的描述内容和方法。
2)融合图像低层视觉特征、中层对象内容及高层情感体验,对通用多媒体内容描述标准Mpeg-7进行了修改和扩展--Structure上,针对当前Topology结构可能引起的不一致问题,提出了其描述的合适粒度;Semantic方面,结合WordNet将object具体化到狗类对象,增加了情感语义SemanticEmotion以多角度描述图像情感;UserInteraction部分从用户个性和图像内容两个方面确定了图像个性化情感的描述因子,提出了图像多层次语义内容的Mpeg-7框架。
3)针对当前图像库中图像独立于DBMS方式的不足,结合图像语义内容的特点,采用对象-关系数据库(Object-Releated Database,ORDB)技术在Oracle9i下进行了实现。
4)采用颜色直方图中各色彩分量的像素数目作为特征向量可避免小数,方便数据存储;以世界犬业联盟(The Federation CynologiqueInternationale,FCI)标准为依据,结合知识描述的思想、本体构建的方法,提出了狗类数据处理的5个步骤,并确定了狗类对象的描述内容及其相应的取值范围;设计完成了图像情感数据采集的PAD、正中负、Ekman实验,并根据其数据特点提出了各模型下公共情感及个性化情感处理的思想和步骤。对图像进行相应的数据处理,形成了一个拥有188幅狗类图像的包含颜色、对象内容及公共情感数据的图像多层次语义数据库。
5)设计实现了基于该多层语义图像库的图像检索系统,同时以传统关系数据库方式在Oracle9i下进行了实现,采用Oracle客户端和专用检索系统分析对比了在传统关系数据库实现方式和ORDB实现方式下的检索效率,分析验证了该图像库设计框架和实现技术的正确性和优越性。