论文部分内容阅读
在信息化高速发展的时代,搜索引擎的出现和发展,使得图像标注与检索成为各种新型个性化服务的基础。但是互联网环境中的图像标注与检索与用户个人偏好密切相关,如何安全有效地对用户偏好信息建模,并在保护个人偏好信息的前提下提高图像标注与检索的个性化服务质量,这已成为了一个热点的研究问题。本文针对以上问题,对搜索引擎进行图像语义标注和检索的全过程进行了分析,对用户个人偏好信息的收集、传输和存储等方面的核心技术进行了研究,提出了在网络语境中借助用户偏好信息进行图像标注与检索的综合方案,有效地提高图像标注的效率,并使得网页图像检索排序算法中图像的各种语义特征得到了应有体现,同时也充分考虑到了对用户偏好信息的保护。本文展开的研究和创新性工作如下:目前结合用户偏好的互联网图像检索算法主要有服务器端排序和用户主机端排序两种。服务器端排序算法搜集并传输用户的偏好信息容易引起隐私泄露,而用户主机端排序算法在召回率、准确率、用户等待时间等性能指标上不能完全满足需要。为此,本文提出了一种用户可控的分层图像检索方案。该方案首先在搜集了用户网络行为和检索记录后在本地主机端建模、存储,将其中高层的、不涉及隐私的偏好信息传输到搜索引擎服务器,而将底层的、涉及隐私的偏好信息存放在用户本地机。然后,搜索引擎端利用不涉及隐私的偏好信息和用户输入的关键词进行第一轮图像检索排序,将结果返回客户主机端。最后,根据用户本地机中存储的涉及隐私的偏好信息对第一轮检索结果进行调整性重排。改变了目前完全由搜索引擎服务器端收集用户偏好信息并一次性完成图像检索的模式。在无损于检索效率的前提下,实现了用户偏好的使用、保护与图像检索准确率、召回率等性能之间的平衡。开放目录结构的语义网广泛的用于网络图像检索,本文在开放目录的基础上提出了偏好语义网的概念,它的主要作用是将用户偏好语义按照语义相关度和隐私程度进行分级。偏好语义网能在图像标注前有效地捕获用户偏好信息,并进行建模和高效地存储。偏好语义网具有很高的可伸缩性和可操控性。用户通过对偏好语义网的裁剪,可以控制其偏好信息向搜索引擎的传输。借助偏好语义网,图像检索和语义标注的算法性能也获得了提高。在此基础上,更进一步提出了偏好语义网敏感度界限这一概念,将涉及公共语义,偏好缓冲语义与隐私偏好语义的三类关键标注词区分开来,公共语义和部分偏好缓冲语义传输、存放在搜索引擎端用于指导图像检索算法,隐私偏好语义则存放在用户本机不进行任何网络传输,但是可用于指导对搜索引擎返回结果的调整。因此,偏好语义网通过分层和用户操作保护了用户的偏好信息。图像标注算法用到了图像的底层视觉特征和所在网页的文本语义,但是很少用到用户的偏好语义信息。本文提出了结合用户偏好语义的图像标注算法,使得图像的底层特征、文本语义和用户的偏好语义三者在标注过程中都能够发挥应有的作用。并且根据用户在互联网中的行为模式进行训练和反馈,使得语义标注算法适应于更加个性化的网络应用环境。特别是针对图像底层特征空间与高层语义空间的映射关系十分复杂,本文将标注词与具体的底层特征联系起来,并将这种关系进行了量化,尝试解决传统的基于内容检索算法与领域本体知识高度相关的问题。图像底层视觉特征到标注词语义特征之间存在巨大的“语义鸿沟”,使得图像自动语义标注的性能有限。本文在研究了目前流行图像语义标注和检索算法思想及其主要性能后,提出了在偏好语义网的基础上,文本语义、用户偏好语义与图像底层感官特征交叉验证优化图像标注的思想。即在标注词偏好语义相近的图像中寻找其底层特征相近的特征匹配,而对出现底层特征相近的图像中寻求其标注语义词之间可能存在的偏好语义联系,进而挖掘用户的偏好信息。这使得原来图像标注算法的机器训练过程由单向学习变成了双向学习,由监督学习变成了半监督学习。特别是在跨媒体特征匹配框架还没有完全建立起来的情况,提出了一种加强图像标注性能的可行途径。