论文部分内容阅读
随着互联网的发展以及智能手机的普及,在线购物已经成现代人日常活动的一个重要部分,各大电商平台也致力于为用户打造更加便捷舒适的在线购物环境。传统线上购物检索方式主要通过文字检索商品,而如今互联网中具有海量的商品信息,仅基于文字搜索无法得到精准的检索结果,尤其针对服装这类外观表现更强的商品,文字描述不仅具有主观性,也很难全面准确的去匹配想要的服装商品。因此,基于图像的服装检索技术得到了学术界和工业界的关注,用户通过服装图像进行查询,通过描述服装图像的特征进行服装的相似度匹配,返回检索出的相似服装商品图像和相关店铺,能够简洁有效地针对用户需求进行服装商品的推荐。本文主要工作是关于服装图像检索的研究,利用卷积神经网络对服装图像的特征进行表达,以加强服装图像检索的效果。本文中首先基于服装关键点提取局部特征,描述服装功能性局部区域的信息。同时通过卷积神经网络提取服装图像的全局特征,描述服装图像的全局信息,具有一定的高级语义信息。我们融合关键点局部特征和全局特征,共同对服装图像进行具有区分性的特征表达,能够有效改进服装图像检索的效果。由于本文中服装局部特征是基于服装关键点坐标进行提取,因此服装关键点定位的准确性将直接影响服装功能区域特征的表达效果。本文提出一种基于姿态估计的服装关键点定位方法,通过顺序推理机的结构结合卷积神经网络学习不同服装关键点之间的隐式空间关系,能够很好的应对服装作为非刚性物体形变空间大的挑战。本文通过深度神经网络提取服装图像的全局特征以及关键点局部特征。为了充分利用不同深度卷积层之间特征提取的不同级别的信息,本文提出基于多层卷积提取服装关键点局部特征,对服装图像更加细粒度、具有区分性的特征表达。同时为了保证相似性度量的合理性,本文引入Triplet Loss进行相似性度量学习,以提高服装图像检索任务的精度。本文通过实验首先验证了服装关键点定位方法的有效性,能够精准的得到服装功能区域的位置,更准确的表达服装功能性局部特征,同时能够一定程度消除服装复杂背景的影响,应对服装形变的挑战。融合服装关键点局部特征和全局特征,能够对服装图像特征进行更加有效的表达,加强相似服装图像检索的效果,尤其针对于服装款式更加关注的用户,可以对其查询图像进行更好的相似服装的推荐。