多模态特征,是指通过不同特征表达方式描述对象的属性。采用多模态特征有助于提高对象固有属性的表达能力,因此在现代图像识别与检索领域应用广泛。本文基于视觉特征中的多模态性与视觉-语义多模态性,针对图像标注与跨模态检索哈希两大应用场景进行算法设计,主要工作与创新点包括以下三点:1.基于社团发现与多核支持向量机的图像标注算法:该模型通过社团发现算法挖掘图像语义信息中潜在的语义社团,通过多核支持向量机与多种基本图像特征学习得到语义社团所对应的视觉特征表达方式。同时为了提高图像标注的准确性,采用基于社团内与跨社团的双重标注策略。通过在NUS-WIDE数据库上的实验证明了所提出方法的有效性。2.基于语义与视觉显著性关联分析的图像标注算法:该模型重点研究了图像的视觉显著性区域与文本中语义显著性在图像标注任务中的应用。首先通过提取图像中的视觉显著性较强的区域并结合的视觉词袋算法生成两层显著性视觉词袋特征。同时针对语义显著性提取文本中与视觉显著性区域相对应的文本内容。通过在NUS-WIDE数据库上的实验证明了算法的有效性。3.基于部分样本对应关系的跨模态检索哈希算法:该模型能够充分利用各个模态之间的海量数据信息并无需提供所有的跨模态对应关系。首先在每个模态中建立驻点图,能够高效且准确地保证局部数据平滑性,从而实现模态内数据一致性传播;对于已知跨模态对应关系的数据,则将其映射到同一个汉明数据空间,并最大化生成哈希编码的保距特性。最终实现在语义层次相近的跨模态数据在同一个汉明空间内距离保持接近。通过在NUS-WIDE和Wiki数据集上的实验验证了算法在提供部分跨模态数据对应关系的情况下能够实现较好的哈希性能。