近年来，各种存储媒介中产生的海量图像在极大的丰富人们视觉生活的同时，也为图像的管理带来了许多的不便。由于大部分的图像是通过数码产品拍摄，通常只是具有简单的数字序列名称或者英文与数字混排的名称，不能充分反映图像的视觉内容，使用传统的TBIR方式也很难在海量图像中获取指定的目标图像。因此，对图像实行自动标注，使图像名称能够真实反映视觉内容的AIA研究工作显得格外重要。自动图像标注方法研究在图像管理、图像检索和图像理解等领域都具有重要意义，目前已成为新的热点研究课题。通过了解目前各类图像标注模型思想，以基于场景语义的pLSA-GMM标注方法为基础开展研究，构造了一种结合语义信息和视觉信息的AIA-SSBTM模型，并通过该模型将标注字赋予未知图像。AIA-SSBTM模型将标注分为训练和标注两个阶段。在训练阶段，模型对训练数据集在语义层进行场景分类，并对每个场景在视觉层进行二叉树的构造，分别得到语义层数据集和视觉层数据集，在标注阶段，模型首先判定未知图像的归属类别，然后使用该类别的二叉树模型和对应的方法完成标注。本文模型利用图像之间的相似性将不同类别的场景图像构成图结构，然后使用Ncut方法进行二叉树构造，图像之间的相似性度量也是本文的主要研究问题。通过对图像分别在底层视觉特征和高层语义信息进行相似性度量的利弊分析，设计了一种结合视觉特征和对象语义的联合相似性度量方法，并将其应用在AIA-SSBTM的模型构造中，通过结合EMD方法和TF-IDF方法的联合相似性度量方法重新构造了模型中的二叉树结构。采用相似性联合度量方法重新构造的AIA-SSBTM模型的综合指标F-measure比原模型提高了7%。实验采用Corel5K数据库进行模型训练和测试图像标注，在4500张训练图像和500张测试图像的数据集规模内分析实验结果，将AIA-SSBTM在性能上与TM、CMRM、pLSA-GMM和CRM等标注模型进行比较，综合指标F-measure都有提高。