由于人力劳动成本的上升和对生产效率要求的提高,增加制造或测试系统中的自动化环节成为工业发展的一个趋势,越来越多的企业利用智能机械装置对工业设备中的硬件或软件进行自动化操控。工业中产品在投入使用前需要用软件对其进行大量的功能模拟、性能测试和结果分析,实现对软件的自动化控制可以降低劳动强度和成本、提高生产率和产品质量,但目前还未出现能替代人工操作的智能机械化装置。基于计算机视觉的软件自动化控制逐渐成为一个重要的研究方向。其主要思想是通过获取和分析显示屏上的图像,并根据分析得到的结果,以及需要完成的任务(如响应命令、响应异常、记录异常状态等)自动规划操作路径,再用机械装置(常见的如机械臂等)辅助自动完成操作。本文研究了这个过程中软件模型建立、对采集的图像进行特征和语义分析以及路径构造三个部分,主要工作和创新之处如下:1、提出了双层语义模型。双层语义模型有视图层和操作层两层,可以较为全面的描述GUI系统。视图层主要描述GUI系统的视觉特点,操作层主要描述GUI系统的操作特性,通过定义不同的描述子对模型中的元素进行描述,结构清晰。实验中用三类方法分别进行建模,比较发现双层语义模型可以避免有限状态机模型出现的“状态爆炸”和事件流模型出现的无法描述多触发事件的问题。2、提出了基于图文联合特征的GUI图像识别方法。GUI图像分析是对GUI图像进行特征提取和识别的过程。针对测试类软件GUI图像包含文本和图标这个明显特点,首先基于图像处理的基本方法设计了基于连通域和色块的图标和文本分割方法以及基于主成分分析的图标识别方法,通过实验证明了其有效性和合理性。其次,将TF-IDF权值计算方法应用到图标中,定义了图标的TF和IDF值的含义。用文字和图标的TF-IDF值组成联合向量作为界面图像的代数特征为识别提供依据。实验表明基于图文联合特征的GUI图像识别率较高。3、提出了基于双层语义模型的路径生成方法。由于视图层的拓扑结构是有向图,因此先使用最短路径生成方法生成界面路径。再根据模型上下两层之间包含关系进行映射,生成操作路径。该方法动态生成路径,有一定的自适应性。实验证明了路径的准确性。