近年来随着信息技术的快速发展和数据获取方式的不断丰富,人们对于图像视频类数据的处理需求也越来越多,目标跟踪作为图像视频类数据处理的重要技术,与之相关的研究也变得异常火热。从基于传统计算机视觉技术的相关滤波算法到基于深度学习跟踪模型的出现,跟踪算法的性能得到大幅提升。但是,在目标跟踪领域始终面临着多方面的挑战,如:复杂的背景、光照变化、目标物被遮挡以及运动物体的旋转尺度变化等,严重影响现有目标跟踪算法的性能,使得如何获取准确的跟踪结果成为研究难题。本文基于深度孪生网络及相关滤波的目标跟踪算法展开研究,提出了能应对目标旋转所带来跟踪挑战的目标跟踪模型,并将其应用于空中手写字符识别系统中,取得了良好的性能。主要的研究内容包括:（1）针对全卷积孪生网络（Fully-Convolutional Siamese Networks,Siam FC）跟踪方法存在因目标的旋转、尺度变化而造成跟踪结果不准确甚至错误跟踪的问题,提出一种带旋转与尺度估计的Siam FC跟踪算法。该算法由定位模块与旋转、尺度估计模块两部分组成。首先在定位模块中,利用Siam FC算法获取目标位置,并结合旋转与尺度信息对该位置进行调整;其次,在旋转、尺度估计模块中,鉴于图像的旋转和尺度变换在对数极坐标系下变成了平移变换,将目标搜索区域从笛卡尔坐标系变换到对数极坐标系下,便可利用相关滤波技术估计待跟踪目标的尺度和旋转角度,最终实现了一个能同步估计目标位置、旋转角度以及尺度变化的目标跟踪模型。在POT和OTB两个公开数据集上的实验结果表明提出的算法性能优于Siam FC等几种常用的目标跟踪算法,特别在含有旋转和尺度变化的视频序列上性能提升尤其明显。（2）鉴于深度学习目标跟踪模型的实时性是建立在强算力和GPU加速的基础上,而实时性较好的核相关滤波跟踪算法对算力要求很低,因而我们在核相关滤波跟踪模型的基础上引入旋转和尺度估计模块,分别在笛卡尔坐标系和对数极坐标系下估计目标的位置与旋转、尺度参数,构建了一个能同步估计位置与旋转和尺度参数的相关滤波跟踪模型,并将其应用于实际需求中,开发了一套实用的空中手写字符识别系统。该系统以普通摄像头作为图像采集设备,利用目标检测、目标跟踪及文字识别等计算机视觉和机器学习技术,通过检测指尖和跟踪其运动轨迹来记录并重构出所书写的字符,然后通过训练好的字符识别网络对其进行识别。