计算机视觉(CV)是一门研究如何利用计算机来处理一系列视觉问题的研究领域。手势识别是其中一个重要议题。其目标是利用计算机理解人类的手势从而创造一系列自然的人机交互(HCI)体验。上海交通大学E-Learning实验室的标准自然教室(SNC)在传统教室的基础上,利用大量的人工智能,计算机视觉,多媒体等技术,为师生提供更加交互的教学环境。本文通过对最新的科技产品Kinect在SNC的创新智能教室框架下的应用探索,提出了结合手势识别与增强现实技术的教育辅助系统的设想并进行了实现。本论文的主要工作包括了几个方面。首先是对Kinect这一最新设备在标准自然教室中的应用研究。我们提出可以应用Kinect来增加SNC中更自然的人机交互模式。其次通过对手势识别方法进行调研,应用Kinect的人体模型,选取了DTW算法进行动态姿势识别。同时提出了一种结合动态与静态手部识别的识别方法。在动态识别手臂动作的基础上,通过肤色模型对手部进行检测,提取手部轮廓信息。我们选择Hu不变矩对手部轮廓抽取特征进行静态识别。通过增加静态的识别,减少了动态识别的误识可能,也增加了可供识别的手势种类。最后通过对增强现实应用的调研,利用三维建模技术,在Kinect人体检测与跟踪的基础上,增加手势控制模型,完成了一个虚拟地球仪的教育辅助系统。本文的工作在标准自然教室相关研究中属首创,具有重要应用创新价值。同时对相关算法的研究也具有一定学术价值。本论文的工作也为后续的研究开发工作打下了良好的基础。