虚拟现实作为一种全新的人机交互技术,在人们的日常生活中扮演越来越重要的作用。而全景图作为虚拟现实的一种重要表现形式,它广泛应用于房地产展示、旅游景点的漫游和全景视频监控系统等方面。而现有的全景图大多都是柱面全景图的方式,在垂直方向的视野范围不大。即使是球面全景图,大多都是采用全景相机拍摄的,成本很高。本文实现了用普通相机拍摄合成全方位全景图,能任意角度任意方向的观察。为达到这个要求,本文主要做的研究工作如下:研究了柱面、立方体和球面投影方程,统一了图像的坐标系,解决视觉一致性的问题。在图像匹配方面,针对柱面全景图研究了基于模板的匹配算法,并提出相关的改进方法,同时研究了基于相位的匹配算法得到图像的平移参数;针对球面全景图的旋转特性,利用基于尺度不变的快速算法解决图像旋转的问题,并对其特征向量做了一些改进,提高匹配的效率,并用随机一致性算法提纯特征点,得到准确的匹配点信息。进一步研究了图像的变换问题,特别是球面图像,建立其三维模型,得到模型的三维信息。同时针对图像在合成过程中出现模糊的问题,采用了最佳缝合线的合成方式,有效地解决了图像的重影问题。最后对拼接产生的累积误差分析了产生的原因,并针对产生的原因,提出了消除累积误差的方法,并在Matlab进行了展示。