全景摄像机凭借其能实现大视场覆盖、无盲区监控的优势,在安防等领域受到广泛的关注,然而全景摄像机对局部场景(目标)的拍摄分辨率太低,这个缺陷严重限制了全景摄像机的更广泛的应用。全景凝视系统采用全景摄像机和PTZ(pan-tilt-zoom)摄像机相结合的方式,能够兼顾全局无盲区监控与局部高清监控,结合计算机视觉目标检测跟踪等相关前沿技术,全景凝视系统在监控应用中的巨大潜力有可能得到挖掘。以构建全景凝视系统为目的,以行人监控应用为例,从全景成像、全景摄像机和PTZ摄像机的联合标定、全景凝视系统的行人检测跟踪技术等三方面展开了相关的关键技术的研究。研究了全景成像系统中的鱼眼镜头畸变校正问题。提出在Bayer图像信号上进行鱼眼镜头畸变的校正,以增加成像系统设计的灵活性。首先,提出了一种适合于嵌入式硬件实现的鱼眼镜头畸变校正方法,即VPF投影方法,该方法具有无需图像帧缓存、极小延时、计算资源少等优势;其次,由于畸变校正过程中要进行图像的插值,提出了适用于Bayer图像信号的图像插值算法,即基于Hermite和通道相关假设的Bayer图像插值方法,该方法能够利用Bayer图像中相邻位置、不同颜色通道的像素之间的相关性进行更准确的图像插值,仿真实验的定性及定量的实验结果均表明,其能得到比传统插值方法(线性插值、立方插值)更好的效果;最后,基于FPGA嵌入式硬件平台验证了所提出的基于Bayer图像信号的鱼眼镜头畸变校正方法,实验平台事实上构成了一种基于鱼眼镜头的全景成像原型系统。研究了全景摄像机和PTZ摄像机的联合标定问题,联合标定的目的是得到从全景摄像机图像坐标到PTZ摄像机运动参数的映射关系。首先,根据两摄像机同视点的假设和摄像机成像基本模型建立了两摄像机之间的旋转模型,考虑到旋转模型的假设与实际情况存在多方面的出入,例如,同视点假设难以满足、所采用的PTZ摄像机理想云台模型也难以得到保证,本文提出了基于局部旋转的映射模型;其次,基于特征点匹配的相关技术实现了局部旋转映射模型的求解,其中,提出了基于重投影的特征点匹配方法,提高了全景图像和PTZ图像之间特征匹配的效果(特征点数量、匹配速度),提出了适用于局部旋转映射模型的滑窗式RANSAC鲁棒算法,有效剔除了错误的特征点对。最后,在4种典型应用场景中进行了联合标定实验,实验结果表明,所提出的联合标定方法适用范围广、可操作性强,在20倍焦距(2.8度视场角)联动测试中,至少95%的测试目标均能在PTZ摄像机画面内,标定精度能够满足大多数监控应用需求。研究了全景凝视系统的行人检测跟踪技术。行人监控是全景凝视系统的典型应用之一,针对获取大范围场景中所有行人的高清图像(序列)的问题,结合全景凝视系统的特征,首先提出了全景凝视系统的行人检测跟踪基本框架;其次,在框架范围内,重点研究了基于图像的行人检测技术,提出了基于尺度归一化的积分通道特征和嵌入重采样的级联检测算法的行人检测方法,基于INRIA标准数据集的对比实验表明所提出的行人检测方法能够达到主流的检测效果,在普通笔记本上能够达到接近每秒8帧的检测速度。再次,在框架范围内,重点研究了基于检测的跟踪方法,基于粒子滤波跟踪技术实现对图像行人检测效果的提升和行人目标的编号(实现跟踪),针对PTZ摄像机云台旋转和镜头变倍带来的目标状态发生突变的问题,在粒子滤波目标跟踪框架下提出了基于特征点导向的运动模型。在典型的行人监控应用场景中搭建了全景凝视系统,进行了行人检测跟踪技术的测试,测试表明系统能够自动获取至少100米范围内的行人目标的高清图像序列。基于该实验环境,重点实验分析了基于检测的行人跟踪算法,实验表明,基于检测的跟踪技术能够在检测的基础上有效地提高目标检测效果,减少误检、弥补漏检,同时能够得到稳定的目标跟踪结果,对目标遮挡情况也有一定的处理能力,基于特征点导向的运动模型能够有效地处理PTZ摄像机发生运动时的突然运动目标的跟踪问题。