论文部分内容阅读
双目视觉技术作为机器视觉的重要组成部分,一直是视频拼接、工业检测及三维重建等领域的研究热点。近年来随着双目视觉技术的不断发展,基于视频采集卡与上位机的传统解决方案由于成本高、通用性差、处理速度慢等缺点已无法满足用户需求,尤其在双目视频采集传输部分,无论是采用轮询还是时分复用的方式,现有的设计方法都无法满足系统在同步性和实时性上的设计要求。针对这一现状,本文将结合了FPGA和SOC各自设计特点的SOPC技术应用于双目视觉系统,给出一种以NiosII软核处理器为核心的双目视频采集及处理系统的设计实例,通过SOPC硬件实现双目视觉系统的图像采集和特征提取,由上位机软件完成图像配准及图像融合算法,从而实现一套完整的基于双目视觉的视频拼接系统。具体完成工作如下: 1.完成基于SOPC技术的双目视频采集及处理系统架构设计。采用软硬件协同设计的方式,由以NiosII处理器为核心的硬件系统完成双目视频数据的同步采集传输和特征点提取;软件系统完成上位机控制程序及双目视频拼接剩余部分算法。 2.设计并制作双目视频采集及处理系统硬件开发平台,通过可在SOPC系统执行的微码程序,实现双目图像传感器的同步触发和视频数据的实时传输。由DMA控制器操作带有反压机制的数据传输快速通道仅用两片SDRAM实现双目视频数据的乒乓传输(传统方式SDRAM存储器数量与图像采集传感器成倍数关系)。 3.为实现双目视觉特征提取部分算法的硬件移植,对Harris角点检测算子进行优化,使其更符合FPGA并行处理特点,同时引入流水线技术使算法的实时性得到进一步提高。 4.根据双目视频数据传输特点对USB2.0传输芯片固件进行二次开发,使其获得更好的传输性能。上位机应用软件在实现对双目视频采集及处理系统控制的同时,利用SOPC系统上传带有特征点信息的数据完成双目视频拼接,使系统整体性能得到提升,体现出经过合理软硬件划分后,设计在系统架构上的优势。 5.经验证系统可以实现双目视频信号VGA(640×480)分辨率、RGB565格式、25帧/秒实时输出。结果证明,该设计方法在保证双路视频信号高度同步的情况下,极大加快了数据传输速度,大幅度提升了数据处理效率,显著增加了系统硬件集成度,同时却极大降低了系统软硬件设计的复杂度,具有较高的实用价值,达到了设计预期。