论文部分内容阅读
随着全世界人口老龄化的加剧,盲人和视障人士的数量不断上升,各国的研究人员一直探讨如何利用人类其他器官替代视觉感知周围环境。目前相关导盲系统中主要是使用超声波、激光、摄像头等系统采集信息方式,而摄像头相对来说可以获取更加丰富的周围环境信息,且图像处理更加方便。导盲系统信息输出方式一般是使用触觉或听觉来接收信息,而听觉比触觉有更好的感知能力。因此本文对基于视觉-听觉转换的室内导盲系统进行了研究,该系统通过深度摄像头Xtion采集周围环境的图像,对采集的图像进行图像预处理、深度图像修复、图像分割等操作,得到图像中的障碍物信息,将该信息通过图像-声音映射方案转换为声音参数,并结合虚拟立体声得到音频,最后通过耳机播放给盲人,帮助其在室内安全行走。本文的主要研究包括:1、针对深度摄像头拍摄得到的深度图像中出现的空洞区域从而影响后续图像处理和用户判断的问题,本文提出了一种基于权重函数的改进引导修复方法,与传统深度修复方法进行实验对比,进行三种评价指标的定量分析,结果显示本文的改进方法有效减少了图像中的空洞区域。2、由于拍摄图像中的障碍物信息和背景是同时存在的,而导盲系统只需要将障碍物信息传送给用户,并且图像中的背景信息会干扰盲人用户对周围环境的判断,因此针对图像中的障碍物和背景进行分割,提取出干净完整的障碍物信息。本文借鉴了人类视觉注意力的特性,提出了一种基于超像素分割的显著图分割改进方法,该方法将超像素分割和利用注意力模型提取显著图进行结合,并与传统图像分割方法进行实验对比和几种指标的客观评价,结果显示本文分割方法有更完整的分割效果。3、为了将上述中所得到的障碍物信息传达给盲人用户,提出了一种基于虚拟立体声的图像-声音映射方案,通过将有效信息的参数和虚拟立体声进行结合,从而得到周围环境信息的音频数据。将该方案与几种传统的图像-声音映射方案进行评估分析,评估结果显示本文提出的映射方案有更高的障碍物分辨率和满意度。4、最后将本文所研究的室内导盲系统与两个导盲系统进行对比测试分析,测试结果表明,本文导盲系统在障碍物分辨率和用户满意度方面都表现的更好。