基于视觉—听觉转换的室内导盲系统研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:litao2006
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着全世界人口老龄化的加剧,盲人和视障人士的数量不断上升,各国的研究人员一直探讨如何利用人类其他器官替代视觉感知周围环境。目前相关导盲系统中主要是使用超声波、激光、摄像头等系统采集信息方式,而摄像头相对来说可以获取更加丰富的周围环境信息,且图像处理更加方便。导盲系统信息输出方式一般是使用触觉或听觉来接收信息,而听觉比触觉有更好的感知能力。因此本文对基于视觉-听觉转换的室内导盲系统进行了研究,该系统通过深度摄像头Xtion采集周围环境的图像,对采集的图像进行图像预处理、深度图像修复、图像分割等操作,得到图像中的障碍物信息,将该信息通过图像-声音映射方案转换为声音参数,并结合虚拟立体声得到音频,最后通过耳机播放给盲人,帮助其在室内安全行走。本文的主要研究包括:1、针对深度摄像头拍摄得到的深度图像中出现的空洞区域从而影响后续图像处理和用户判断的问题,本文提出了一种基于权重函数的改进引导修复方法,与传统深度修复方法进行实验对比,进行三种评价指标的定量分析,结果显示本文的改进方法有效减少了图像中的空洞区域。2、由于拍摄图像中的障碍物信息和背景是同时存在的,而导盲系统只需要将障碍物信息传送给用户,并且图像中的背景信息会干扰盲人用户对周围环境的判断,因此针对图像中的障碍物和背景进行分割,提取出干净完整的障碍物信息。本文借鉴了人类视觉注意力的特性,提出了一种基于超像素分割的显著图分割改进方法,该方法将超像素分割和利用注意力模型提取显著图进行结合,并与传统图像分割方法进行实验对比和几种指标的客观评价,结果显示本文分割方法有更完整的分割效果。3、为了将上述中所得到的障碍物信息传达给盲人用户,提出了一种基于虚拟立体声的图像-声音映射方案,通过将有效信息的参数和虚拟立体声进行结合,从而得到周围环境信息的音频数据。将该方案与几种传统的图像-声音映射方案进行评估分析,评估结果显示本文提出的映射方案有更高的障碍物分辨率和满意度。4、最后将本文所研究的室内导盲系统与两个导盲系统进行对比测试分析,测试结果表明,本文导盲系统在障碍物分辨率和用户满意度方面都表现的更好。
其他文献
数列这一部分的学习是高中数学知识的重点,也是学生学习的难点.求数列的通项公式便是其中的一个难点,其求解方法灵活多样,构造法是常用的方法.本文结合历年来的高考题,谈一下在求四
无氨氮污染萃取获得高纯度轻稀土是近年来稀土工业技术研究的难点。本论文合成了杯[8]芳烃,进而首次合成得到了全取代的杯[8]芳烃磷酸酯衍生物,并首次将杯[8]芳烃磷酸酯衍生
<正> 所谓“苏南模式”是党的十一届三中全会以后,在邓小平理论的指引下,苏、锡、常地区的广大干部群众在推进社会主义现代化建设的实践中,从实际出发,创造性地贯彻执行党的
目的:系统评价太极拳运动对Ⅱ型糖尿病患者的影响,为Ⅱ型糖尿病患者科学运动提供指导。方法:查阅中国知网(CNKI)、维普、万方数据等国内文献数据库,检索相关文献。采用Rev Ma
意识形态既是一个历史范畴,又是一个社会范畴,意识形态的形成发展是一个动态的历史过程。从西方历史上政党报刊时代的国家管制,到大众传媒时代西方自由主义价值观为核心的国
随着物质生产方式的现代化变迁,传统的性别秩序开始松动,男女之间出现了新变化。这些新变化远未改变男强女弱的性别关系,更未预示着男性遭遇危机,更多的是性别多样化的积极表
随着科技进步,互联网、4G、多媒体等通信工具已成为人们生活中不可或缺的部分,信息分享也从传统媒体向新媒体方向转移,从而促成了舆论引导新格局。在政府、媒介与群众的舆论