基于全景相机的侧脸表情识别和目标检测

来源 :西南大学 | 被引量 : 0次 | 上传用户:llll9909
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,全景相机在机器人、视觉监控、虚拟现实(Virtual reality,VR)以及商业领域得到了广泛的应用和关注。一个典型的全景相机是一个可以覆盖整个周围场景的球形相机,可达到360度无死角拍摄。具有这样广视角的优势,使得全景相机在人机交互,场景分析,三维虚拟现实等领域有无法替代的地位。全景摄像机是一种实时的三维景象,是一项全新多媒体技术。全景相机与传统的流媒体视频,影音,图像等最大的区别是操作简单,人机交互快捷,它带给人们更直观的人机交互式的冲击以及全新的现场真实感。全景相机的优点众多:具有强烈真实性使得实景场景拍摄表现还原度高。使用全景设备拍摄,周期短成本低。拍摄实景制作时对比三维实景还原速度更快,更强的时效性。导览性、交互性强。并在全景VR形式下时,可添加流媒体,配合当下高速的互联网适合直播和传播。本文就全景相机的应用,做了以下两个工作;其一是利用头戴式全景相机采集人脸侧脸表情并进行表情识别;其二是用神经网络检测环绕全景相机的目标的任务比较了等距圆柱投影,立方体投影和圆柱透视投影的性能。1.利用头戴式全景相机采集人脸侧脸表情并进行表情识别表情识别是人类情感最直观的表现之一,如果通过VR等头戴设备可以识别出用户的表情,获得用户最真实的体验,以及如何识别用户自由移动时的面部表情等都是需要解决的新问题。本文提出了一种利用头戴式全景摄像机采集人脸侧脸图像进行人脸表情识别的新方法。首先,我们创建了一个鱼眼侧脸图像数据集。然后,我们训练了一个DU Tran[1]提出的三维卷积神经网络用于动态表情识别。实验结果表明,我们的人脸表情识别率高达72.2%。2.基于神经网络的环绕全景相机的目标检测如果能用全景相机来做目标检测,将降低摄像机的成本投入,因为同一场景下全景相机能捕获更多的信息。现有的传统的目标检测都是基于平面透视图像设计的。由于全景图像不能表示为单视角图像,因此表示为平面图像时,通常会产生较大畸变。在本文中为了解决这种形变,我们提出一个全新的投影方法:使用圆柱透视投影(cylindrical-perspective projection representation,CPPR)把球面全景图像表示为二维形式。圆柱透视投影是一种以圆柱中心为圆心,水平轴沿圆柱圆周的方位角,垂直轴遵循传统透视投影法的投影方式。由于CPPR中水平方向小区域可以看作是透视图像的近似,竖直方向遵循透视投影,因此投影出的二维图像接近透视投影,图像中的形变较小。我们猜测传统的经过透视图像训练的用于目标检测的卷积神经网络可以直接应用于CPPR图像。比较实验结果验证了我们的猜测,并说明了该方法的有效性。
其他文献
机器视觉检测技术已广泛应用在电子、食品、医药等行业。由于卫浴电镀件镜面反光等因素,目前主要依靠人工进行表面缺陷检测。人工检测存在工作强度大、效率低、漏检、人为主
新能源发电具有清洁、绿色、可持续等优点,符合国家发展的战略方向。而新能源的代表如风能、太阳能等,其分布特性决定了新能源发电很难采用集中发电的方式。此外,虽然大电网
在“中国制造2025”战略的指引下,国内涌现出一大批制鞋企业及科研机构致力于制鞋产业自动化生产技术的转型升级,迄今已取得不错的成绩。目前多数成果均是将固定的鞋模信息传
随着5G信息时代的到来,作为通信系统的重要组成部分,天线正在被提出了更高的要求,同时也面临着诸多机遇与挑战。与传统天线不一样的是,可重构天线使其能根据不一样的需求及环
阳离子型接枝淀粉絮凝剂是一种高效环保、安全稳定、经济适用的絮凝剂,但其制备工艺较为复杂,且用于接枝的阳离子型乙烯基单体种类较少。本文通过实验分析推导双氰胺甲醛缩聚
目前,大气激光通信技术面临的最紧要问题就是大气信道中湍流对光信号的影响。近几年来,将自适应光学技术加入到激光通信系统中用以改善大气湍流扰动的方法逐渐成为人们的研究
联芳基化合物是极为重要的化学中间体,在药物、天然产物、高分子材料和液晶材料等众多领域得到了广泛的应用。因此,联苯类化合物的合成具有非常重要的意义。Stille偶联反应是
上个世纪90年代以来,海内外商业银行的操作风险损失案例频频出现,然而这些损失案件不仅给金融机构造成巨额的经济损失,还使得商业银行声誉遭受严重损害,自此操作风险开始受到广泛的关注。2004年6月《新巴塞尔资本协议》问世,将操作风险纳入风险管理框架当中,并要求商业银行需为操作风险配置相对应的资本金。为了提高商业银行管理操作风险管理的有效性,《新巴塞尔资本协议》提出基本指标法,标准法,高级计量法这三种方
随着导航技术的需求及时间频率基准的发展,卫星需要更高精度的时间基准和更高的频率稳定性来进行导航工作。这对时间频率传递的稳定性提出了更高的要求,现代技术中常用的微波
基于第VI主族元素设计的纳米材料和器件是自旋电子学的未来重要发展方向之一。本文通过第一性原理计算,以二维材料的设计为主线,以材料的电子性质及调控为主要研究方向,致力