论文部分内容阅读
近年来,全景相机在机器人、视觉监控、虚拟现实(Virtual reality,VR)以及商业领域得到了广泛的应用和关注。一个典型的全景相机是一个可以覆盖整个周围场景的球形相机,可达到360度无死角拍摄。具有这样广视角的优势,使得全景相机在人机交互,场景分析,三维虚拟现实等领域有无法替代的地位。全景摄像机是一种实时的三维景象,是一项全新多媒体技术。全景相机与传统的流媒体视频,影音,图像等最大的区别是操作简单,人机交互快捷,它带给人们更直观的人机交互式的冲击以及全新的现场真实感。全景相机的优点众多:具有强烈真实性使得实景场景拍摄表现还原度高。使用全景设备拍摄,周期短成本低。拍摄实景制作时对比三维实景还原速度更快,更强的时效性。导览性、交互性强。并在全景VR形式下时,可添加流媒体,配合当下高速的互联网适合直播和传播。本文就全景相机的应用,做了以下两个工作;其一是利用头戴式全景相机采集人脸侧脸表情并进行表情识别;其二是用神经网络检测环绕全景相机的目标的任务比较了等距圆柱投影,立方体投影和圆柱透视投影的性能。1.利用头戴式全景相机采集人脸侧脸表情并进行表情识别表情识别是人类情感最直观的表现之一,如果通过VR等头戴设备可以识别出用户的表情,获得用户最真实的体验,以及如何识别用户自由移动时的面部表情等都是需要解决的新问题。本文提出了一种利用头戴式全景摄像机采集人脸侧脸图像进行人脸表情识别的新方法。首先,我们创建了一个鱼眼侧脸图像数据集。然后,我们训练了一个DU Tran[1]提出的三维卷积神经网络用于动态表情识别。实验结果表明,我们的人脸表情识别率高达72.2%。2.基于神经网络的环绕全景相机的目标检测如果能用全景相机来做目标检测,将降低摄像机的成本投入,因为同一场景下全景相机能捕获更多的信息。现有的传统的目标检测都是基于平面透视图像设计的。由于全景图像不能表示为单视角图像,因此表示为平面图像时,通常会产生较大畸变。在本文中为了解决这种形变,我们提出一个全新的投影方法:使用圆柱透视投影(cylindrical-perspective projection representation,CPPR)把球面全景图像表示为二维形式。圆柱透视投影是一种以圆柱中心为圆心,水平轴沿圆柱圆周的方位角,垂直轴遵循传统透视投影法的投影方式。由于CPPR中水平方向小区域可以看作是透视图像的近似,竖直方向遵循透视投影,因此投影出的二维图像接近透视投影,图像中的形变较小。我们猜测传统的经过透视图像训练的用于目标检测的卷积神经网络可以直接应用于CPPR图像。比较实验结果验证了我们的猜测,并说明了该方法的有效性。