随着虚拟现实不断的发展,许多研究学者将虚拟现实作为热门的课题进行研究,就目前虚拟现实的研究现状,眼球追踪成为虚拟现实重要突破的技术领域,在虚拟现实场景中应用眼球追踪能实现确保精确度不减少的情况下,提高场景中图像的处理速度和用户在场景中的浸透性,降低性能的消耗和用户的眩晕感,疲劳感。在眼球追踪的发展过程中,深度学习的表现取得优秀的成绩,深度学习将眼球追踪划分为单帧图像中的检测,视频帧中的追踪。在深度学习的单帧图像检测算法中,端到端的YOLO检测算法达到50的精确度,从速度角度上讲,YOLO算法在虚拟现实中的处理速度每秒传输的帧数(FPS)只有45。在深度学习的视频帧眼球追踪算法中,眼球被外界因素干扰导致追踪精确度大幅度下降。本文针对上述问题做以下工作:(1)对单帧图像的检测算法YOLO进行改进,将每个卷积层所对应的特征图进行融合,得到更加明显的特征信息。改进了YOLO应用的网络,在改进的网络中对多个卷积层的特征图进行预测,利用边框回归等训练方式,得到最终的眼球位置信息。(2)对视频帧的YOLO算法与递归神经网络的结合,在处理视频帧中,前后信息的空间关联性较大,通过YOLO改进算法与递归神经网络的结合,对前后帧图像中的特征信息进行空间关联上的学习,在眼球被外界因素产生遮挡的情况下,利用前后5帧图像信息的置信图对眼球的位置信息进行预测。(3)眼球追踪在虚拟现实中的应用,将眼球追踪后的坐标结果与径向模糊渲染相关联,应用到虚拟现实中的场景,设计对于PC或移动端电子设备硬件条件不高的用户精确实时渲染的功能,提高用户在场景中浸透性,浸透性指标为眼球追踪精确度达到60以上,眼球追踪的径向渲染场景中每秒传输的帧数(FPS)达到60以上。在本文的实验中,单帧图像的YOLO检测算法改进相比较于传统的YOLO算法,准确率上提高了3%,速度上fps达到87。视频帧的YOLO与递归神经网络的结合,准确率上达到了78.2%,在速度上达到了17毫秒。在基于眼球追踪的径向模糊场景渲染的实验中,准确率达到63,fps可以达到66,不会出现卡帧以及掉帧的情况,达到虚拟现实场景中浸透性目的。