随着低成本,紧凑的视觉传感器设备普及,人们对于计算机理解周围场景的需求日益增加。在机器人导航,自动驾驶,安防,医疗等众多民生领域,场景理解显示出了重要的研究意义与研究价值。场景理解最重要的研究方向之一是图像语义分割。图像语义分割不仅融合了图像识别信息与图像检测信息,更是推理出其他高级语义场景信息的基础。目前,使用深度学习进行语义分割时可能会产生分割不精确,不连续等问题,为了解决这个问题,本文研究了基于生成对抗网络的语义分割模型。生成对抗网络(GANs)是这几年提出的一个比较重要的网络模型结构,生成对抗网络模型由生成网络和判别网络组成,两个网络同时进行博弈训练,从而使得生成网络可以生成更好的结果,基于此本文提出了生成对抗语义分割模型。该模型由深度卷积语义分割模型作为生成网络,共包含五个模块,每个模块由3x3卷积层、池化层、激活函数组成,RGB图像作为输入,输出语义分割的概率图,并随机与标签图输入判别网络,判别网络由较深的卷积神经网络组成,学习生成的语义分割概率图与标签图之间的特征差异,并指导优化生成网络生成更接近于标签图的语义分割概率图。通过修改损失函数以及学习率等参数,使得网络达到最优解。本文提出的网络保持了传统神经网络的端对端的训练,并减少了对人工设计的损失函数的依赖。场景理解不仅需要对图片的分析,更需要对视频的理解。人体作为一段视频中主要的研究对象,现阶段的人体动作识别方法都是基于视频的时空信息而没有考虑动作所在的场景,从而可能会出现不符合场景的动作判断。因此,本文提出了一种基于场景识别的双流网络识别结构。对于常见的动作,本文将其分为足球场,篮球场,室内,健身房,湖面,室外等11类场景,利用卷积神经网络提取场景信息,并将此作为辅助信息加入人体动作识别网络结构中,以此改善识别网络准确率。本文先训练了场景识别的网络,并使用训练好的参数作为初始参数与人体动作识别网络共同训练。通过分析场景识别网络与人体动作识别网络不同的融合比例,确定了网络的最佳识别结构。本文使用了Pascal VOC 2012和City Scapes等大型数据集对生成对抗语义分割模型进行训练和测试,并使用了随机缩放,裁剪等数据增强方法,其结果表明了本文所提的方法,可以有效改善图像分割不准确等问题,相比于FCN和Deep Lab等典型的语义分割模型,在平均交叉重叠率上分别提高了6.7%和3.6%。对于人体动作识别网络模型,本文使用了UCF50,UCF101等公开动作数据集,对视频中的每一帧进行训练,并选择了C3D,Two Stream等一些动作识别方法进行比较,其准确率分别提高了5%和3%。本文也研究了对一些典型识别网络结构加入同样的场景信息,其实验结果均好于原先网络,证明了本文提出的方法可以有效改善识别准确率。