随着遥感技术的进步以及移动终端的普及,图片和视频数据规模也呈现爆发式增长。极化合成孔径雷达(Polarimetric Synthetic Aperture Radar,Pol SAR)图片自动解译以及视频实时行为识别也吸引越来越多学术界和工业界的关注。随着深度卷积神经网络(Convolution Neural Network,CNN)在图片分类等赛道上的逐次突破,深度学习算法被引入到Pol SAR图像和视频理解任务中。由于Pol SAR图像和视频数据不同于一般的光学图像,直接将CNN模型应用到该数据上往往无法取得理想的结果。因此,本文针对Pol SAR图像分类和视频行为识别中存在的问题,设计了三种神经网络模型,并使用不同任务上公开数据集验证了算法性能。关键内容总结如下:1)提出了一种复数卷积自编码器(CV-CAE)与空间像素块修正(SPF)算法,CV-CAE输入样本为从原始图中切分的图像块,传统的逐像素移动切分较为耗时,因此,本模型中使用构造切分矩阵的方法快速切分训练和测试样本。CV-CAE能够直接使用Pol SAR协方差矩阵中的复数值作为模型输入,且利用重构损失从无标签输入样本中提取特征。该模型在不破坏Pol SAR复数特性的同时减少对标注数据的依赖。SPF算法利用Pol SAR块状地物结构,通过先投票后差值运算一次修正CV-CAE初分类结果中每个像素块的所有像素类别。相比较同类任务中的其他算法,CV-CAE能够使用较少标注数据获得较高的分类正确率。2)提出一种运动向量增强模型(GMV-Net),GMV-Net用于缓解压缩视频中运动向量(MV)分辨率低且受噪声影响,无法提取丰富的时序判别特征的问题。该模型使用光流作为监督信息对从压缩视频中直接提取的含有运动信息的运动向量(MV)增强,数据预处理时间较短。其次,GMV-Net生成模型为有跳跃连接的编解码结构,能够利用模型各层特征对输入样本重构,并实现对输入数据增强。同时,该模型基于深度可分离卷积结构,其网络层数和特征通道数均少于同类其他模型,模型参数量大大减少,有助于模型更快收敛。同时模型也具有较强实时性。实验验证GMV-Net具有较高的实时性和有效性。3)提出一种长时时序特征提取模型(LTS),LTS模型中位置编码为经过特征提取的压缩视频残差帧(R帧)向量,由于R帧为压缩视频中当前帧和预测的差值,包含了每帧数据大部分的边缘信息,因此能够唯一标识该帧数据。为了能够获取长时时序特征,LTS模型使用经过特征提取的增强运动向量(EMV)作为输入样本。其次,LTS模型使用基于多头自注意力机制的特征提取块,能够获取当前帧和视频段中其他帧之间的关联性,有利于更好的确定时序关系,同时减少冗余信息的影响。实验证明该算法在取得较高识别正确率的同时能够达到对视频实时处理。