随着深度学习技术的发展,图像语义分割已被广泛应用于无人驾驶、远程视频等场景。同时,图像数据集不断增大,所要构建的神经网络结构日趋复杂,这使得人工优化网络结构难以实现。如何自动优化面向图像语义分割任务的神经网络结构,已成为研究的难点。神经网络架构优化方向目前有两个侧重点:一是采用神经网络架构搜索的方式代替人工设计网络结构,二是通过模型压缩精简网络结构。主流的架构搜索方法无法搜索多尺度融合的网络结构,难以应用于图像语义信息有限的分割任务;同时,现有的模型压缩工作主要集中在图像分类任务,缺少在图像语义分割任务上的针对性研究。针对这些问题,本文重点研究了面向图像语义分割的神经网络架构优化方法,主要包括以下内容:1.提出了一种多尺度融合神经网络架构搜索方法。针对图像语义分割任务,构建了包含网络层和单元层的新型搜索空间以覆盖多种神经网络结构,设计了高效的搜索空间松弛方法以加快算法迭代,使得该方法在计算量约束下能够快速搜索多尺度融合的高效神经网络结构。2.提出了一种基于特征图分析的卷积神经网络剪枝方法。针对图像语义分割任务,从特征图可视化、权重数据和特征图数据三个方面分析,采用特征图稀疏性和相似性进行网络剪枝。与其他剪枝方法相比,该剪枝方法可以提高网络剪枝率,实现更有效的模型压缩。本文所提出的神经网络架构优化方案在Cityscapes、Chaos等数据集上进行了实验。结果表明,在相同计算量约束下,本优化方案所获得的神经网络比传统人工设计神经网络的效率更高,平均交并比（即mIOU）可以提升0.1%-5.3%。同时,本方案还可以针对硬件平台配置对算法进行优化以满足边缘端对于实时性的要求。譬如针对NVIDIA的Xavier板卡,本方案对于512 × 1024分辨率的图像输入,在保持精度的前提下,能够达到19.8FPS的帧率。