近年来,计算机视觉技术取得了很大进展,除了在医学检测、视频监控等领域外,在城市管理中也有着广阔的应用前景,如利用实例分割来识别城市违规经营行为,使城市管理更加高效智能。但是存在着以下问题:（1）实例分割模型如Mask R-CNN的目标检测精度较低,尤其对违规经营行为这类形态不确定对象的检测精度较低,并且分割的掩模精度较低,对象轮廓边界分割不够清晰;（2）现实环境中存在着雾、霾等干扰因素,对模型的检测能力有着一定的影响;（3）没有公开的违规经营行为数据集,对神经网络模型的训练带来不便;（4）目前没有一个有效的违规经营行为识别系统来促使城市管理更加高效。因此基于上述背景,本论文主要研究如何通过改进特征重用和特征融合的方式来提高模型目标检测精度和掩模分割精度,以构建一个能有效识别城市违规经营行为的系统。本文以Mask R-CNN作为基本架构,构建了具有实例分割功能的网络架构DU-AFNet（Down to Up-Weight Fusion neural Network）,主要贡献如下:（1）依据不同尺度特征对最终特征的形成具有不同影响的思想,改进了Mask R-CNN,构建自下而上的特征融合路径,实现多尺度特征融合,并结合卷积操作,进行自适应的多尺度特征融合,通过取最大值得到融合的特征图,由该特征图进行后续的目标分类任务和掩模分割任务;在掩模生成分支,加入优化的完全连接条件随机场来提高模型掩模分割的能力;（2）在DU-AFNet网络架构中集成端到端去雾模块AOD-Net,以增强图像清晰度,提高模型在恶劣天气环境下的检测精度;（3）构建了一个城市违规经营行为数据集:vendor数据集;（4）构建了一个能够自动识别违规经营行为系统。本文对改进模型进行了综合性实验分析,实验结果显示:与Mask R-CNN相比较,仅加入了自下而上自适应的多层特征融合路径的模型,其检测目标框的AP值在COCO数据集中提升了1.3%,在vendor数据集中,提升了3.4%;仅加入优化的完全连接条件随机场的模型,其掩模分割的AP值在COCO数据集中提升了1.1%,在vendor数据集中提升了4.3%;DU-AFNet综合上述两个改进模块,在COCO数据集上AP指标提高了1.2%,在vendor数据集上AP提高了2.7%;DU-AFNet加入AOD-Net去雾模块后,模型的AP值提高了0.9%,并且训练时间仅增加了0.7%的时间成本。实验结果表明:基于上述神经网络所构建的违规经营行为识别系统能有效地简化城市管理工作。