【摘 要】
:
深度学习网络,因其具有强大的学习与表达能力,目前已被广泛运用在语音识别、自然语言处理等领域。其中网络结构是深度学习应用的基础。研究新型的网络结构是目前研究的主流,是突破现有网络局限性的关键,对于推动深度学习网络的发展具有重要意义。现有的深度学习网络模型,经历了一个以数据拟合为目标,由浅层到深层的发展过程,其发展目前面临以下瓶颈:首先,近年来在大多数任务中,深度学习网络性能提升极其有限。其次,训练好
论文部分内容阅读
深度学习网络,因其具有强大的学习与表达能力,目前已被广泛运用在语音识别、自然语言处理等领域。其中网络结构是深度学习应用的基础。研究新型的网络结构是目前研究的主流,是突破现有网络局限性的关键,对于推动深度学习网络的发展具有重要意义。现有的深度学习网络模型,经历了一个以数据拟合为目标,由浅层到深层的发展过程,其发展目前面临以下瓶颈:首先,近年来在大多数任务中,深度学习网络性能提升极其有限。其次,训练好的神经网络仅能够在特定数据集上表现优异,而在新的数据集上很难进行泛化,在学习能力方面呈现出一定的封闭性。例如用全连接网络完成算术加法任务,只能在规定的数据集内进行,而无法泛化到更多的位数。这就极大限制了神经网络在实际中的应用。因此,提出新的网络结构模型,成为突破现有架构约束的关键。为此本文开展了基于脑启发式学习的视觉运算研究,以视觉运算为任务,构建了脑启发式学习网络。该网络在视觉运算任务中,显示了极强的泛化性,表明将人类定义好的知识与规律整合到神经网络之中是可行的。这种网络结构的构建,打破了现有网络数据驱动的现状,将规则驱动引入神经网络的构建之中。本文主要创新点如下:首先,针对传统网络进行大数相加任务训练无法收敛的问题,提出了对标签按位标注的网络改进方案。在大大缩短训练时间的同时,解决了大数相加问题,扩展了传统网络的运算区间。其次,针对传统网络无法完成乘法任务的问题,提出了对标签按位标注以及在网络中间增加辅助标签的网络改进方案,完成了乘法运算任务,突破了传统网络无法完成乘法任务的局限。最后,针对传统网络泛化性差,无法解决除法任务的问题,提出了将人类归纳的四则运算规律整合到网络设计之中的方案,划分了视觉、运算和显示三个模块,构建了加法元、乘法元、比较元三个元结构来完成视觉运算任务。实验结果表明,网络完成视觉运算任务的准确率为100%,且能泛化到任意位数的算术运算。本任务是一个将规则驱动引入神经网络架构之中的典型案例。
其他文献
在互联网时代,头像在社交平台上起着名片的作用。部分人选择将个性突出的卡通画像作为自己的头像,但是让计算机自动生成符合人类主观审美的卡通头像不是一件容易的事情。生成对抗网络(Generative Adversarial Networks,GANs)作为现阶段主流的生成模型,在图像生成领域做出了巨大贡献,基于GANs的卡通头像生成技术受到了国内外学者的广泛关注。然而,现有的基于GANs的卡通头像自动生
人类视觉系统能够有效快速地找到图像或视频中感兴趣的区域进行处理,忽略无用的信息,但是传统计算机却没有这种能力。在计算机视觉领域中,显著对象检测旨在于让计算机具有和人一样的视觉处理能力,使计算机能够关注场景中的显著对象而忽略背景信息,从而快速处理大量图像,因此显著对象检测成为许多计算机视觉任务的预处理步骤。显著对象谱的好坏,直接影响到其后视觉任务的性能效果,因此提高显著对象检测能力十分重要。本文针对
人体解析是对人体图像中的部位和衣物进行像素级别的识别。基于强有力的语义分割方法并进一步结合有关人体特性的辅助信息是当前的人体解析工作的主要研究路线。我们注意到,当人们在社交网站上分享照片时,往往会分享身着同一套衣服以不同姿势或角度拍摄的多张照片。这些额外的照片天然地可以作为人体解析任务的辅助信息。本文受到这种行为的启发,当对一张人体图像进行解析时,可以提供另一张相关图像的原图作为参考图像,通过寻找
随着我国信息化建设的推进,网络基础设施的不断完善和各种网络应用的普及给我们的生活带来诸多便利的同时,企图对网络进行入侵或破坏的各种网络异常行为也在不断增加。网络异常行为检测有利于及时地对异常情况进行预警和响应,避免或降低异常行为所带来的损失。如何对网络异常行为进行有效检测已成为网络安全领域的重要研究课题。网络行为通常以包和流作为数据载体,近年来基于包的网络异常行为检测和基于流的网络异常行为检测是两
多目标跟踪是计算机视觉中的一个重要研究方向,其在学术研究和实际应用中都有重大的意义。在安防系统、自动驾驶、人机交互等方面有很高的应用价值。现在最常用的多目标跟踪框架是基于检测的多跟踪,其主要是结合检测器提供的检测结果来设计一套有效的关联度量和关联算法,从而将这些检测结果匹配起来,完成多目标跟踪任务。本文主要针对多目标跟踪中的运动建模和外观建模两个方面展开研究,并且结合实际应用分析多目标跟踪中存在的
柔性可穿戴传感器凭借柔性、可形变的特性而备受关注,柔性器件可以广泛应用于人体健康监测、机器人智能传感、人机交互、医疗康复等诸多领域,具有很好的发展前景。基于传统集成电路的柔性器件制备工艺已经发展成熟,但是由于其较高的制备成本以及对材料的要求严格等问题,限制了该工艺在制备柔性器件领域的应用。目前已经发展了多种新型柔性器件制备工艺,如丝网印刷、掩模喷涂以及静电纺丝等工艺,具有制备流程简单、成本低以及易
视觉目标跟踪(Visual Target Tracking)是对图像序列中的运动目标进行检测、提取、识别和跟踪的一类技术,主要任务是为了获得运动目标的运动参数,从而实现对运动目标的行为理解,以完成更高一级的检测任务。目标跟踪算法在公共安防、工厂生产、交通管控等相关场景有着极为广泛的应用。对于视觉目标跟踪算法的研究在计算机视觉领域一直备受关注。尽管在像素域的相关算法研究已经取得了很大的进步,尤其在近
近年来,在大数据与高性能计算平台的支撑下,深度卷积神经网络因其对于图像数据的强大非线性拟合能力、高度特征抽象能力和自动特征表达能力而在各类计算机视觉任务中取得了卓越性能。然而其在性能提升的同时也产生了繁重的计算开销、巨大的内存消耗以及超量的存储占用,进而限制了其向资源受限终端的部署,以及在时间敏感的实际场景中的应用。基于此,本文聚焦于基于变分贝叶斯的网络剪枝技术,深入研究变分贝叶斯理论在卷积神经网
移动传感器网络(mobile sensor network,MSN)因其具有自组织性、可扩展性及灵活性的特点,常被应用于如战场监控、灾后搜救等空间监测任务中。传感器在空间中的覆盖情况直接反映了MSN所能提供的感知服务质量,合理的节点部署可以帮助节点更好地感知环境信息,完成监测任务。当监测区域内出现目标时,MSN不仅需要对目标进行持续的跟踪,还应继续对其他区域进行搜索,这对节点的协作和适应能力提出了
高分辨率的合成孔径雷达(SAR)图像在诸多领域均有重要的应用价值,然而,由于硬件性能限制、成像条件复杂等不利因素,并且受到本身固有的乘性相干斑噪声的影响,往往获得的SAR图像分辨率都会受到严重降低。而图像的超分辨率重建,不仅可以提高图像的分辨率,而且通过引入新的高频信息,如边缘、纹理等,同时在一定程度上降低噪声、杂波等,使得图像的整体质量得到提高。近年来基于深度学习的自然图像超分辨取得了巨大的成功