【摘 要】
：
如今,人工智能与深度学习等技术在生活中的应用越来越广泛。其运算载体从服务器逐渐发展到个人电脑、便携式电脑和移动手机。随着深度学习技术的发展,神经网络模型变得越来越复杂,模型中的计算量也随之增加。因此,边缘设备孱弱的计算力,制约了人工智能与深度学习等技术在其上的发展。对此问题,以往的研究一方面是减少计算量,通过重新设计高效的模型,仅使用少量的计算即可完成任务;另一方面是增加计算力,通过边缘设备与服务
论文部分内容阅读
如今,人工智能与深度学习等技术在生活中的应用越来越广泛。其运算载体从服务器逐渐发展到个人电脑、便携式电脑和移动手机。随着深度学习技术的发展,神经网络模型变得越来越复杂,模型中的计算量也随之增加。因此,边缘设备孱弱的计算力,制约了人工智能与深度学习等技术在其上的发展。对此问题,以往的研究一方面是减少计算量,通过重新设计高效的模型,仅使用少量的计算即可完成任务;另一方面是增加计算力,通过边缘设备与服务器进行通信,使用服务器来完成一部分计算,实现了边缘设备和服务器的协同计算,间接增加了计算力。但在以往的协同计算算法中,存在以下问题:（1）边缘设备与服务器协同计算需要的通信可能会受到各种因素的干扰,容错率较低。（2）计算资源利用率不高。基于任务卸载的协同算法计算过程是线性的。通过将不同的神经网络层放在不同的设备上计算,计算时仍然遵循原来的先后顺序,必须计算出前一部分才能进行后一部分的计算。在边缘设备计算时,服务器处于闲置状态;服务器计算时,边缘设备处于闲置状态,导致计算资源利用率低。对此,本文从容错率和计算资源的利用率两方面入手,对协同计算算法以及协同算法训练中用的知识蒸馏算法进行了深入的研究。研究内容如下:（1）针对以往计算资源利用率低和容错率低的协同计算算法,提出一种基于知识蒸馏的云边协同计算算法。将训练高精度神经网络模型中的参数再次训练,在训练过程中通过促进部分参数变得更大,从而将模型的参数重分布,使得更适合通过网络剪枝分解为n个子模型。再根据各个设备的计算力构建出n个新模型部署在设备上。最后通过知识蒸馏将子模型的知识传递给对应学生模型,从而实现n个学生模型部署在总数量为n的边缘设备和服务器上。在神经网络模型的推理阶段,协同算法能使边缘设备与服务器独立计算,计算完成将数据发送到主推理设备得出最后结果。实验表明,本文协同计算算法可以多个设备协同计算,有较高的准确率;在无网络的情况下可以单机运行,准确率在可接受范围内,有较高的容错率,适用于无人机、自动驾驶等应用场景。（2）对于本文协同计算算法训练过程和模型更新过程中的知识蒸馏,提出分段知识蒸馏算法。常规的知识蒸馏训练算法效率较低,需要较长时间才能完成训练。对此问题,综合考虑GPU的并行计算特性和神经网络参数更新频率,通过将教师模型和学生模型划分为独立的多个模块,对应的教师模块和学生模块独立进行知识蒸馏训练。在保持较高GPU计算资源利用率的同时,提高了训练效率。实验结果表明,分段知识蒸馏算法可以减少迭代消耗的时间;并且经过相同的迭代次数,分段知识蒸馏算法的准确率相对较高。相比于常规知识蒸馏训练,分段知识蒸馏算法达到了2到5倍的加速。
其他文献
在低光照环境中采集的花卉图像,呈现出整体亮度较低,花卉与背景的对比度不显著的性质,不符合人眼视觉系统的感知标准,将不满足实际应用需求。因此,对低光照的花卉图像进行预处理,是提升花卉图像视觉质量的关键。本文针对低光照条件下采集的花卉图像展开研究,设计低光照花卉图像增强算法。本文主要工作如下:（1）为实现低光照的花卉图像增强,改进基于Retinex照度理论的变分优化模型。首先,本文提出三种先验信息,包
随着近些年人工智能的进步和发展,人们对机器智能化的要求也越来越多,人类希望机器能够准确的识别人的面部表情,完成人与机器的交流,而不是局限于人与人的交流。由于各种表情之间的差别很小,因此,让计算机准确无误的识别表情具有一定难度。传统的手工特征提取方法进行人脸表情识别,容易受人为因素干扰,造成人脸表情特征信息的丢失。近年来,深度学习广泛应用于人脸表情识别,其核心的步骤是特征提取,特征的好坏直接决定了识
虽然我国经济已转向高质量发展,但城镇化、工业化带来许多环境污染问题仍十分严峻,由于化石燃料的燃烧和机动车数量的增加,导致大气环境污染日趋严重。“十二五”节能减排综合性工作方案首次将氮氧化物纳入大气污染物总量控制指标,并在今后每个五年规划中提出了具体的减排目标。NO2作为大气污染物之一,是其他污染物的重要前体物,对气候、生态环境、人类健康产生重大影响,严重阻碍社会经济的发展、阻碍美丽中国的建设,越来
受硬件设施、天气环境等因素的影响,医疗卫生、遥感卫星、安防监控等多个领域的图片成像一般都较为模糊。因此,图像超分辨率重建成为计算机视觉领域的热点研究方向。图像超分辨率重建就是在不破坏原有图像细节信息的同时将低分辨率图像重建为高分辨率图像。目前,基于深度学习的方法在图像超分辨率重建研究领域中的重建效果最为优越,但是该方法仍然会出现梯度消失、收敛困难并且容易丢失图像的纹理细节等问题。针对上述问题,本文
目前,全球变暖的速度在不断加快。由其引发的一系列生态灾害严重威胁人类的生产与生活。世界各国为了遏制碳排放的急速增加已经展开了一系列国际合作。在近期十四五规划中,我国明确提出实现碳达峰、碳中和的目标。我国在国际上树立了积极承担责任的大国形象。作为最大的发展中国家,我国要改变以往粗放的经济发展模式,合理规划各项土地利用类型的面积,加大生态建设的投入,协调经济和碳排放之间的关系。为此我们要在保证经济发展
经济全球化使企业之间的竞争逐渐加剧,人们饮食多样化促进了各地火锅行业的蓬勃发展。然而,现有的美食推荐系统种类繁多,推荐重点各不相同,不能根据用户偏好获得有针对性的推荐,使用户不能准确找到符合自己口味的菜品。个性化推荐技术能够很好地解决这个问题,并在美食领域中得到广泛关注。关联规则是近年发展起来的个性化推荐算法,在电子商务和超市购物等多个领域应用广泛,并取得了良好的效果。针对用户进行菜品个性化推荐,
城市与人类的生活息息相关。随着我国城市化进程的不断发展,了解基本城市土地利用类型的分布情况对完善城市空间结构,城市历史文化的保护,城市风貌的塑造,居住社区和城市基础设施的建设等城市更新总体任务具有重要意义。本研究以重庆市中心城区城市建成区为研究区,基于多源数据进行基本城市土地利用类型分类方法研究,针对目前该领域存在的问题与不足,从确定最优城市地块分割方法,构建适用于山地城市的城市土地利用分类特征,
我国是个有着长远历史文化的国家,拥有浓厚的文化底蕴,传统文化的形式更是多种多样,传统文化包含了中华民族不同历史时代的精神文化,传统文化与我们的生活有着紧密的联系,因此,传统文化能从古延续至今,中国古典舞是我国民族文化的精华所在,是我国古典艺术中的重要组成部分,在当代社会,传统文化依旧能为古典舞的教学提供灵感,文化需要不断继承和创新,将传统文化融入古典舞的教学中,不仅对传统文化元素的提炼和借鉴,也是
不平衡分类是一个重要的研究领域。在不平衡数据集中,至少有一类（少数类）的样本数量是远远少于其它类别的样本数量。如果在不平衡数据集上构造一个分类模型,决策边界会向少数类偏移,这会导致少数类样本识别不准确。过抽样是一种改进不平衡分类的有效方法。在众多的过抽样方法中,SMOTE是最受欢迎的。SMOTE用基样本和它的近邻的插值结果去生成少数类的合成样本。然后,SMOTE用这些合成样本去扩充少数类,直到类别
随着人工智能的发展,情绪分析在社会上的重要性越发明显,其中人脸表情识别作为人与人之间情感交流的主要手段,在人机交互、公共安全、汽车驾驶、医疗辅助、公安系统以及课堂教学等领域有极大的应用潜力。因此,人脸表情识别作为一种影响巨大的关键技术,逐渐成为众多科研人员的研究重心。在人脸表情识别过程中,易受到尺度、光照以及角度等因素的影响,采用计算机对人脸表情进行识别依然是一个较大的挑战。迄今为止,国内外研究人