面向FPGA的卷积神经网络模型映射工具的研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:nmcflyl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
卷积神经网络已被应用于物体检测、图像分割、语义分析等许多领域。在很多现实场景中,在嵌入式环境下应用卷积神经网络的模型进行预测成为一种趋势,因此,需要低延迟和低功率的硬件平台进行支持。现场可编程门阵列(FPGA)凭借其高性能和低功耗的特点,已被广泛应用于卷积神经网络硬件加速的研究中。但是,基于FPGA的硬件加速开发需要大量的FPGA设计经验,因此,本文提出了一种模型映射工具,能够自动生成硬件加速器代码,同时做到自动化软件控制,实现了卷积神经网络到FPGA的自动化映射,减少了开发中的工作量。由于卷积神经网络模型的多样性,模型映射工具中定义了统一的数据格式,将TensorFlow平台生成的模型文件转换成中间表示。基于已有的基本硬件架构,本文进行了优化,设计实现了硬件模板。中间表示一方面用于配置硬件设计模板中的参数,将其实例化;另一方面作为控制软件的输入参数文件,用于内存分配和运行时控制。这样就可以将各种卷积神经网络自动地模型映射到FPGA中。同时,为了验证模型映射工具的实用性,将其应用于实时目标检测系统中,检测其在现实应用场景下的工作情况。本文基于BT1120视频传输协议,通过摄像头设备实时采集图像数据。经过解帧模块以及色彩空间转换模块的处理,作为神经网络的输入数据,并实时显示检测结果,从而来验证模型映射工具的实用性。本文中将几个主流的目标检测模型,包括SSD(Single Shot MultiBox Detector),YOLO(You Only Look Once)以及ResNet(Residual Network)通过模型映射工具映射到FPGA加速器中。实验结果表明,自动化模型映射工具能够保证所有计算结果的正确性,相比于人工实现模型映射的结果,仅增加了3%左右的额外消耗时间。在实时应用测试中,FPGA加速平台采用32位量化设计,并选用SSD模型进行实时检测,每秒可识别15帧的图片,功耗仅为4.6W。因此,本文对自动化模型映射工具的研究能够将不同的卷积神经网络映射到FPGA中,并且实现硬件生成和软件控制自动化,大大降低了FPGA的使用难度,减少了程序员的工作量,缩减了开发周期。
其他文献
通过室内风洞模拟实验,研究了不同净风、挟沙风风速和沙面坡度条件下3种醋酸乙烯酯类固沙剂(WGS-3、WGS-4和CS-204)不同喷洒浓度时的土壤风蚀控制效果。研究结果表明:3种固沙
乡村振兴视域下,各地农村正逐步加快人才、产业、文化、生态和组织方面的建设与发展。在产业方面,为助力村户、村集体实现农产品外销以及提升品牌知名度,农产品电商得到了快
基层动物防疫检疫工作不仅关乎动物疫病的预防,而且对于确保民众食品安全、促进畜牧业发展意义重大。本文介绍基层动物防疫检疫工作存在防疫检疫机制不健全、相关设备不完善
《关中平原城市群发展规划》(以下简称《规划》)的一个重大亮点就是将绿色发展理念贯穿规划始终,充分体现了新型城市群建设的生态文明意蕴,为城市群发展实现追赶超越增添了绿色动
报纸
[目的/意义]研究信息偶遇过程的影响因素,以期提高用户信息获取效率。[方法/过程]调研信息查询过程信息偶遇相关文献,分析信息用户、信息特征、信息环境对信息偶遇的影响,构
新一轮的语文课改不仅倡导改变教育理念,还要改变教育方法,以适应新时代对教育的要求。近年来传统文化的传承与弘扬备受学者和教育者关注,而如何更好地传承和弘扬传统文化是目前语文教育需要解决的一大难题。我国已经有几千年的语文教育史,在发展中积累了丰富的教学经验。在语文教学中如何继承优秀传统语文教育经验、如何有效提升学生的语文素养,在语文教学中如何将人文性与工具性相统一,成为重要的研究课题。笔者从中学古诗词