论文部分内容阅读
大数据如今已经成为了热门话题。不仅仅是各种电商平台通过对用户的大数据行为分析从而准确的推送目标商品,还有2020年初新冠疫情的爆发各种大数据平台给那些关心疫情的人们实时的通报目前疫情的情况,这些场景的大数据应用让越来越多的行业希望能够利用大数据对本行业作出更多的贡献。在目前高校教育“新工科”的背景中,实验教学改革是重中之重,其中针对学生实验质量评价体系不够全面的问题,大数据就可以发挥它的作用,帮助授课老师全面、多维度的评价一个学生的实验质量。论文针对基于FPGA芯片的应用电路设备设计了一种大数据收集分析的平台,该平台以教学FPGA开发板为应用对象,对学生在FPGA上一些使用日志等数据进行收集,通过大数据框架进行分析计算描绘出学生的使用“画像”,该“画像”反映了学生在FPGA进行实验的一些情况,利用该平台可以辅助老师了解每个学生对FPGA实验课程的学习情况,从而多角度的对学生实验质量进行评价。该平台的设计内容主要包括三个部分:第一个如何实现每个学生手中的FPGA的数据采集并且能将采集的数据发送给平台;第二如何高效的对这些数据进行分析计算任务;第三如何将分析的结果清晰、有效的展示给用户,为完成这些内容论文做了如下工作:(1)为FPGA开发板设计一个数据采集模块,该采集模块可对FPGA的一些关键数据进行采集,并可以通过网络通信技术实现采集模块和平台间的数据传输。(2)调研目前常用的大数据框架,制定了Hadoop和Spark的技术选型,并对Hadoop在本课题上应用的一些不足进行了优化。利用蚁群算法在求解组合优化问题上的高效结合Hadoop调度自身的特点,提出了用蚁群算法改进Hadoop任务调度的优化方案,提高任务调度的效率,更高效的进行数据分析任务,缩短整个平台的响应时间。(3)构建FPGA大数据可视化平台,从项目需求、功能设计、系统模块设计等方面对平台的实现进行了详细描述。(4)进行系统测试,验证了蚁群调度算法对设计平台性能优化效果、实现了所有的目标功能,达到了课题预期的设计要求。