论文部分内容阅读
随着社会的不断进步,信息技术的不断发展,物联网、云计算和大数据等技术的不断完善,高校数字校园乃至智慧校园工程的持续建设,以及上层应用系统的不断增加,校园信息化环境中积累的数据也在迅速膨胀,已经初步形成了一个典型的校园大数据环境。传统的管理理念和管理方法无法满足日益增长的数据处理需求,如何对校园数据进行高效的管理和实现数据共享,是当今校园建设所面临的急需解决的问题。本文采用主流的Hadoop框架对校园环境产生的大规模数据进行存储和分析,研究了Hadoop技术在教育信息化领域的应用,研究形成基于Hadoop技术的高校学生行为分析系统的总体架构,研究形成高校学生行为分析系统的数据采集框架和算法,研究基于Hadoop技术的高校学生行为分析系统的功能架构和关键算法。完成了校园异构数据的分布式存储和处理,实现了校园数据的深入挖掘和分析。分析了科研数据,辅助及时关注学校科研动态,更好的指导科研发展方向。分析教师数据,辅助及时把握教学近况,合理指导教学方案的制定。进而分析学生数据,辅助及时掌握学生的行为动态,并对重点学生的行为发展进行预判。论文完成了基于Hadoop技术的高校学生行为分析系统的设计与实现,系统首先采用HDFS分布式文件系统完成对数据的采集、处理和存储,然后采用MapReduce编程模型对各个专题编写分析算法,进而对数据进行数据挖掘和智能分析,最后在此基础之上基于JAVAWEB并采用主流的SSH架构完成相关模块的开发,同时对分析结果进行图形化直观展示。本文中的系统,在北京邮电大学校园环境中进行了部署实施,测试结果得到了初步验证,并取得了一定的成果。