论文部分内容阅读
互联网广告经过多年的发展,已经取得了非常显著的成绩。互联网广告可以帮助广告主收集广告投放的效果,比如潜在客户群体和用户实际参与行为。伴随着手机端App的迅猛发展和迅速推进,传统的PC端互联网广告,比如百度搜索广告以及一些网站媒体的合约广告等,逐渐被移动端互联网广告所取代。由于网易新闻客户端每天都会产生海量的广告日志数据,这为广告数据的分析带来巨大的挑战,仅靠现有借助文本去分析和处理数据,分析过程耗时且分析不全面是常见的问题。因此需要设计一款广告数据分析系统来对现有的信息流广告日志进行分析和处理,以支持日趋增长的广告业务需求,并为广告投放提供可参考的数据依据。本文通过对移动互联网广告手机应用的发展进行分析,并结合网易新闻信息流广告业务的背景,得出了广告数据分析系统的功能和非功能需求。广告数据分析系统的功能需求主要包含日志管理,数据信息处理和数据统计分析,功能需求分析主要是通过用例图来对广告数据分析系统进行需求建模。非功能需求包含系统的安全性和性能要求,广告数据分析系统很重要的一个性能要求是实现数据的实时和快速查询,Druid作为大数据查询引擎的典型代表,其对原始数据采用高度压缩和预聚合的方式,能够实现亿级数据的秒级查询,从而成为工业界对OLAP进行数据分析和查询的重要选择。在功能和非功能的基础上得出广告数据分析系统的架构设计,架构设计包含在技术架构上使用了Hadoop,Spark和Druid等大数据技术,并在架构设计的基础上得出了广告数据分析系统的具体实现过程。广告数据分析系统的架构设计主要是从总体设计,架构设计包含业务层次架构设计以及整体架构设计,系统功能模块设计以及系统各个功能子模块角度进行详细探讨,系统的数据库设计主要使用Hive存储,给出表中每个字段的含义以及表与表之间的关系。在广告数据分析系统的设计与实现过程中,根据功能模块的定义结合业务需求使用类图和时序图对广告数据分析系统进行了设计与实现。最后,对广告数据分析系统进行测试验证。在测试部分,首先给出了广告数据分析系统在测试时需要的硬件环境和软件环境,结合测试环境给出了系统的功能测试和非功能测试,功能测试是通过测试用例验证实际功能模块效果,并结合前端界面给出了实际广告数据分析系统的页面原型。非功能测试主要是在性能和安全性方面对广告数据分析系统进行验证。通过实际测试,确认广告数据分析系统基本满足实际功能和性能要求。