基于Druid的广告数据分析系统的设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:sunny_cui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网广告经过多年的发展,已经取得了非常显著的成绩。互联网广告可以帮助广告主收集广告投放的效果,比如潜在客户群体和用户实际参与行为。伴随着手机端App的迅猛发展和迅速推进,传统的PC端互联网广告,比如百度搜索广告以及一些网站媒体的合约广告等,逐渐被移动端互联网广告所取代。由于网易新闻客户端每天都会产生海量的广告日志数据,这为广告数据的分析带来巨大的挑战,仅靠现有借助文本去分析和处理数据,分析过程耗时且分析不全面是常见的问题。因此需要设计一款广告数据分析系统来对现有的信息流广告日志进行分析和处理,以支持日趋增长的广告业务需求,并为广告投放提供可参考的数据依据。本文通过对移动互联网广告手机应用的发展进行分析,并结合网易新闻信息流广告业务的背景,得出了广告数据分析系统的功能和非功能需求。广告数据分析系统的功能需求主要包含日志管理,数据信息处理和数据统计分析,功能需求分析主要是通过用例图来对广告数据分析系统进行需求建模。非功能需求包含系统的安全性和性能要求,广告数据分析系统很重要的一个性能要求是实现数据的实时和快速查询,Druid作为大数据查询引擎的典型代表,其对原始数据采用高度压缩和预聚合的方式,能够实现亿级数据的秒级查询,从而成为工业界对OLAP进行数据分析和查询的重要选择。在功能和非功能的基础上得出广告数据分析系统的架构设计,架构设计包含在技术架构上使用了Hadoop,Spark和Druid等大数据技术,并在架构设计的基础上得出了广告数据分析系统的具体实现过程。广告数据分析系统的架构设计主要是从总体设计,架构设计包含业务层次架构设计以及整体架构设计,系统功能模块设计以及系统各个功能子模块角度进行详细探讨,系统的数据库设计主要使用Hive存储,给出表中每个字段的含义以及表与表之间的关系。在广告数据分析系统的设计与实现过程中,根据功能模块的定义结合业务需求使用类图和时序图对广告数据分析系统进行了设计与实现。最后,对广告数据分析系统进行测试验证。在测试部分,首先给出了广告数据分析系统在测试时需要的硬件环境和软件环境,结合测试环境给出了系统的功能测试和非功能测试,功能测试是通过测试用例验证实际功能模块效果,并结合前端界面给出了实际广告数据分析系统的页面原型。非功能测试主要是在性能和安全性方面对广告数据分析系统进行验证。通过实际测试,确认广告数据分析系统基本满足实际功能和性能要求。
其他文献
我国教学资源建设低水平重复的现象非常严重,资源庞大而无序,真正能够有效满足师生对日常教学资源需求的却十分难觅。本文拟提出一个由国家基础教育资源中心及省、市基础教育资
在跨文化传播过程中,传受双方通过利用符号进行"编码—解码"的活动来实现信息的传递,文化的差异会导致同一符号的所指大相径庭,从而影响传播效果,因此跨文化传播者作为不同文化
<正>6月13日,台湾2020地方领导人选举民进党内初选民调揭晓,现任台湾地区领导人蔡英文以大胜对手——前"行政院长"赖清德8.2个百分点强势出线,确定将代表民进党角逐2020选举,
“健身长拳”蕴含了丰富的攻防技击方法,本文对其中八式动作的防技法含义、要点及教学组织进行了立体化的诠释,并提出不可忽视武德教育、不可缺失情境教学、举足轻重分组合作
目的探讨快速外科康复理念在老年腹腔镜胆囊切除术患者围手术期护理中的应用效果。方法选取2018年1—12月医院收治的110例行腹腔镜胆囊切除术的老年患者作为研究研究,按照入
糖尿病酮症酸中毒(diabetic ketoacidosis,DKA)系内科常见急症,为糖尿病最常见并发症,与代谢紊乱、胰岛素缺乏有关,患者多起病急,病情变化速度快,且较危重,病死率在1%16%之间[1
文章介绍开发香菇炖鸡肉酱产品的理念是:利用香菇特殊天然风味和鸡肉营养有机的结合,使人们使用这一产品后,其营养价值得到更合理的体现,以改善目前的酱料类产品的膳食结构。文章
对复方抗生素在国内上市的现状进行分析并探讨开发的前提条件.我国目前有3种β-内酰胺酶抑制剂组方的7种复方类抗生素.阿莫西林钠舒巴坦钠、头孢哌酮舒巴坦钠、哌拉西林钠/他
采用双层平板法从婴儿粪便中筛选出一株对烟曲霉具有抑制作用的菌株,通过形态学、生理生化特性及16S rDNA序列同源性分析,鉴定该菌株为副干酪乳杆菌(Lactobacillus paracasei),
科研档案信息资源是科研院所的主要信息源之一,它对科研、生产具有其它信息无可替代的作用。本文从分析科研档案信息资源类型及其作用入手,针对目前科研档案信息资源开发利用现