基于分布式全文检索的网络用户行为分析

来源 :华南农业大学 | 被引量 : 0次 | 上传用户:star2006111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
经过了二十多年的持续发展,校园网已成为承载教学、科研和生活的方方面面的基础性设施。随着移动互联网技术的快速发展,校园网近年也开始向无线校园网扩张。这一发展首先表现在上网设备激增,每位用户拥有智能手机、平板电脑、笔记本电脑、台式电脑等多个上网设备。其次,上网地点,除了原来的宿舍、实验室和办公室等传统固定地点,还包括教学楼、图书馆、学生活动中心、食堂、校园超市和体育馆等所有校园公共场所。数万用户、上万个有线无线接入设备、频繁的网络漫游、实名制网络认证、异常网络使用等,使得高校用户上网认证相关数据已成为具有数量大(Volume)、时效性高(Velocity)、种类来源多样化(Varity)、价值密度低(Value)的典型4V特征的大数据。对这些数据进行处理、分析挖掘的成果可应用于校园网维护、优化校园网配置、指导校园网规划和后期发展等方面,因此具有重要意义。本文给出一种基于分布式全文检索的大数据存储与分析框架,对某高校的海量上网认证相关信息进行管理分析,挖掘用户上网行为模式,分析了网络用户线路故障、终端故障、异常认证登录、非法网络共享等上网行为。框架分为大数据构建、数据分析、数据展示三个模块。大数据构建模块实现了校园网上网认证、网络设备日志等源数据的抽取、清洗、转换和加载等功能,使用Elasticsearch集群对各类数据进行分片索引,形成校园网认证大数据,建立全文索引,提高数据查询效率。数据分析模块给出用户上网行为规则。根据用户上网行为规则将用户查询需求定义为查询规则,并给出查询规则的实现算法,实现了规则管理和数据查询分析功能。数据展示模块通过接口获取大数据的分析结果,并对分析结果以图表地图等方式展示。作为本论文数据展示模块的实例,设计并实现了一个面向校园网维护的网络行为分析系统原型,用于发现校园网运行状态、疑似设备异常、疑似盗号和密码错误等异常上网行为,以提高网络维护工作效率。实验证明,本论文的工作对校园网维护可提供直接支持,并可为校园网发展、规划等提供决策支持。
其他文献
市场分析机构TSR指出,2009年市场销售的采用互补金属氧化物半导体(CMOS)图像传感器的数码相机(DSC)不到400万部,仅占总销售额的3%(注1)。其余的97%都是采用电荷耦合器件(CCD)
本文对市政工程施工管理过程中出现的问题进行浅析,目的在于提高市场工程的质量安全,实现整个社会经济的平稳运行。
民以食为天,食以安为先。作为人们繁衍生息的物质基础,食品历来备受关注。尤其在近几年我国改革开放持续深入、食品工业迅速繁荣的大背景下,如何保障食品安全,开始成为各级政府与民众关心的核心问题。食品安全监管指的就是国家相关职能部门为确保食品在其生产、流通、餐饮三个环节过程中的安全性时,所行使的监督与管理的职责。其中,对餐饮环节的食品安全监管有着难度大、工作量重、问题易发生等特点,因此是各地市场监督管理部
随着当前中国综合国力的提升,中国在世界舞台上的角色也越来越重要。但是与中国超级的经济地位不相匹配的是文化软实力以及传播力的落后,因为中国在世界舞台上缺少较强的话语权,中国的形象总是受到西方主流媒体的抹黑。为了摆脱这一困境,国家主席习近平同志提出要向国际社会“讲好中国故事”的要求。而新闻媒体是组成这一讲述主体的重要部分。在没有任何先前经验的借鉴之下,《中国日报》的“Second Thought”专栏
本文研究清初遗民诗学,以诗情观与诗史观为中心,以诗法与批评为重心,探讨“遗民意识”影响下的清初遗民诗学与元初遗民诗学、民初遗民诗学、明代诗学及清代诗学发展之承继关
十九大报告中,“提高保障和改善民生水平,加强和创新社会治理”部分,已明确强调现阶段实施“健康中国”战略。这一战略体现了大健康理念,要求公立医院在以公益性为发展导向的
乡土文化作为中华民族优秀文化的根基和个体生命成长的源头,是个体成长及其适应未来社会的重要知识储备,但是其在城镇化进程中逐渐淡出人们的视野甚至受到轻视。为防止乡土文
<正>睡眠障碍即睡眠剥夺,是指睡眠量不正常以及睡眠中出现异常行为的表现[1]。由于频繁觉醒和被唤醒,ICU患者具有严重的睡眠障碍问题[2],这种睡眠障碍甚至持续到出院3个月后[
随着明末清初西学东渐和中学西传的第一波浪潮之后,晚清以来再度掀起了第二波通过翻译传播西学的热潮,在这一创建新文化的事业中,中文《圣经》翻译是一座重要的桥梁。20世纪
本文研究以阿克塞哈萨克族社会生活的历时性变迁为个案,以新中国68年纵向时间轴为研究基础,运用观察法、深度访谈、定量研究等混合研究方法,同时深入3户具有典型意义的哈萨克