论文部分内容阅读
数字电视的逐步普及、终端设备的不断丰富,越来越多的用户选择交互式网络电视(Interactive Personality TV,IPTV)作为家庭互联网电视。IPTV为用户提供了直播、点播、游戏、会议等多样化的服务,数亿名用户在和IPTV交互过程中,产生了数量庞大的流量数据。为了帮助运营商了解用户体验,监控网络异常,优化CDN节点部署,需要对流量数据进行可视化分析。在大数据时代,数据可视化成为数据分析的重要一环,直接可视化存在可视化图形过于密集、可视化对象相互遮盖、GPU超负载,渲染卡顿的问题。本文设计并实现了基于IPTV的大数据可视化系统,通过大数据架构和轨迹聚类模型对原始数据进行聚类处理,并对处理后的数据集进行可视化展示,主要工作内容如下:1.针对数据量较大造成的图像过于密集、对象特征被隐藏、渲染卡顿的问题,提出基于参考中心的轨迹聚类算法TC-RC(Trajectory Clustering based on Reference Center)。该算法改进了轨迹聚类算法的轨迹间相似度公式并引入了参考中心的概念,使聚类结果更能代表整体运动趋势,有效降低了密度聚类算法的时间复杂度。2.基于大数据的可视化系统业务逻辑相对复杂,项目规模较大,存在页面渲染速度慢、前后端逻辑过耦合、可扩展性差的问题,针对以上问题论文提出了基于Node中间层的前端微服务架构。该架构利用Node中间层的逻辑处理能力,进行服务端渲染和请求代理,提高了页面渲染速度,借助single-SPA框架搭建前端微服务,增强了模块的独立性和组件的可复用性,开发效率显著提升。3.设计并实现了基于IPTV的大数据可视化系统,利用Hadoop分布式计算平台完成对海量数据的存储、计算和分析,通过B/S的方式对处理后的数据集进行可视化展示。