论文部分内容阅读
物联网技术的发展,为人们的生活带来了极大的便利。其中,高铁、普通列车的购票方式也主要从线下改成线上。但购票方式网络化也带来黄牛等违法倒卖车票的行为大量出现,黄牛凭借优于普通用户的购票技术条件,大量抢票囤票,影响了广大普通用户的出行,票务系统中迫切需要对刷票行为进行反制。此外,目前的计算分析系统往往功能较为单一,票务系统中需要计算的业务却越来越多,新算法出现后需要现有系统能够快速对接使用,旧算法也需要不断升级替换,因此在实现反刷票目标的前提下,需要计算分析系统有高度扩展能力以应对更多挑战。为反制黄牛刷票行为与解决现有计算系统面临的业务多样性挑战,本课题立足于反黄牛这一具体业务需求,以提高系统扩展性为技术指标,提供一种智能车站票务系统的计算分析系统设计并进行实现。本计算系统主要完成工作如下:1.分析黄牛刷票方法,设计了一套结合用户历史行为分析、实时在线分析于一体的反刷票机制,并通过使用K均值聚类和决策树模型,结合大数据实时计算技术和后端技术完成了工程实现,实现了对票务系统中黄牛刷票行为的实时辨识与反制。2.设计开发票务系统的AI算法服务模块。使用Django+Sk Learn开发实现AI算法库以及远程RPC调用服务,实现了常用算法、自定义算法(.py格式)的存储以及通过网络请求提供计算服务的功能,使得本系统具有AI算法计算上的高度扩展能力。3.设计开发票务系统分布式实时计算服务模块。为了满足系统高实时性需求,使用了Flink计算引擎+Yarn+Scala作为基础技术。在购票窗口期间,通过此计算模块拉取数据实现行为分析等各种业务计算功能,是实时计算分析系统实现大流量、高并发下可靠低延时计算的关键功能模块。4.设计开发购票请求排队分发模块,配合实时计算模块,实现不同优先级用户的区别处理方法,从而使得刷票用户的购票请求被延后处理,实现对刷票用户的惩罚。本设计开发完成后,经过各项单元测试、集成测试,验证了各个模块的软件可靠性、稳定性,系统功能整体达到预期效果。本系统可很好地解决第一批次放票以及黄牛自身也利用大量用户账号也进行候补购票的问题,配合已有的候补购票系统,可以强有力地应对票务系统中存在的刷票行为。