论文部分内容阅读
随着大数据、云计算等为代表的新兴技术的快速发展和广泛应用,业务应用场景对信息系统的用户体验、响应速度、智能化程度都提出了更高的要求,基于业务数据的传统批处理及分析技术已不能满足基于实时的、内外部结构化和非结构化数据的统计分析需求。银行迫切需要采集与电子银行用户相关的交易数据和行为数据,并将其进行清洗、整合和分析,用数据驱动业务创新,提升银行在客户营销、风险管控、产品优化、用户体验等方面的竞争力。本文的主要贡献是采集和整合电子银行用户行为数据和交易数据,并基于大数据技术构建用户分析系统,为电子银行运营和基于用户行为的应用提供基础数据。用户分析系统利用Transwarp Hadoop企业版本构建大数据基础平台,并综合采用实时处理与批量处理两种处理模式满足不同应用场景的需求。采用移动互联网技术方案通过嵌入式代码从电子银行采集用户的浏览信息、事件信息等用户行为相关的日志数据,从而获取用户的设备信息、用户喜好、用户使用习惯等信息,通过Flume实时采集日志数据并发送到Kafka消息队列,再通过实时流SQL计算电子银行运营指标进行分析;通过批处理模式分析用户使用间隔,用户使用时长,用户常用功能,用户活跃情况等信息。本文从软件工程领域角度,阐述了需求分析、概要设计、详细设计、系统实施、系统测试等相关的工程活动。本文的创新之处在于通过对电子银行用户行为数据和交易数据的分析和应用提升业务价值。首先实现了电子银行运营情况实时分析,帮助业务部门进行电子银行流程和功能优化,提升用户体验;其次丰富了用户基础数据,完善了与用户行为相关的标签,满足了基于内外部历史数据的用户活跃度,用户偏好等分析需求,为客户管理、营销管理、风险管理和产品创新提供更加全面的数据支撑。