作为国家重要税种的增值税,在其发票开具和税务申报过程中,最能识别出企业的异常行为,因而对增值税发票的后续关联分析成为税务工作的重中之重。然而,传统的数据仓库模式,在面对税务海量数据面前,具有数据抽取时间长、计算难度大、形成的税务风险报告周期较长等特点,没法及时准确的对各种税务风险进行预警。为此,本文针对上述问题,将增值税发票的后续关联分析作为研究对象,基于大数据Hadoop系统架构,利用大数据的海量数据处理能力,对海量数据的存储、清洗、建模、并发计算及时效性等多态应用进行了深入的研究。主要内容和结果如下:研究了Hadoop集群下的数据挖掘算法,对分类算法、聚类、关联规则挖掘、参数估计、图分类及用户行为画像等相关挖掘算法的适用场景和使用方法进行了深入分析,并与涉税分析系统对应的分析指标、预警指标及用户行为进行了算法匹配,建立了基于大数据环境下的多维数据挖掘算法和计算思路,借助大数据集群高并发及内存计算等特点,有效地解决了数据抽取时间长,计算难度大等问题。研究了Hadoop的任务调度、内存分配及资源管理在YARN上的资源调配、数据共享、集群协同及任务监控,分析了可能出现的热点问题及数据倾斜问题并进行了规避,对关系型数据到Hadoop非结构化数据迁移工具Sqoop、数据流传输系统Flume、结构化数仓HIVE及高并发内存计算Spark等关键生态组件进行了研究,并与涉税系统进行了需求和功能方面融合,形成了基于数据层面的大数据挖掘方法,极大地改善了加工数据慢、数据不准确等问题,大幅缩减了形成税务风险报告的时间,比传统数据仓库模式提前了14天。研究了各涉税业务系统数据结构特点、用户行为特征及对应的风险因子,对数据之间的相关性、趋势性及差异性进行了梳理,建立了以纳说人登记序号为纽带的数据依赖关系,形成了以企业流为横向的上下游挖掘思路和以发票流为纵向的进销项挖掘思路,解决了异构系统之间数据关联性低、数据利用率低下等问题。