社保联网审计中增量数据分布式处理的研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:kevendong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着互联网和分布式计算的发展,海量数据处理的性能有了很大提升。在许多应用领域中,都需要从海量数据中提取出增量数据来满足某种业务需求,尤其是对于不断更新的源数据,往往需要定时抽取出增量数据。在目前和将来的研发中,如何快速的识别出增量数据,并进行提取、存储以及传输,将逐渐成为国内外学者关注的研究方向之一。在社会保障联网审计中,需要提取出增量数据来做为审计预警系统的源数据。增量数据的识别与提取技术是实现整个系统的关键技术之一。本文介绍了分布式系统的发展、负载均衡策略和国内外对于增量数据识别技术的研究情况,给出了基于分布式处理的增量数据处理方案,对增量数据分布式处理的数据分割、数据分配、增量识别以及数据回收等过程进行了研究,为了提高处理效率还设计了负载平衡策略,结合多线程技术进行实现,并做了性能分析和系统设计。最后,以某省的审计数据作为实验数据,在该省审计厅的曙光机群的基础上搭建了平台,并进行了仿真实验,性能测试表明该方法基本满足了联网审计业务的功能要求,完成了较高效的增量数据识别工作,审计工作的时效性得到了提高。
其他文献
随着移动通信、无线网络和视频技术的发展,出现了诸如无线PC相机、移动视频电话及无线传感器网络等一些新的视频应用,这些新的应用需要低功耗、低复杂度的编码设备。然而,传
Web服务为企业IT体系结构带来互操作性、灵活性和复用性,改变了商业伙伴之间的合作方式,使企业能通过服务组合来共享资源,自动化商业流程。Web服务组合问题近年来成为研究热
随着嵌入式技术的发展,外部硬件设备的价格逐渐下降,嵌入式系统存储能力迅速提高,应用中出现了越来越复杂的数据资源需要管理。如何有效地管理数据成为嵌入式系统开发中的重
自从20世纪60年代MRP(物料需求计划)在美国出现到现在,以物流技术为主的供应管理系统也日趋成熟。但随着市场竞争的加剧,使得企业也不得不跟随市场的需求变化而变。如何在当
企业服务总线(Enterprise Service Bus, ESB)支持异构环境中的服务、消息以及基于事件的交互。Web服务客户端为企业服务总线中集成的服务调用提供了一种能力。然而,现有的Web
传统的计算机体系结构中,运算单元一般可以分为两类:一类是通用处理单元,该类运算单元依循特定指令集,通过软件编程方式进行运算,其特点是通用性强但性能不高;第二类是采用ASIC
遗传算法是一种基于概率导向的随机搜索算法,已被成功地应用到多种学习任务和最优化问题中。对于遗传算法,策略(包括算法流程、算子及其控制参数)的设计和选择至关重要,会对
随着语义Web技术的标准化,关联数据在各领域得到广泛推广和应用,使得关联数据的发布达到空前规模,这导致了关联数据的存储和传输难度增大。通过压缩技术减小关联数据体积的方
图像的超分辨率重建是指从相同场景的单幅或多幅低分辨率图像中重构出一幅包含更丰富细节的高分辨率图像的技术。这一技术突破了硬件成像系统的限制,经济且有效地提高了图像
当今的大数据应用往往具有一个共同的特点,同样的计算往往在不断变化的数据上重复执行,例如社交网络数据和网页数据。在这些应用中只是少量数据发生改变,如果重新计算则工作