基于日志差量提取和消息队列的SaaS平台数据交换技术研究

来源 :西南交通大学 | 被引量 : 0次 | 上传用户:haifeng_liu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着SaaS (Software as a Service,软件即服务)技术的不断成熟,基于SaaS平台和企业内部信息化系统的混合架构方案得到了越来越多的应用。SaaS平台连接各协作企业,解决了产业链企业间“数据孤岛”问题,增加了企业间信息的透明度,从而让整个企业集群更加高效和稳定地运转。对于面向产业链的SaaS平台而言,面向租户定制的数据交换适配器是实现产业链企业间协同的关键技术之一。与传统的数据交换适配器相比,SaaS平台数据交换适配器具有以下特征:一是由于SaaS平台的租户不断变动,因此数据交换系统需要提供多租户数据内外部集成应用需求;二是SaaS平台与各企业内部系统的数据交换内容各不相同,所以数据交换系统需要提供可视化的配置界面解决企业内部系统的异构性;三是SaaS平台是一个不间断运行的整体,数据交换系统应该要保证数据交换的事务性;四是SaaS平台中进行转移的数据都是协作企业的销售售后等关键信息,为了保证协作企业的利益以及促进协同平台的推广,需要保证在数据传输过程中的安全性。本文对SaaS平台的数据交换系统的特征进行了分析,对原有SaaS平台的数据交换存在的问题进行了剖析,开展了面向SaaS的数据交换架构和关键技术的研究,主要的研究内容包括:(1)在租户身份和关键字驱动的原数据交换方案的基础上,提出了面向SaaS平台的基于事务日志差量数据提取和基于消息队列的数据交换改进方案;(2)开展了基于事务日志差量数据提取和基于消息队列的数据交换关键技术研究,提出了基于非对称加密和使用设备硬件编码与USBKey的安全性租户身份认证方法、基于数据库日志的差量数据提取方法、基于ZeroMQ消息队列作为数据传输的载体的数据传输方法,以及针对同质异构RDBMS系统的异构数据匹配方法,并对实现算法进行了设计;(3)在关键技术方案的基础上,设计了使用消息队列作为数据传输载体的数据交换适配器结构和租户数据交换配置元数据文件结构,同时开发了元数据解析和元数据驱动的数据交换适配器引擎,对其中身份认证、差量数据提取、数据传输等功能进行了开发和实现,以及对非结构化数据的交换方式进行了研究,完成了图片数据的交换。(4)开展了租户数据交换适配器的测试,对其在数据交换过程中的传输效率,传输稳定性,传输安全性,以及可配置性进行了测试。
其他文献
随着互联网的迅速普及,Web上的垃圾网页也逐渐增多,这极大的影响了搜索引擎的精度和效率,如何识别垃圾网页已经成为互联网搜索所面临的最严峻的挑战之一。通过对垃圾网页深入
近年来,车载自组网(VehicleAd Hoc Network,简称VANET)引起世界各国政府、学术界以及工业界的广泛关注。交通安全信息传输是车载自组网中一种重要的应用。许多交通安全应用需要交
卷积神经网络用于图像识别分类是深度学习中有关图像处理的一个重要应用,卷积神经网络一个比较显著的优点是能够直接使用图像进行卷积操作,并从图像的像素中提取图像的特征,而且
中国是一个发展中的大国家,采矿业一直是其非常重要的一个行业。但是其中的采矿效率低下,矿工人身安全难以保证等问题一直难以解决。近些年,人们提出了数字矿山的概念,数字矿山主
知识是人类智能的载体和体现形式。对人类智能的研究就是对知识的探索和发现。知识的不确定性,导致了不确定性人工智能的研究。不确定性知识的表示和处理是不确定性人工智能研
语义Web不精确本体作为支持语义Web实际运行的知识库,定义了领域内共同认可的知识,反映了人类对客观世界认知的不精确性特征。   语义Web不精确本体的研究主要沿着模糊性
在异常检测技术中,采用系统调用作为训练数据的方法目前受到了广泛的关注,其基本思想是通过分析系统调用是否出现异常来判断整个计算机系统是否出现异常。具体过程是先对正常的
生物监测技术是用生物评价技术和方法对环境中某一生物系统的质量和状况进行测定,已被广泛应用于水质安全预警与水质监测系统中,其通过水生指示物的生理特征和行为反应来对水体
随着人类基因组计划的顺利完成,越来越多的DNA序列和蛋白质序列被测定出来,单纯的生物实验已经无法填补大量序列信息与严重不足的蛋白质功能注释之间的空隙,而且既耗时,成本又高,
在对神经网络进行训练的过程中,梯度算法被应用得最广泛。本文主要针对Pi-Sigma、递归Pi-Sigma和Ridge Polynomial神经网络这几种不同的高阶神经网络,分析各自算法的收敛性、