基表加扩展表多租户数据存储及数据迁移的研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:tastgaoyan1981
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
2006年微软公司提出基表加扩展表SaaS多租户数据存储模式,在该模式中使用基表存储租户的公共数据字段,数据处理效率较高;使用扩展表(键-值对)存储租户的扩展数据,由于在扩展数据访问过程中需要涉及元组重组操作,处理效率相对较低。在实际业务中,如果租户需要频繁的访问扩展数据而很少访问基表中的数据,那么基表效率高的优势将得不到利用。为充分使用基表效率高的优点,我们希望能将租户访问频率高的扩展数据存储到基表中。但是由于基表是在应用部署阶段创建,其模式在运行过程中是不可修改的,因此面临着基表中如何支持对不同租户扩展数据的存储的问题。针对此问题本文提出了一种支持数据迁移的基表加扩展表多租户数据存储模式,来实现基表对租户扩展数据的存储。随着云计算的发展,SaaS平台数据正在由单节点存储往云中多节点存储的转变。对于一个租户的数据可能需要分片存储到不同的数据节点上,所有的数据节点共享同一份元数据。在基于数据迁移的基表加扩展表数据存储模式的运行过程中需要进行数据迁移操作,为了维持数据迁移过程中数据的可持续性访问和一致性我们需要维持源存储模式和目标存储模式,这会对数据节点的存取性能产生一定的负面影响。如果在所有的数据节点上同步进行数据迁移操作,由于不同数据节点的负载不同,有的数据节点当前可能处于重负载状态,若强行进行数据迁移操作会使数据节点进入超负载状态,可能会影响租户的存取效率。此外所有数据节点共享同一份元数据,只有当所有的数据节点上数据迁移完成之后才可以修改元数据,即使有些数据节点上已经完成了数据迁移操作,也需要维持两个数据存储模式等待其他数据节点迁移的完成。我们应该避免在这段等待时间中产生的负面影响或避免这样的无效等待时间。针对此问题本文提出了支持数据迁移的多版本元数据技术。本文主要工作如下:(1)捉出了支持数据迁移的基表加扩展表多租户数据存储模式。通过在基表中添加一些预留字段,来实现基表对扩展数据的存储。针对不同租户的扩展数据建立统计模型和评估函数来识别哪些扩展数据是高频率访问的扩展数据以及这些数据中哪些可以迁移到基表中存储。并在该数据存储模式基础上定义动态数据迁移算法,实现数据迁移的过程,在迁移过程中通过维持源存储模式和目标存储模式来维持数据的可持续访问,通过对更新操作采用补偿策略维持两个数据存储模式中数据的一致性。(2)提出了在云中多数据节点上支持数据迁移的多版本元数据技术。设计并实现了支持多版本元数据技术的云中多租户数据存储框架和访问流程,使不同数据节点上同一租户的数据可以根据数据节点的负载状态独立异步的进行数据迁移操作,从而最小化同步数据迁移过程中的代价和负面影响,每个数据节点根据数据迁移的状态建立与其对应的元数据版本信息。在新的存储框架基础上提出了新的数据引擎来支撑多版本元数据技术的实现。
其他文献
云计算以其虚拟化、按需服务等特点吸引了越来越多的应用系统迁移到云上。但是,云平台底层基础设施的高度复杂性使得云数据中心会经受大量的故障,并降低云应用系统的可靠性。
语音分离包括人声与人声的分离、人声与噪声的分离,本文主要的研究工作是人声与噪声的分离,也称为语音增强。随着人工智能的日益发展,语音交互技术在现实生活的应用日益广泛,
基于图符的地球村语言——和,目前涉及到5707个图符,而随着即时通讯工具——和音的推广及语料库——和画的完善,用户及图符数量会持续增长,使得从海量的和画信息中找寻用户感
随着互联网用户的个性化需求和社区化生活方式的推广,Web2.0下的社会化标签系统迅速发展。为了更好的利用社会化标签系统,学者从不同的方面给予研究:标签标注模型、标签的可视
灰度图像颜色重建是图像处理和模式识别领域中一个活跃且具挑战性的研究课题和重要分支,近年来受到越来越多研究人员的广泛关注。目前,灰度图像颜色重建已成为黑白照片的着色
粗糙集理论的一项重要工作是对属性约简的研究。但属性约简是一个NP完全问题,在效率上存在缺陷。把信息论中的香农信息熵引入到粗糙集属性约简中,已经被证明是一种有效的属性约
近年来,在信息化浪潮的推动下,计算机网络得到了快速的发展,正在向整个社会的各个领域渗透。人们对网络依赖性越来越大,对网络应用的需求不断提高。各种网络服务不断涌出,用
电容层析成像(Electrical Capacitance Tomography,简称ECT)技术是基于电容敏感原理的电学层析成像技术,该技术以其价格低廉、非侵入、结构简单、响应快、无辐射等优点,近年来被
斜视一直都是社会关注的热点问题。斜视患者双眼不能够同时注视同一个物体。斜视患者通常还有双眼眼位不对称、阅读障碍、立体感很差、不能够准确的判断物体的位置和距离等严
当今社会,全球化已经成为城市发展的整体趋势,而实现城市信息化正是一个城市融入全球化浪潮所需的必要条件。随着互联网的普及,越来越多的用户通过网络来获取城市信息。因此,