对等计算系统中的相似查询处理研究

来源 :复旦大学 | 被引量 : 0次 | 上传用户:dongge5266
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对等计算(peer-to-peer computing,简称P2P)已经成为了计算机科学领域的研究热点。在对等计算系统中,每个节点都是完全自治的,拥有相同的责任,扮演着双重角色—既可以是客户机(服务消费者),也可以足服务器(服务提供者),而且任意一个节点都可以随意地加入或退出系统。因此,对等计算系统是一个完全动态的、没有任何集中控制的分布式系统。对等计算模型具有许多潜在的优势,如扩展性强、鲁棒性好、资源可用性高等特点,特别适用于具有地理分布、资源异构、扩展性要求高、局部自治等特征的分布式系统。因而,对等计算模型推动了“以主机为中心(host-centric)”的传统互联网向“以数据为中心(data-centric)”的未来互联网的发展,被学术界和工业界公认为是重构基于互联网应用的关键技术之一。虽然,学术界已经取得了不少对等计算环境下的查询处理研究成果,但仍然存在着许多有待研究与解决问题。本文研究了对等计算环境下的相似查询问题,探索了对等计算环境下的基于路由索引、数据空间划分、协作缓存和概率模型的相似查询处理技术,旨在为现有的对等计算系统提供基于语义或者相似度的查询处理功能。本文的主要贡献有如下四个方面:1.将多维数据空间中的相似查询处理(similarity search)技术引入到无结构(unstructured)对等计算系统中,利用近似向量(vector approximation)技术和路由索引(routing index)技术,为系统中的每个节点建立基于近似向量的路由索引,使得用户查询能够准确地路由到并且有效地查询拥有相关数据资源的节点,实现无结构对等计算系统中的相似查询处理。另外,利用无结构对等计算系统中的网络自配置(self-reconfiguration)特性,通过动态调整节点在网络中的位置,使得与相似查询相关的节点保持位置邻近,进一步提高了系统的查询处理性能。仿真实验表明,该方法对无结构对等计算环境下的相似查询处理非常有效。2.将数据空间划分(space partitioning)技术引入到结构化(structured)对等计算系统中,通过选定的代表点(reference point),将整个数据空间划分成没有任何重叠(overlap)的数据子空间。通过将代表点线性化,在节点、代表点和数据子空间三者之间建立起一一映射关系。利用传统的高维索引技术和基于分布式散列表(distributed hash table,或DHT)的资源查找和定位机制,使得高维数据空间中的相似查询处理在结构化对等计算系统上得以实现。此外,通过维护数据子空间之间的物理邻近(physical proximity)特征,降低了系统的查询路由代价;通过调整数据子空间的粒度,达到均衡系统负载(load balance)的目的。仿真实验表明,该方法能够有效地适应数据维度的增长和系统规模的扩展。3.针对关系查询处理,探索了基于协商(negotiation)的协作缓存技术(collaborative caching),提出了一种基于网络传输代价的查询代价模型,用于评价不同查询计划的执行代价。在对等计算环境下,一个查询计划的执行代价可以被分解为子查询计划的执行代价。结合代价模型,利用协调重叠网络(collaborative overlap network),通过查询请求节点(requester)和协调节点(coordinator)之间的协商,确定协作缓存的逻辑查询表达式和参与数据缓存的查询请求节点,实现了对等计算环境下的基于语义的查询处理。仿真和真实实验表明,该方法能够确定较优的数据缓存放置策略,降低系统的查询处理开销。尤其是在单个节点仅能贡献有限的存储资源的情况下,该方法的优势更为明显。4.针对基于主题(topic)的对等计算文件共享系统,研究了一种基于概率的相似查询处理技术。该技术的核心思想是利用概率模型(probabilistic model)描述共享主题之间的语义重叠度(overlap)以及节点对主题的信息覆盖度(coverage),为节点建立起概率路由信息。相似查询处理算法以每个节点已有的概率信息为基础,依据推导出的邻居节点对查询主题的覆盖度,决定主题查询的搜索路径。此外,利用查询反馈的信息,通过更新路由查询的节点上的概率信息,使得这些节点能够为将来的主题查询选择更准确的查询搜索路径。模拟实验表明,该方法能够利用基于自反馈的概率更新算法,逐步改善查询处理的效果,提高查询处理的效率。总之,本文详细地介绍了四种相似查询处理方法的算法设计与实现,以及测试结果。这些方法是对现有对等计算环境下的查询处理技术的有益补充和改进。本文的研究工作建立在对当前已有技术的详尽分析与理论研究,以及大量的实验测试的基础上。实验和分析表明,与当前对等计算环境下的查询处理技术相比,上述方法在查询效率和资源利用率等方面具有优势。
其他文献
目的探讨早期肠内免疫营养在胰腺癌患者术后快速康复中的应用。方法采用目的抽样法选择南通市平潮肿瘤医院肝胆外科2017年1~12月收治的80例胰腺癌患者为研究对象。采用随机数
对螺旋密封的工作机理及性能特点做了较为详细的论述,并通过对糠醛原料泵的改造试验,将螺旋密封成功地进行了实际的应用,大大降低了生产成本,有一定的实用价值
根据国家标准GB—2 888,采用邻近声场法 ,利用声级计、盒式磁带记录仪和频率分析仪对DH63型离心压缩机辐射噪声声功率级和噪声频谱图进行了测量 ,分析了该型压缩机的噪声频谱
目的探讨迷迭香酸联合槲皮素对人肝癌HepG2细胞增殖、侵袭力的影响,并探讨其可能的机制。方法以不同浓度迷迭香酸(12.5、25.0、50.0和100.0μmol/L)和槲皮素(12.5、25.0、50.
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
本文从湖南省衡阳县管桥小学乡村音乐支教的公益实践活动出发,以笔者一年的支教见闻展开视角,通过分析乡村学校音乐教育落后的现状及成因,并结合他人的实际案例,就教育改革和
随着计算网络规模的不断扩大和应用业务的日益丰富,拥塞控制在保证网络运行和服务质量方面的重要性持续增加,其主要由基于端到端的传输控制协议(Transmission Control Protoc
利用核酸检测技术,通过对牛乳初乳、成熟乳以及婴儿配方奶粉蛋白原料中核酸类物质进行检测,以分析不同泌乳期牛乳核酸类物质含量的变化,以及不同蛋白原料中核酸类物质的含量,
通过锡林浩特市空气自动站的监测对2016年锡林浩特市环境主要空气污染物二氧化硫、二氧化氮、可吸入颗粒物、细颗粒物、一氧化碳和臭氧的监测结果进行统计。根据统计结果对20