随着时代发展,各种服务功能的出现使得数据呈现爆炸式的增长,而这些数据中往往含有较大的经济价值。为了对这些大量数据加以利用,分析挖掘其中知识作为决策支持,使得市场各界对于数据分析的需求日益增长。而传统数据库的查询执行方式渐渐不能满足人们的数据分析需求。传统的分布式数据库大多采取“先计划再执行”的方式进行查询优化,这种完全依赖于统计数据和优化器的模型,即使出现了较小的误差,在大量数据的情况下其代价也会放大数百倍。使得这一框架在大数据时代显得十分乏力。相比之下自适应查询系统将是一种更好的解决方案。在自适应查询系统中不再局限于传统的查询框架,而是将一个完整的计划切分为包含多个阶段的子计划,通过前一阶段执行过程中的真实数据对后一阶段的查询计划进行优化使得子计划生成和查询任务执行交叉进行,以此来解决优化器错误估计带来的问题,提高系统的健壮性和查询性能。本文通过使用自适应查询框架设计实现了一个更好的查询引擎。本文主要工作与创新如下:1.解决查询过程中数据倾斜:通过在查询任务执行时进行分布式随机抽样得到统计信息,使用该信息对数据进行重分区,平衡各节点工作压力。2.优化常规自适应查询系统中的重优化流程:引入新的代价估计方法,提出最优子计划有效范围这一概念,使用牛顿迭代法增加不同物理算子有效范围求解的灵活性。通过提前计算存储每个物理算子的有效范围加快重优化的执行速度。3.改善join连接顺序错误造成的系统性能下降:增加对于数据的预join操作,在计划执行时通过维度表生成的过滤器在join操作前对事实表进行过滤,弥补常规自适应查询不能修改逻辑计划的缺憾,使得较差的join连接顺序也能产生接近最优的执行效果,增加系统的鲁棒性。4.提高查询任务并行度:传统基于计划的分布式数据库,更多关注各个查询任务之间的并行度,而未关注单个查询语句的子任务并行度,它们一般按照执行的逻辑顺序将计划切分为各个阶段,但并没有区分主线任务和支线任务。而在面向数据分析的场景下,单个任务执行时就需要耗费很长时间。本系统将对计划进行更细的逻辑划分,拆分出支线任务并发执行以提高单个查询的并发度。