【摘 要】
：
分布式计算集群Spark宽依赖并行度取决于用户设定参数,对于不同的作业类型或数据集,硬编码的并行度参数设定难以发挥集群的最大计算能效。针对这一问题,首先对Spark作业执行
【机 构】
：
广东金融学院互联网金融与信息工程学院,新疆大学信息科学与工程学院,新疆财经大学统计与信息学院
【基金项目】
：
新疆维吾尔自治区自然科学基金(2017D01A20).
论文部分内容阅读
分布式计算集群Spark宽依赖并行度取决于用户设定参数,对于不同的作业类型或数据集,硬编码的并行度参数设定难以发挥集群的最大计算能效。针对这一问题,首先对Spark作业执行方式进行深入分析,建立作业调度模型,提出宽依赖计算代价、资源空置率和溢写概率的定义;然后分析任务并行度对作业执行时间的影响,证明并行度取值具有合理区间,提出并行度推断算法的优化目标。最后根据模型定义进行目标求解,设计批处理内存计算框架的并行度推断算法(parallelismdeduction algorithm, PDA),通过构建的数
其他文献
重庆市涪陵李渡私营经济示范区面积91.7km2.2002年开始启动实施退耕还林工程.介绍了在工程实施中的主要做法和措施.提出了在工程实施中需解决的林粮间作、造林管护、林种比例
电子商务的发展为我国企业发展和竞争提供了很好的机会和平台，如何成功的开展电子商务越来越成为企业赢得未来的关键。文章就我国企业电子商务发展面临的问题以及解决的方法作
我国日益严峻的人口老龄化趋势,使得老年人智能服装的研究与发展获得了更多人的关注,并成为未来服装工业的发展趋势之一。本文通过调研和技术数据实验,对老年人智能服装的发
考试作弊是职业学校一种常见的行为。文章选择个案,对一个屡次作弊的学生,采用访谈法和观察法,分析其考试作弊行为的成因,并运用一些策略对其进行了干预,使其明白了考试作弊
同构体系下组网雷达配置方式简单,抗欺骗式假目标算法单一。该文提出一种异构组网雷达系统抗欺骗式假目标方法,对于既包含两坐标雷达又包含三坐标雷达的异构组网雷达系统,首