【摘 要】
：
在千亿级大数据环境下,特征挖掘、实时处理、即席分析、离线计算等场景对计算、存储的性能要求非常高。基于传统的关系型数据库、分布式Hadoop平台实现的数据挖掘平台,无
【机 构】
：
中国科大-象形大数据商业智能联合实验室,安徽合肥,中国,230031
【出 处】
：
第15届中国系统仿真技术及其应用学术会议
论文部分内容阅读
在千亿级大数据环境下,特征挖掘、实时处理、即席分析、离线计算等场景对计算、存储的性能要求非常高。基于传统的关系型数据库、分布式Hadoop平台实现的数据挖掘平台,无法满足所有的计算场景的要求。鉴于此,本文介绍了基于内存迭代计算框架Spark,实现大数据环境下的可视化大数据挖掘平台。该平台不仅充分利用了内存计算,提高了迭代速度,而且支持各种分布式计算、存储场景,具有很强的扩展性,解决了大数据环境下各种计算场景问题。
其他文献
尾矿坝是由尾矿堆积碾压而成的坝体，主要用于堆存金属和非金属矿山进行矿石选别后排出的尾矿或工业废渣。一般情况下，坝体高度可达几十米甚至上百米。如此庞大的岩土体一旦溃坝
大数据是信息技术和计算方法迅速发展的必然产物.商业数据、科学数据和网页数据等促使数据的种类日益增多、规模呈爆炸式增长,大数据时代已经到来.大数据已成为继物力和人力
植物次生代谢产物是人类利用植物资源进行药物、农药等开发的重要物质基础,对植物体内化学成分及化合物活性的研究是合理利用这些资源的重要前提。本文研究了糖胶树叶非碱性成分和抗植物病原真菌活性化合物的筛选。1.糖胶树叶非碱性成分的研究:糖胶树[Alstonia scholaris (L.) R. Br.]叶是我国一些少数民族地区常用的止咳良药,用于痰热阻肺所致的咳嗽、咯痰,及慢性支气管炎,百日咳等症。有关