【摘 要】
：
根据ERF数据的特点结合分布式框架Hadoop针对海量数据的计算优势,改进了网络数据的解析模式和数据存储模式,完成了ERF网络数据自动上传。根据XML文件解析多种类型的网络数据
【基金项目】
：
国家自然科学基金面上项目(61273053)资助
论文部分内容阅读
根据ERF数据的特点结合分布式框架Hadoop针对海量数据的计算优势,改进了网络数据的解析模式和数据存储模式,完成了ERF网络数据自动上传。根据XML文件解析多种类型的网络数据、HBase存储数据和HBase数据导入与数据查询的优化等一系列网络数据自动化处理工作。提出了一种新的MapReduce解析二进制数据的算法,该方案有效的解决了MapReduce读取和解析二进制数据的问题,在此基础上实现的海量网络数据处理系统,解析效率较高,数据库存储和查询数据的速度较快,系统自动化运行且稳定性强,有良好的应用前景。
其他文献
前段时间遇到一个有趣的朋友，生物专业，学问算不上好，当然，也算不上差。有趣之处在于，他几乎和我认识的所有生物专业的人的“死理性派”形象完全不同，堪称“伪科学铁粉”。他热衷于研究各类阴阳八卦、奇门遁甲，相较之下，生物倒像是奉父母之命娶回家的正房媳妇，不喜欢，但不得不放在心上。 他的理由很有意思：生命太复杂了，人根本弄不清楚。现在被当成真理传播的内容，过两年可能就被完全推翻了。阴阳八卦、奇门遁甲也是
ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技
现在我国一直在提倡可持续发展这一战略,为的是在经济快速发展的同时,人们也能够对身边的生态环境问题进行重视。今天本文所论述的问题是有关于农田水利工程与生态系统的协调
校内创业导师是高职组织实施创业教育的重要队伍,对其进行专业化培养是提升高职创业教育质量的关键。当前各高职院校在校内创业导师专业化培养过程中存在诸多短板,严重制约着
在本期《我要问专家》中，读者提了一个非常有趣的问题：在天文观测中，怎么区分不同距离的光线，又怎么测量天体的距离？ 这真是一个好问题。 国家天文馆的一位专家很细心、很严谨地为我们做了回答。我兴奋地把他的文章传给一位热切地想要知道答案的朋友看。可是，三分钟不到，他说：“我看不懂，也不想看懂了。” 我又仔细把文章看了一遍，才意识到，这篇文章对从未接触过天文的人来说，确实很难懂。他不知道什么是“造父
[目的]比较不同提取方法对洋葱中黄酮类物质的提取效果。[方法]采取热水浸提法、微波辅助冻融法、超声波法及乙醇溶液浸提法从新鲜洋葱和洋葱皮干粉中提取黄酮,用紫外分光光