【摘 要】
:
随着信息化进程的不断推进及计算机技术的快速发展,钢铁企业的“大数据”时代已经到来,如何有效开发和利用大数据潜在的价值,是钢铁企业实现转型升级和战略突破的重要途径。然而受限于传统存储模式的数据结构单一、存储容量小、计算速度慢、容错恢复能力差等问题,使得大数据的存储和计算成为瓶颈,严重制约了大数据的应用。而Hadoop的出现,给这一难题的解决提供了思路,Hadoop提供强大的分布式存储与并行计算,能够
论文部分内容阅读
随着信息化进程的不断推进及计算机技术的快速发展,钢铁企业的“大数据”时代已经到来,如何有效开发和利用大数据潜在的价值,是钢铁企业实现转型升级和战略突破的重要途径。然而受限于传统存储模式的数据结构单一、存储容量小、计算速度慢、容错恢复能力差等问题,使得大数据的存储和计算成为瓶颈,严重制约了大数据的应用。而Hadoop的出现,给这一难题的解决提供了思路,Hadoop提供强大的分布式存储与并行计算,能够解决PB级数据的存储与计算难题。因此,如何利用Hadoop建设钢铁企业大数据平台,已经成为钢铁企业信息化深入改革的热点研究方向。本文以国家自然基金重点项目“炼钢-连铸流程生产调度与过程控制协调优化模块化方法及应用”为研究背景,以福建某钢厂炼钢-连铸信息平台的实际搭建为研究基础,以Hadoop大数据在钢铁企业中的实际应用为研究方向,从平台的整体架构、模块化设计、平台的性能优化以及基于平台的数据分析四个方面来完成了信息平台的设计与实现,重点研究解决了大数据的存储和计算问题,实现了 Hadoop技术在钢铁信息化建设中的应用探索。本文主要完成如下工作:(1)结合协调优化系统和炼钢-连铸生产流程分析,确定信息平台的基本需求,设计了信息平台整体架构。针对信息平台实时交互和海量存储的需求,分析了传统数据库与Hadoop两种解决方案的优劣势,提出了一种基于MYSQL和Hadoop的混合架构方案,解决了单一存储方案的缺陷性问题。(2)对信息平台的数据交互和数据存储两个核心功能模块进行了详细的分析与设计。结合优化原理与工艺环节,设计了数据交互的数据模型和接口方案;结合炼钢-连铸生产数据的应用特点,提出了一种基于HBase的存储方案,并针对HBase在非主键查询时性能低下的问题,提出了基于Coprocessor的二级索引实现方案,经验证建立二级索引后对非主键列的查询性能提高了 80%以上。(3)对信息平台进行了缺陷分析和优化设计。针对信息平台的单点故障问题,提出了一种基于Backup NameNode的“热备份”解决方案,并验证了方案的有效性。针对信息平台的写入高延时问题,分析了 Hadoop默认存储策略存在的局限性,提出了一种改进的放置副本策略,经验证,改进后的存储策略使写入延时降低了约41.2%。(4)以信息平台为基础,以精炼月均耗电量统计和连铸中心偏析预测为例,研究了针对海量数据的数据挖掘算法。针对传统算法的耗时长、精度低问题,利用Hadoop的MapReduce框架对算法进行了并行优化。经验证,优化后算法的在标准集上准确率提高了约4.7%。在连铸中心偏析预测的实际应用中,提高了预测准确率约11.4%,缩短了运行时间约58%,准确率和运行效率都得到了大幅度的提升。(5)最后,基于本文提出的总体架构、各个功能模块的设计方案及对相关数据分析算法的优化方案,对信息平台在实验室环境下进行了系统实现与功能测试,经验证,本文所搭建的信息平台能够满足需求,运行良好。最后分别从数据存储、数据读写和数据分析三方面对信息平台进行性能测试,经测试,由于Hadoop的引入,使得信息平台在数据存储容量、数据访问速度以及数据计算能力等各方面性能都得到了极大的提升。
其他文献
热轧无缝钢管作为热轧钢材中不可替代的重要分支,广泛地应用于船舶制造、油气输送等领域。由于热轧无缝钢管整个变形过程需要在高温下完成,无法采用控制轧制细化奥氏体晶粒,导致其冷却至室温后产生粗大的相变组织,严重恶化钢管的综合力学性能。目前国内外大部分研究集中于钢管的在线热处理以及控制冷却技术的开发,而这两种方法对钢管组织细化的能力有限。因此本研究提出了氧化物冶金+控制冷却的方法,拟通过添加高温下稳定的氧
耗材摩擦焊是一种利用摩擦热使得消耗极材料处于热粘塑性状态来实现焊接/焊敷的先进绿色加工技术,这种焊接方法具有低能耗、无污染、高效率等优点。采用耗材摩擦焊接技术能够获得基本无稀释,结合完整性极高的焊敷层,并且具有优异的耐磨性和耐腐蚀性,在局部表面工程中有着越来越广泛的应用。传统耗材摩擦焊能量输入形式单一,主要依靠耗材棒与基板之间的摩擦产热与塑性变形产热来软化材料实现焊接。在对高强度钛合金、铝合金、镁
全固态电池是一种新型的二次电池,能有效解决传统电池存在电解液泄露而产生的安全问题,同时具有更高的能量密度,更宽的工作电压和工作温度范围。但是目前固态电解质的离子电导率低和电极材料/固态电解质界面电阻大限制了固态电池的应用。如何提高固态电解质的电导率是亟待解决的问题之一。Li7La3Zr2012(LLZO)在室温下具有较高的离子电导率、良好的化学稳定性以及较宽的电化学窗口,且与电极材料具有优异的化学
目前,高炉生产中取得较低的消耗指标,除了改善焦炭质量和保持合理炉料结构外,高炉操作制度的合理是最为经济有效的控制手段。而在现实生产中,高炉操作人员对于“两道气流”的处理虽然在中小型高炉(高炉炉容在400m3级、1000m3级、2000m3级等)取得很好的效果,包括在处理失常炉况上取得了较好的成绩。但沙钢炼铁操作者在保证5800m3高炉炉况稳定及处理炉况失常上,原有的恢复和处理手段难以达到预期效果。
四川攀枝花西昌地区的红格矿中,含有丰富的铁、钛、钒和铬,其中铬含量约占全国已探明储量的近两倍,是目前我国最大的铬矿资源。钒、铬是一种极其重要的战略资源,广泛应于钢铁、化工、医药、航空航天、光学等行业。为使钒铬资源有效利用,则需提高钒铬渣的品位。由于在吹炼钒铬渣时,硅是影响钒铬渣品位的重要因素,因此获得低硅含钒铬铁水的工艺技术尤为重要。本课题拟采用CO2作为弱氧化剂,浅氧化含钒铬铁水,预先使铁水中的
随着现代工业的不断发展,各种石油化工装置对于离心压缩机组大型化的需求不断增加,离心压缩机组的功率不断提高导致机组的噪声排放量不断增加。噪声对人们的生理和心理都有严重的影响。同时在相关国际国内关于噪声的标准中对于机械设备的噪声指标都有严格的要求,大型离心压缩机的噪声预测和噪声控制工作已经刻不容缓。本文主要以沈阳鼓风机集团股份有限公司为中石化茂名分公司生产的DMCL1104+2MCL1105+MCL8
铝在自然界储量丰富,其合金的密度小,易于导热且具有良好的成形性,是实现轻量化和质量化的优良材料,这些特性使得铝及其合金制品在汽车制造及航空工业中都得到广泛应用。由于铝合金材料弹性模量较小,抵抗变形的能力较低,加工过程中切削阻抗小,易产生切削振动,容易发生弹性变形等问题,随着我国工业水平的发展以及铝合金需求量的增加,以铝合金材料为基础的机械加工制造已成为我国重点研究应用领域。铣削加工生产效率高,适合
钨铜合金结合了钨和铜的性能特点,具有良好的耐电弧侵蚀性、抗熔焊性、较高的硬度、高的高温强度及导电导热性、小的膨胀系数和良好的塑性。由于钨、铜互不相溶,实际形成的合金是一种结构假合金。熔渗法是制备高性能钨铜合金较为常用的工艺手段,制得的钨铜合金相对密度高,性能优良。目前对熔渗法制备钨铜合金的研究主要基于物理实验,较难从微观尺度解释材料制备过程中的动力学特征及致密化机理。针对现有研究中的不足,本论文以
露天矿山安全监测是测量领域的一个重要部分,露天矿山开采过程中会形成很多高陡的边坡,其稳定性将直接影响工程施工和安全。因此定位并剔除露天矿边坡监测数据中的粗差对于保障工程的安全性显得尤为重要。拉伊达法则等传统粗差剔除方法在应用时,每次仅能剔除一个单变量粗差,计算量大且没有考虑变量之间的相关性,而且拉伊达法则剔除数据是以均值为标准,过多的粗差数据会导致均值出现偏移;小波分析方法主要是对整体数据中的噪声
随着工业现代化的不断发展,市场对钢铁的需求量不断增加,同时对钢铁的规格、性能的要求也越来越高,而轧钢的板形是体现钢材质量的一项重要指标。轧机板形控制系统是一个集机、电、液于一体的系统,结构复杂、故障繁多,其运行状态对钢材质量甚至财产安全有着重要影响。本课题以轧机板形控制液压系统为研究对象,研究其工作原理和故障机理,搭建系统仿真模型,针对液压系统故障普遍存在的模糊性,总结相关领域知识,以此为基础对该