论文部分内容阅读
科技的不断进步推动了高速铁路的快速发展.而其作为一个节能、环保、快速和准点的交通工具日渐成为了人们出行的首选。随着高铁装备水平的不断改进和提高,安全性和舒适性也成为人们关注的焦点。为了保证列车的安全运行,我们需要实时地对列车运行数据进行分析处理,掌握列车的运营状态,做出决策判断。为了能够获得足够的高铁列车运行信息,工程人员利用大量的传感器来采集噪声和振动等多种类型的信号数据。然而,分析处理这种大规模增长的数据给传统的信号分析方法带来了前所未有的严峻挑战,而云计算作为一个新兴的并行处理技术,融合了网格计算、分布式计算和并行计算等特点,在大数据计算和网络存储方面具有卓越的性能表现。Hadoop作为一种云计算框架,包含了文件系统HDFS和MapReduce编程模型,其具有高可靠性和高容错性等特点,尤其是MapReduce模型,采用分而治之的设计思想,有效地化解了大数据对现代程序设计过程带来的挑战。本文利用云计算技术对高铁数据处理领域十分重要的数据预处理和信号分析算法进行并行化,包括高铁原始数据解包算法和数字信号分析中广为应用的快速傅里叶变换算法FFT。高铁原始数据解包作为高铁数据预处理的第一步,为后期的数据预处理过程如数据平滑、去除异常点和去除线性趋势项等奠定了数据基础,对其并行化解决了传统解包算法处理测试数据集的瓶颈。实验证实,该算法在并行性方而表现良好。为了给工程人员提供一个系统化的数据预处理环境,本文设计了一个基于云计算的高铁数据预处理系统,其将多种并行数据预处理算法整合到一起,并且提供了对Hadoop集群的配置功能,工程人员只需要在系统中按需求提交处理任务,系统通过分析将任务操作步骤转交给Hadoop系统,待处理完毕之后,工程人员便可将处理结果下载到本地,极大地方便了数据预处理过程。FFT作为离散傅里叶变换的一种快速算法,成为了数字信号分析领域中重要的工具,广泛应用于图像处理和通信技术等领域。高铁信号数据处理中也同样需要用到FFT算法,然而传统的串行FFT算法并不能适应大规模的高铁运行数据。于是,本文基于云计算技术设计了一个并行FFT算法,实验证明,该算法在准确率方而与串行算法结果保持一致,且节点间的并行性提升了运算效率,可以适应大规模的高铁数据集处理需求。