论文部分内容阅读
网络化测试系统融合了计算机技术、网络技术和通信技术,在智能化、自动化领域发挥着异常重要的作用。目前网络化测试系统中多采用集中的数据处理方式,该处理方式依赖主机的性能,存在网络传输负载压力大、数据处理实时性差和系统资源利用率低等问题。系统测试主机的性能在规模较小的局域网内并不突出,但网络负载传输压力、数据处理实时性问题在飞机测试和遥感测试领域以及物联网、云计算中表现明显。通过本地并行的数据处理方式,提高系统的资源利用率,有望缓解带宽传输压力和数据处理效率问题。而并行计算中主要的性能瓶颈均来自通信开销,为了缓解并行计算中通信开销的问题,本文提出了面向数据规模的仪器端的数据管理方案。首先,本文基于网络化测试系统架构搭建了局域网内的并行计算平台。采用并行计算技术实现分布式处理,搭建了基于集群的作业管理系统,由主控计算机监控集群中的计算节点的资源状态信息和用户交互。本文选取了高性能的消息传递模型MPI(Message Passing Interface)作为并行计算平台的通信实现,同时配合hydra进程调度器进行进程的管理。其次,分析了并行计算的编程模型和并行算法设计,选取了数字信号处理领域中应用最广泛的快速傅里叶变换(Fast Fourier Transmission,FFT)算法作为研究对象。分析了蝶形计算的可并行性因素,设计了基于数据块划分的并行FFT算法。设计实验在MPI并行通讯库下验证了不同规模下不同计算节点的加速比和执行时间,得出了并行计算平台下,小规模数据处理实时性严重受到通信开销的制约,可以通过提高数据处理的规模来降低通信占比,提高系统的资源利用率同时提高并行加速比,为网络化测试系统中仪器内数据处理方案提供理论借鉴。基于以上实验验证,针对并行计算中不可避免的通信开销问题,设计了面向数据规模的仪器内数据管理方案。从通信开销和资源利用率两个角度出发,对于小规模数据进行本地资源计算,降低通信开销,保证数据处理实时性;对于大规模数据处理则通过并行计算平台中多节点协同并行实现。该数据管理方式,在一定数据规模内比主控计算机数据处理快,存在着替代集中处理方式的可行性。4节点并行计算得到了2.5的加速比,提高了仪器节点的资源利用,有效的保证了系统的稳定性、灵活性和可扩展性。