论文部分内容阅读
当代社会科技的发展带动了我国交通领域的飞速进步,出租车、汽车、公共汽车等交通工具日益广泛化,机动车保有量的增长趋势呈现持续快速增长,因此从机动车获得的数据也日益增多,海量数据虽然带来了很大的效益,但由于其存在的负面因素,如数据错误等均给数据分析带来了困难。为了更有效准确地对交通数据进行分析,本文提出了基于用户引导的数据清洗可视化系统。本文设计了一种基于B/S结构的数据清洗可视化系统,结合数据清洗以及可视化技术对交通定位数据进行分析。对于交通数据中的不同错误给出了不同的数据清洗规则,让用户自主选择特征向量进行数据清洗及可视化展示。本文的主要工作和成果如下:1.利用数据清洗处理海量数据中的问题数据。由于存在数据采集设备的多元化、设备故障、传输网络以及环境因素等客观问题,造成上传到服务器中的原始数据存在格式多样化、无统一标准、数据丢失甚至数据错误的情况,存在上述情况的数据被称为“脏数据”,如若对这些数据不进行处理,将严重影响可视化结果,并且对数据分析造成致命性的错误。对此我们将制定有效的数据清洗规则对交通脏数据进行处理,数据清洗更好地促进数据可视化的准确性,以便得到有效正确的可视化结果。2.采用数据可视分析技术进行有效的数据分析。针对很难从结构复杂的大数据中获得有意义的信息的情况,特别是在数据维度较高时,本文将采用数据可视化和可视分析技术。可视化能够直观地展示抽象的数据,用户可以更方便地观察和分析图像中的数据关系,提升了研究员的工作效率与准确性;该系统满足用户的自主需求设计。由于不同的用户对于交通数据的可视化需求不同,为了提升系统的应用性和广泛化,本系统可让用户基于自己的需求自定义数据清洗和可视化展现的特征向量;由于交通数据基本以点的单元存在,所以对于数据清洗前后的清洗效果难以进行有效的评估和展示,本文采用了自主设计的地图视图,提出了一种基于地理地图的边界保留的地图变形方法,称之为“矩形地图”,通过量化的思维对清洗结果进行展示。3.交通定位数据清洗可视分析系统实现与测试。结合本文的数据清洗以及可视化技术,将从需求分析、功能模块设计、与具体的实现技术上讲解本文的技术实现切实有效,并以杭州市海量出租车数据作为测试数据,对系统的有效性和准确性进行分析探讨。本文结合数据清洗和可视化技术,对交通数据进行有效地处理和可视分析,并利用自主设计开发的地图进行清洗结果评估,使得对于交通状况的可视化结果具有准确性和有效性。希望在以后的研究中可以将清洗过程可视化,以此就可以看出具体问题数据的源头及处理方式,可以对该批次数据进行集中处理,提升数据清洗速度及结果准确度。