随着玻璃检测速度的提高,传统的集中式玻璃缺陷在线检测系统对计算机硬件要求越来越高。由于集中式系统扩展性差,处理速度无法满足工业玻璃缺陷检测的要求,短时间产生的批量图像数据会使系统发生宕机现象,从而影响整个玻璃检测流程。基于以上背景,本课题采用MapReduce分布式架构,设计阈值分割方法完成对玻璃缺陷图像的在线检测。同时针对分布式计算框架进行算法优化,通过添加数据本地化模块和流水线调度模块,使得计算与存储本地化,加快数据处理的及时性,完成玻璃缺陷检测技术要求。本文主要工作如下:(1)在对现行玻璃缺陷检测技术理论分析的基础上,对集中式系统检测弊端进行分析并进行方案改进,采用分布式系统完成玻璃缺陷检测系统方案的设计。(2)针对大量玻璃缺陷图像利用分布式计算平台进行缺陷检测,研究了分布式系统的数据存储结构和检测算法,利用所设计算法完成了批量在线图像数据的分布式检测。(3)分析了MapReduce运算框架存在的问题,针对数据本地化和流水线调度两方面进行算法优化,通过改变系统副本放置策略和流水线调度策略,完成分布式系统的性能优化。(4)搭建不同架构Hadoop集群,通过对图像大小、节点数量和任务数量等实验数据的对比,最后对改进系统的可行性和性能进行了测试。实验结果表明改进的MapReduce计算框架能够达到玻璃线缺陷在线检测的技术要求,并且相对于传统分布式框架处理速度平均提高16.8%,具有良好的扩展性和规模增长性。