铁路的安全稳定对我国经济的发展起着重要的作用,由钢轨缺陷导致的交通事故对生命安全和社会财产造成了极为严重的后果。因此研究准确且高效的钢轨表面缺陷检测技术,在事故发生之前检测出缺陷并及时进行维修,具有重要的现实意义。利用图像处理技术进行钢轨表面缺陷检测的方法,具有准确率高、非接触性等优点,成为当今钢轨表面缺陷检测方面的一种重要方法。本文在综合考虑检测准确率和分类速度的基础上,解决现有钢轨表面缺陷检测算法中存在的问题,重点研究基于机器学习和基于深度学习的钢轨表面缺陷检测算法。主要研究内容如下:（1）针对中值滤波算法速度较慢的问题,设计均值与中值融合滤波算法。针对采集到的图像因包含非钢轨区域,影响识别准确率的问题,提出一种基于直线段检测（Line Segment Detector,LSD）的钢轨表面提取算法,筛除复杂的背景部分。铁路线路中有缺陷的部分占比较小,为避免对大量无缺陷图像的检测,提高检测速度,引入缓存机制对差值哈希算法进行改进,设计缺陷初步判断算法。（2）设计基于机器学习的钢轨表面缺陷检测算法。针对二维Otsu图像阈值分割算法处理速度慢的问题,改进粒子群优化（Particle Swarm Optimization,PSO）算法,设计基于PSO的图像分割算法,加快分割处理速度。针对单一特征对钢轨表面缺陷图像信息的描述能力不足的问题,提取出缺陷区域的多个特征并进行融合,包括灰度特征、形状特征和纹理特征。针对多特征融合后数据维数过大进而导致分类速度慢的问题,采用主成分分析方法（Principal Components Analysis,PCA）对融合的特征进行降维处理,并使用支持向量机（Support Vector Machine,SVM）构造多分类器,进行缺陷的识别分类。（3）设计基于深度学习的钢轨表面缺陷检测算法。针对Faster R-CNN（Region-based Convolutional Neural Networks）算法中特征提取模块对低级语义信息提取不完全,进而无法完整描述出缺陷细节的问题,采用多尺度特征融合的提取方法。针对小尺寸缺陷存在漏检的问题,改进区域建议网络（Region Proposal Networks,RPN）中锚窗的尺寸和数量,设计一种加权ROI池化方法,增加对小尺寸缺陷的检测准确率。结合本文任务中缺陷的种类,优化Faster R-CNN算法的输出结构,确定神经网络的训练方法。最后,自建钢轨表面缺陷数据集,对基于机器学习和基于深度学习两种不同检测算法进行实验验证,结果表明,两种算法的检测准确率分别为92.7%和93.9%,但基于深度学习的检测算法运行时间明显优于基于机器学习的检测算法。