大规模开放在线课程（MOOC）相比于传统的线下教育模式,有其独特的优势。但是,当MOOC学分课在全球高校广泛开展起来的同时,也暴露出了一些问题,比如学习者的诚信问题。由于在线学习中缺乏对学习者学习过程的有效监控,部分学习者存在侥幸心理,会选择采用“刷课”、抄袭、替考等作弊手段来完成课程考核,以达到轻松获取学分的目的。采用作弊手段进行在线学习会造成学习效果评价不准确、学习质量不高等问题,这将会对MOOC的学分认证造成严重的影响。因此,针对MOOC作弊行为的研究与检测将成为当前MOOC可持续发展的一个重要突破点。本文基于MOOC平台真实的学习行为日志数据,开展了对MOOC平台中作弊行为检测的相关研究。首先围绕MOOC学习者全方位的行为数据构建MOOC作弊行为特征指标体系,为应用机器学习算法实现作弊行为检测奠定数据基础。然后针对当前作弊行为检测场景所存在的问题,设计了三种基于机器学习算法的MOOC作弊行为检测模型。最后,从实践层面验证了本文设计的三种MOOC作弊行为检测模型的有效性。本文的主要研究内容如下:（1）设计了一种基于孤立森林算法的MOOC作弊行为检测模型。针对MOOC平台前期作弊标记数据集少,分类模型效果受限等问题,本文采用孤立森林算法作为数据标注预处理算法,用于MOOC平台作弊行为数据的初步标注。经实验表明,孤立森林算法对MOOC作弊行为检测效果显著,其精确率达96.84%、召回率达87.28%、AUC达93.64%;相比于K-means和DBSCAN两种常用的聚类算法,该模型的AUC分别提升了18.19%和17.33%;而相比于One-Class SVM算法,孤立森林算法在取得相近检测性能的同时,节省了近40倍的训练时间。因此,孤立森林算法能够快速且准确地对大量的MOOC行为数据进行检测,极大地提高了研究人员数据标注的效率。（2）设计了一种基于EE-XGBoost（Easy Ensemble-XGBoost）复合算法的MOOC作弊行为检测模型。针对无监督学习算法检测效果欠佳、MOOC用户数据训练样本不均衡等问题,本文将Easy Ensemble和XGBoost算法相结合,构成EE-XGBoost算法,并基于该算法构建MOOC作弊行为检测模型。经实验表明,该模型相比于孤立森林算法,在精确率、召回率和AUC上分别提升了1.93%、6.19%、3.21%,而相比于未经样本均衡处理的XGBoost算法,则分别提升了0.35%、0.82%、0.53%,同时误检率下降了0.003%,并可以有效降低样本不平衡导致的过拟合风险。（3）设计了一种基于CNN-Bi GRU-Attention复合网络结构的MOOC作弊行为检测模型。针对传统作弊行为检测技术存在着规则库难以管理、统计模型依赖人工提取特征,从而导致漏报率高、泛化能力差等问题。本文设计了一种基于自动特征提取的深度学习模型,该模型通过融合了卷积神经网络（CNN）、双向门控循环单元（Bi GRU）以及注意力机制（Attention）,大大提升了单一模型的检测性能。经实验表明,该模型相比于Bi GRU、CNN-Bi GRU和Bi GRU-Attention三种网络结构,AUC分别提升了1.91%、1.29%和0.53%。本文同时还针对作弊样本不足的问题,利用序列截断扩增和平移扩增的方法进行数据增强,并在该模型的AUC值上得到了1.97%的提升。