近年来高斯过程（Gaussian Process，GP）模型已成为一种重要的机器学习方法。它综合了基于核的机器学习与基于贝叶斯推理机器学习的特点，同时具备上述两种机器学习方式的优点。高斯过程模型既可用于分类，也可用于回归预测。本文主要研究用于回归预测的高斯过程模型，具体研究工作如下：（1）多尺度高斯过程模型的近似学习曲线研究基于高斯过程相关理论，对多尺度高斯过程模型的学习曲线进行研究。首先，对学习曲线进行了定义，然后根据多尺度高斯过程模型的原理，推导出学习曲线的一般表达式，并通过对多个样本集求均值的方式对学习曲线进行近似计算，得到近似学习曲线的计算表达式，最后在Matlab环境下实现了学习曲线的近似计算实验仿真。（2）学习曲线的单点上界和两点上界研究借鉴Williams, C.K.I.和Vivarelli, F.提出的GP模型的单点上界和两点上界的研究思路，推导出了MGP模型的单点上界和两点上界公式，并用Simpson公式或梯度公式对两种上界进行了近似计算，得到了两种上界的数值计算表达式。在Matlab环境下实现了学习曲线单点上界以及两点上界的实验仿真。通过实验验证了多尺度高斯过程学习曲线及其界的理论的正确性，并且通过对比不同参数情形下的实验结果，得出了各个模型参数对MGP模型学习曲线及其界的影响。（3）高斯过程混合模型的回归预测研究研究了GP模型的另一种改进型，即高斯过程混合模型（GPMs）。首先阐述如何用留一交叉验证法对模型概率进行分解表示，接下来通过分析，在EM框架下把这个分解结果进行极大化。分析了高斯过程混合模型的EM算法，给出了EM算法的具体实现步骤，并用一组实验数据进行了对比实验，收到了良好的回归效果，验证了改进模型的有效性。