图像分割是数字图像处理中的一项关键技术，而高斯混合模型是图像分割的常用模型，在图像分割中发挥着重要的作用。聚类在图像处理等领域中的应用也在不断的推动着聚类分析研究的进展，使它成为多学科研究领域中的一个热点。本文首先分析了估计高斯混合模型参数的EM算法，指出EM算法的一个缺陷：EM算法是一个局部优化算法，常常容易陷入局部最优解，使得它的初始值对算法的结果有着极其重要的影响。为了得到更好的聚类效果就要对EM算法进行有效的初始化。本文提出通过k均值聚类先给出混合数据的一个粗糙分组，然后根据分组数据给出参数的一个粗劣估计值，作为EM算法迭代的初始值。模拟数值实验表明：经过k均值初始化后的EM算法对数据集进行聚类的效果要优于直接用EM算法进行聚类的效果。其次，本文研究如何确定高斯混合模型的聚类个数，即模型选择问题，分析了贝叶斯阴阳和谐学习(BYY)算法。其中具有后向结构的动态正则化BYY学习算法的优点在于只要混合模型的分量数设计得比真实的分量数多就能在参数学习的过程中将多余的分量压缩为零，从而完成模型选择。模拟数值实验验证了其聚类的有效性。最后，本文将自适应的具有后向结构的动态正则化BYY学习算法应用到图像分割中，图像分割实验结果表明：它能得到正确的分割类数，但分割效果不是很理想。然后，利用具有后向结构的动态正则化BYY学习算法得到的类别数，结合EM算法再次进行图像分割，得到了更好的分割效果。