概率混合模型是一种常用的统计分析工具。由于其表达灵活，概率混合模型已成为当前最流行的密度估计与聚类工具之一。然而，概率混合模型的一般形式往往无法直接投入某些特殊的应用，例如自适应学习、大规模分类、以及多任务学习等。本文将对概率混合模型在上述三方面进行扩展。首先，本文提出了一种基于“从一般到特定”学习策略的递归式混合模型。它能够从一个离线学习得到的“一般模型”开始，通过在特定样本域内“主动”检测潜在正样本对自身增量式更新，最终进化为能够适应该特定样本域的“特定模型”。本文将其用于在线自适应建立适合特定图像光照条件的肤色模型，其检测剑的皮肤区域较之于传统方法在精确率上有显著提高。其次，本文提出了一种基于“最大化簇间距”学习准则的判别式混合模型——支持簇机。它整合了贝叶斯最优分类器与间距最大化分类器两者的优点：其一，使用高斯混合模型作为训练样本以降低样本数并同时保留原始数据的分布信息；其二，最大化簇间距以增强分类器的泛化能力。本文将其用于大规模数据分类问题，在基本不损失精度的情况下，它能使时间复杂度急剧降低。再次，本文提出了一种用于“跨域知识共享”的双向式混合模型——评分矩阵生成模型。通过对来自多个相关协同过滤域的评分矩阵使用双向式混合模型联合聚类，每个评分矩阵中的用户与条目均可看作抽样自评分矩阵生成模型，从而使其成为多个域之间知识传输与共享的桥梁。本文将其用于跨域协同过滤。实验证明，它确实能使每个任务从其它任务中获取额外的有用信息。本文提出的三种概率混合模型的新颖扩展各具特色，它们分别被用于解决三个常见但具有很高现实意义的机器学习问题。相对于现有方法，它们不但能够在实际测试中凸现其明显的性能优势，而且为解决这些已经发展至瓶颈的问题提供了与传统方法不同的学习框架与解决思路。