论文部分内容阅读
统计稀疏学习方法是人工智能、应用统计学以及视觉认知等学科交叉的研究方向,也是当前机器学习领域的最新研究热点之一。基于贝叶斯学习理论的统计稀疏学习方法将先验知识与样本信息相结合、依赖关系与概率表示相结合,是不确定知识表示的理想模型。与其他方法相比,贝叶斯非参数方法通过随机过程表示所有形式的不确定性,可以在模型中包含先验知识,降低对参数的假设约束,隐含地避免过拟合;通过贝叶斯定理实现学习和推理过程,提供基于模型解释的特征信息,为模型选择提供了自适应的方法。因此,基于贝叶斯非参数的统计稀疏学习建模具有重要理论价值。同时,结合统计稀疏学习在视觉认知上的天然表示,研究面向典型视觉应用的贝叶斯非参数统计稀疏学习方法,有助于发现方法的独特性能和技术优势,也为验证方法的有效性提供很好的验证平台和应用示例。本文以贝叶斯非参数统计稀疏学习方法作为研究对象,在贝叶斯统计学习框架下对非参数稀疏建模及其关键技术进行了深入研究,并通过视觉任务对其进行验证。其主要研究内容和成果如下:1、通过对统计稀疏学习理论中主要问题的分析,在研究贝叶斯非参数方法的模型构建、学习方法和推理机制的基础上,对贝叶斯非参数方法对“稀疏”的表达能力、构建方法和推理机制进行了探索性研究。2、通过扩展稀疏向量的函数形式,针对稀疏度根据观测数据自适应调整的需要,本文提出利用一种利用离散混合先验贝塔过程进行稀疏表示的方法。方法能够根据观测数据在己知测量矩阵上的稀疏投影频率调整稀疏向量的稀疏度,并且模型中以高斯分布表示的拉普拉斯先验逼近lo范数的方法,能够进一步提高稀疏表示的能力和计算速度。为验证方法的效果,分别在单位脉冲数据集和USPS手写数字集上进行了实验。实验结果表明该方法能够获得比传统稀疏表示方法获得更稀疏的解和更高逼近精度。3、针对字典学习建模中存在的字典维度不能根据观测数据自适应调整的问题,以图像降噪为应用对象,建立了一种基于高斯过程聚类的贝叶斯非参数字典学习方法。基于高斯过程聚类的建模方法更适合图像数据的特点,能够使字典和稀疏表示模型在图像数据集上具有很好的推广性。在模型中,由样本集自适应生成的列约束高斯字典作为对包含聚类特征的稀疏向量的稀疏表示测量矩阵,使字典学习的解具有一定的基于模型解释的可靠性,获得的字典和稀疏表示具有优化的解。实验结果表明该方法在模型精度、稀疏度和字典维度的自适应性上有优势。并且在图像降噪过程中,通过设定可调整参数可以控制降噪过程以获得更可靠的优化预测解。4、在分析贝叶斯非参数方法实现聚类的基础上,针对视频图像数据和高维稀疏数据的聚类进行研究。对于适应视频图像数据的聚类,提出基于混合狄利克雷过程的背景剪除方法,并通过实验证实了方法的可行性和有效性。继而,针对高维稀疏数据的特征,提出基于Polya树的聚类方法。该方法对于待聚类的数据先通过特征提取,得到数据在高维属性下的稀疏表示,再对这些高维稀疏数据以Polya树建模,得到能够适应数据增加树的深度、改变聚类数的一种聚类方法,并通过对CIFAR图像数据集的聚类实验证实了方法的有效性。