图像分类作为计算视觉和图像处理领域中最重要和最具有挑战的任务之一，已经受到越来越多研究者的关注。此处的图像分类既包括自然图像分类也包括人脸识别，如何有效地提高图像分类精度，并减少计算开销是亟待解决的问题。基于判别模型的自然图像分类主要侧重对下面几个方面进行改进，即：特征提取、字典学习、特征编码和空间融合等。基于降维的人脸识别技术是为了寻找一个映射将高维的人脸数据变换到低维空间中，并利用数据潜在的几何结构信息。本论文研究基于矩阵分解的图像分类。从特征编码和数据降维两个方面分别提出了针对自然图像分类和人脸识别的算法。同时，提出一种用于恢复联合稀疏向量的快速求解算法。本文的主要创新点如下：1.在基于判别模型的自然图像分类中，为了获得最好的分类率，同时构造最优的字典学习方法和特征编码策略被认为是必要的。然而，最近的研究表明在自然图像分类中，特征编码比字典学习更重要。当使用稀疏算法进行特征编码时，即使使用随机生成的字典也能获得满意的分类结果。基于这一发现，本文提出了一种基于最近邻基向量的自然图像分类框架。在字典学习阶段分别使用两种方式，即：通过K均值聚类算法生成字典和通过对图像的SIFT矩阵进行随机采样生成随机字典，接下来，使用本文提出的软内积编码方法对特征进行编码。在特征编码之后，图像的每个描述子可以由它最近邻的几个基向量进行线性表示。结合空间金字塔匹配模型和最大化空间融合(Pooling)函数得到每幅自然图像的最终表示。在15Scenes和UIUC SportsEvent数据集上获得的分类率和计算速度都好于一些经典算法。2.用来做人脸识别的传统非负矩阵分解模型没有将数据的几何结构信息和标签信息同时考虑进去。本文借鉴流形学习中的技术构造图拉普拉斯矩阵用来描述训练样本之间的关系，同时根据样本的标签信息建立一个类指示矩阵。接下来，将图拉普拉斯矩阵和类指示矩阵分别作为正则项引入到目标函数中，提出了一种图正则判别的非负矩阵分解算法。本文给出了优化框架对应的乘性更新算法，并证明了它的收敛性。使用本文算法学习出的投影矩阵对人脸图像降维，在四个标准人脸数据集上的识别结果表明了本文所提算法的有效性。3.借鉴自然图像分类中的空间金字塔匹配模型，并结合SIFT特征的非负性，本文提出了一种基于空间金字塔匹配的稀疏非负矩阵分解算法。给出了稀疏非负矩阵分解的乘性更新迭代规则和它的收敛性证明，使用该迭代规则学习字典并对特征编码。根据对特征进行编码之后获得的系数矩阵，结合三层空间金字塔匹配模型和最大化融合函数得到图像的最终表示。在几个标准的人脸数据集上的分类效果比传统的PCA,LDA, LPP和NMF都要好一些。4.标准压缩感知的目的是从单一观测向量中恢复出稀疏信号，被称为SMV模型。与其相反，从多元观测向量中恢复出稀疏信号被称为MMV模型。在本文中，我们考虑在MMV模型中恢复出联合的稀疏信号，其中，用矩阵表示多元观测向量，信号的联合稀疏性是指矩阵中的很多行同时为零。可以将稀疏的MMV模型写成矩阵的(2,1)-范数最小化问题，解该问题比传统压缩感知中的L1范数最小化要困难的多。本文提出了一种基于交替方向法的求解联合稀疏向量恢复的快速算法，称之为MMV-ADM。MMV-ADM交替更新要恢复的稀疏信号矩阵、拉格朗日乘子和残差，所有的更新规则中只涉及到矩阵或向量的乘法和求和操作，因此它是简单容易执行的，计算速度比经典的MMVprox方法快很多。仿真实验表明，在获得可比较的恢复精度时，MMV-ADM算法的计算速度比MMVprox快几十倍。