经验风险最小化(ERM)算法是统计学习理论中的一个经典的学习算法.它在学习理论中具有非常重要的地位,能够解决学习中的一些传统问题,比如,回归估计问题中的最小二乘法,概率密度估计的极大似然法等.因此,对ERM算法的研究就显得尤为重要.到目前为止,对ERM算法的研究主要有研究其算法的一致性和算法的收敛速率等问题.但是,对ERM算法的一致性和收敛速率的研究几乎都是基于数据是来自一个独立同分布样本的假设之上.然而,我们知道独立同分布的假设是过于严格的,在现实生活中验证一个样本的独立性并不是一件容易的事情.此外,在一些实际问题中,比如,DNA序列分析,市场预测,网页搜索等等,样本并不是独立同分布的.因此,我们有必要研究ERM原则在非独立样本上的一致性和学习速率的表现.本文将在指数强混合样本和一致遍历马氏链的情况下讨论ERM原则的一致性.在讨论基于指数强混合序列的经验风险最小化算法的一致性时,我们首先利用指数不等式建立了经验风险最小化算法的收敛界.然后我们研究经验风险和期望风险的偏差.与其他研究者建立的经验风险与期望风险的一致偏差不同,我们考虑的是两者的相对一致偏差,这样就能有效的反映出当期望风险取最小值时,对应着经验风险与期望风险之间的偏差以很大的概率取得最小值.于此同时,我们也得到了更小的置信区间.ERM算法在面对临所给函数集复杂性很高时,该算法将会非常耗时并且会发生过拟合的现象.本文将基于指数强混合样本解决ERM原则的耗时问题.与其他研究者常用的正则化技巧不同,这里我们将采用了一种全新的方法.这种方法的思想在于把函数集有技巧地进行分解,来降低函数集的复杂性,从而解决耗时问题.一致遍历马氏链是比指数强混合更弱的一种非独立样本.它在统计学,排队论和信号处理等问题中有着广泛的应用.在探究基于一致遍历马氏链的ERM算法的一致性问题时,同指数强混合情形一样,都是利用指数不等式建立经验风险最小化算法相对一致收敛的界.但在获得界的方法上,却与其他研究者不同.我们采用了给其分母多增加一项的方法,使得相对偏差中分母的非零性得到了保证.同时改进后的相对一致偏差更能反映经验数据的本质.因为方法的改进,与基于指数强混合样本或其他对马氏链的研究成果相比,我们得到的收敛速率更快了.