学习算法的目标是寻找最小化风险泛函的最优函数及其参数集合。通常选择最小化训练集合上的误差的经验风险最小化原则。统计学习理论给出了另外一种学习原则：结构化风险最小化原则。支持向量机实现了结构风险最小化原则，而其主要特点就是使用Kernel技巧，本报告从以下几个方面研究了基于Kernel的学习算法： 首先，我们研究构造正定核函数的方法及基于Kernel的马氏距离判别分析。给出了用正定核函数的已有的性质构造连续论域上的正定核函数的方法。提出了一种基于正定核函数的马氏距离判别实现方法。通过使用Kernel技巧实现在高维的Kernel特征空间中有效地计算马氏距离。对二元分类问题而言，组内方差相等时，马氏距离确定的判别轨迹与基于Kernel的费舍尔判别函数平行，并且通过特征空间中两类均值之间的中点。大量的模拟实验显示了该方法的有效性。 其次，提出一种新的支持向量机的更新算法并讨论其性质，给出了相应的实验结果。该过程是使用标准的支持向量算法得到初始的概念，然后利用文中提出的概念更新方法，即求解一个类似标准支持向量机算法的凸二次规划问题。更新模型具有与标准支持向量机类似的数学形式，能够得到解的稀疏表示；无需额外的计算就可以返回上一步；还能用于估计表达问题所需的样本的数量。 然后，我们提出了基于极小极大概率机的多类别分类算法。我们利用最小最大概率机的概率信息和样本间隔信息构造各个分类器在结果合成阶段的权重，克服了以往绝大多数算法在合成阶段仅仅依靠投票数量来进行决策和分类器权重均等的不足。扩展了弱分类器的概念，利用弱化的分类器来减少迭代次数，这样在类别数量较大时可以大量减少迭代次数：而在结果合成阶段利用非线性映射提升整体分类性能。 最后，我们研究了函数型数据的表达以及函数型主成分分析方法，然后利用支持向量机实现了曲线的分类。