脑机接口（Brain-Computer Interface，BCI）是一种利用脑信号作为人与计算机之间通讯的主要手段的系统。基于由执行某一或某些精神任务产生的脑活动信号，计算机系统将对这些采集到的脑信号进行预处理、特征提取、分类或回归等，最后将得到的分类结果与相应的控制指令进行转换以实现对外部设备的控制。脑机接口不但对于那些严重残疾的人有重要的实用价值，而且脑机接口的研究过程和关键技术问题的解决还能促进所涉及的不同学科领域的进一步发展和交叉，从而激发新的思路、探索新的技术手段并可能开拓新的方向。因此脑机接口技术的研究具有科学和应用的双重价值。而本论文主要关注的是如何提高脑机接口性能的算法研究及其应用，具体研究工作包括如下两个部分：一、两种重要的脑信号（脑电EEG、功能核磁共振脑成像fMRI）分析的算法研究。算法研究始终是脑机接口的核心问题。在算法方面，本论文主要研究半监督机器学习算法在脑电（EEG）信号中的应用及基于稀疏表示的多变量模式分析（MVPA）方法与解码在fMRI信号分析中的应用。（a）为了提高小训练集下脑机接口的性能，本论文提出了一种联合参数选择、特征提取及分类的半监督学习算法。基于脑电的脑机接口的主要参数包括时频窗及通道等是比较难以选择的，因为这些参数的有效性会随着受试者的不同或者同一受试者使用的时间段的变化而改变。特别是在采集到的训练集不够充分时，就更难选择出有效的参数以获得令人满意的性能。而本文所提出的半监督学习算法利用没有类别标签的测试样本信息可以有效的解决这些问题。我们还在线实现了此算法，最后将此方法应用于基于运动想象和P300的脑机接口系统中。实验结果表明了此算法能在小训练集的情况下选择出有效的参数，而且可以改善系统的性能包括稳定性及自适应性。（b）基于多变量模式分析（MVPA）方法能同时分析多个体素信号形成的空间模式，且对微弱的区分信息敏感等特点，本文提出了一种基于稀疏表示的多变量模式分析方法来对fMRI数据进行体素选择及解码。本算法的一个主要特点是可以选出所有与不同类别分别相关的有信息的体素。最后通过一组仿真数据及一组真实的fMRI实验数据表明了此方法的有效性。二、结合多种范式的多模态脑机接口的研究及其应用。针对单模态脑机接口的一些缺点，如能提供的连续控制指令非常有限或者两个连续控制指令之间的输出时间间隔太长，本文提出了一种结合运动想象及P300两种重要范式的多模态脑机接口，并将此多模态脑机接口应用到鼠标的控制及虚拟车的控制上。在鼠标的应用上，鼠标的水平运动与垂直运动分别由运动想象与P300两种不同范式的信号控制，而且还基于实验证明了这两种控制信号几乎是独立的。最后结合运动想象与P300的特征实现了对感兴趣的目标进行点击的功能，真正实现了基于BCI鼠标的网页浏览。而在虚拟车应用方面，使用者可以利用左手或右手运动想象来控制虚拟车的向左或向右运动。而对于速度控制，则是结合运动想象与P300模式进行控制。这个方法应用在2010年第一届中国脑机接口竞赛的“自动车控制”比赛中获得了第一名。