在当前脑科学和类脑计算的研究中,面向多种模态脑信号的处理技术是最热门的几个研究问题之一。基于不同模态脑信号的处理技术,可以从多个维度研究大脑内部各脑区的功能、探索人类的高级认知行为、分析人类的运动和记忆能力、辅助脑疾病的诊断与治疗等等。面向多种模态脑信号的处理技术可以为脑机接口、类脑计算和脑科学研究中关键的技术手段,在神经科学、心理学、神经疾病学和神经工程等领域都有着非常重要的研究意义。然而,现有的脑信号处理技术在特征提取、模型拟合、模型训练和模型效率等方面还有着很多问题与挑战,亟需发展更先进的脑信号处理技术。针对脑信号处理研究中存在的问题与挑战,本文引入了深度网络模型。根据不同模态脑信号的特性,对现有的深度网络结构进行针对性的改进,提出了几种不同形式的深度网络模型。本文所提出的深度网络模型能够高效地处理了常见的几种模态脑信号,为脑机接口、类脑计算和脑科学等研究提供了新的技术手段和思路。本文中,提出了几种面向不同模态脑信号处理的深度网络模型,主要研究内容有以下三个方面:1、脑电信号的事件相关电位检测:为了实现对脑电信号中事件相关电位的检测和分析,文章中提出了两个网络模型:基于限制玻尔兹曼机的混合网络和时空判别限制玻尔兹曼机。基于限制玻尔兹曼机的混合网络能够提取事件相关电位的空域特征和时域特征,并实现对事件相关电位的有效检测。时空判别限制玻尔兹曼机能够从事件相关电位数据中提取出具有判别信息的空域特征和时域特征,这些特征能够较为准确地反映出该信号的空间分布和随时间的变化情况,从而快速有效地检测事件相关电位。根据一系列实验结果,所提出的两个网络模型对事件相关电位都有着不错的检测性能。2、脑磁信号的解码:人类大脑信号的解码研究是目前脑科学与神经认知科学等研究中的一个热点问题。对大脑信号的解码研究在理解人类的高级认知行为、情绪变化和分析心理疾病等方面有着重要意义。本文中,提出了一种基于门控循环单元的递归神经网络,将该网络应用于解码人脸图像诱发的脑磁信号。基于门控循环单元的递归神经网络能够有效地学习不同实验对象的脑磁信号特征,从而实现跨对象的脑磁信号解码。在多重交叉验证实验中,所提出的网络在脑磁信号解码任务中取得了非常好的解码结果。3、核磁共振成像的脑组织分割:基于核磁共振成像的脑组织分割结果,可以量化脑结构容量,评估神经系统健康状况,诊断阿尔茨海默病、痴呆、局灶性癫痫、帕金森病和多发性硬化等脑疾病。文章中,提出了一个多模态融合网络,该网络能够提取脑组织核磁共振图像的多尺度特征。另外,通过构建多个子网络,该网络能够利用三种不同模态的核磁共振图像的信息互补,从而实现更精确的脑组织分割。在脑组织分割竞赛数据集上进行一系列实验,实验结果证实了多模态融合网络的有效性,该网络的性能超过了现有大部分脑组织分割模型,并在该竞赛中取得了历史排名第一、当前第二名的好成绩。综上所述,本文提出了几种深度网络模型,在脑电信号的事件相关电位检测、脑磁信号的解码和核磁共振成像的脑组织分割任务中的表现优异。这些工作有望为脑信号与脑科学研究者提供了新的思路和技术手段,在脑机接口、类脑计算和脑科学研究中有着非常广阔的研究和应用前景。