随着科技的发展进步,高性能计算早已经渗透到人类生活的各个领域,不仅包括互联网、大数据、云计算、人工智能等新兴领域,也涉及国防、天气预报、石油勘探等传统领域。高性能计算为计算机的底层计算提供持续的计算支撑。越来越多的领域使用的是基于协处理器系统的计算机,例如在HPC世界TOP500排名中就有很多基于协处理器系统的超算。在科研界,各大高校和研究机构普遍使用的也都是CPU和GPU协同工作的系统。特别是在人工智能相关领域的研究中,模型的训练阶段由于存在易并行化的特点,普遍使用的是CPU和GPU异构的高性能计算系统来进行训练。然而在某些研究方向上,特别是语音识别相关的研究方向。由于某些特定任务存在较强的数据依赖性和负载均衡等相关问题。并不能很好的将计算任务分配到多个线程中处理,因此使用的都是CPU串行计算的方式。本文研究方向涉及到的是语音识别领域的异构解码。语音识别WFST静态解码过程普遍是被认为比较复杂的过程。主要的思想是基于Viterbi的解码算法,但在语音识别中的解码是基于有向无环图的解码过程,每一个节点的计算都依赖于上一个节点和相邻节点的计算,存在很强的数据依赖性,加上每一层需要计算的节点个数是不确定的,节点个数从几个到几千个不等。可能会造成很严重的负载不均衡的问题。本文致力于对于语音识别解码GPU异构并行算法的研究,主要的贡献如下:1、GPU下的解码过程的建模。对解码的过程进行GPU并行化,主要是对于GPU片上解码的过程的建模,对GPU上的线程和块的动态分配。需要解决节点的个数不确定带来的负载不均衡的问题。本文利用了预分配的算法策略和动态分配组合使用的方式来解决负载不均衡的问题。对于GPU片上内存和CPU内存的传递和分配,采用的是片上全局内存为主来传递所有的节点参数,使用共享内存来传递片上的参数来减少传输过程中带来的开销。2、片上声学分数计算方式建模。对GPU上解码时计算节点声学参数进行建模。通过构建声学参数矩阵,实现对于需要计算节点的节点Id索引到节点的声学概率的GPU的片上计算。本文采用的是在片上的声学参数进行建模,实现了快速索引到节点对应的声学参数,得到对应的参数之后再接收并判断相邻节点的参数计算和判断。包括片上节点最大概率的建模,片上每一帧的所有层节点的参数计算和返回建模。3、新型语音关键词检索系统模型的建模。传统的关键词检索系统中使用的是基于WFST静态解码的关键词检索系统。使用的是传统的串行方式进行解码来获取构建关键词检索系统的Lattice。本文创新性的实现了对于WFST的关键词检索系统的GPU并行化解码,并实现了多语言声学模型的构建,提高了最终关键词检索的得分,并加了快关键词检索的速度,大大的提高了系统的实用性和可靠性。