语音合成是指把文本转换为对应音频的技术,目的是让机器拥有说话的能力。当前主流的语音合成方法是统计参数语音合成和基于单元选择波形拼接的语音合成。其中,统计参数合成法灵活度高、资源占用率较小,但合成的音频由于过平滑造成机械感较强,降低了自然度。使用统计声学模型来指导真实语音单元片段的选取和波形拼接,能有效避免过平滑问题,得到比传统参数合成法更自然、高质量的合成语音。传统单元选择拼接法使用隐马尔可夫模型对声学信号建模,由于转移状态有限而导致建模效果不理想。采用常规静、动态声学特征（梅尔倒谱系数、基频）参与模型训练和后期代价计算时,多特征拼接使运算复杂度增大,且预测的声学特征与真实特征数值分布存在差异,导致合成音频质量降低。针对上述问题,本课题以基于深度学习的单元选择波形拼接语音合成方法为研究切入点,旨在提高合成音频的质量。具体工作内容和贡献如下:一、搭建了一套灵活的拼接合成系统。为提高实验效率,模块化系统各个部分,本次系统分为前端文本分析、音素库设计、音素预选、模型构建、代价函数、音素拼接六个模块,在帧级别上对齐文本与音频数据,以音素为最小拼接基元,研究者可只针对某模块展开研究。二、构建了多种深度网络模型。搭建持续时长模型用于预测音素帧数,声学模型用于预测声学特征,设计对照实验并验证了不同声学模型对最终合成语音质量的影响。结果表明基于LSTM-RNN与GAN的声学网络模型相比传统DNN模型在声学信号方面建模能力更强,提高了合成音频的质量。三、针对声学特征进行了探究。一方面提取了常规梅尔倒谱、基频等声学特征,分析去除动态特征对合成音频质量的影响。另一方面构建了微调的瓶颈特征系统,该系统模型从中间层输出低维瓶颈特征参与目标代价计算,降低代价函数总体运算量,且微调模型预测的特征准确度得到提高,改善了合成音频的质量。四、评估实验系统性能。使用Blizzard Challenge 2018英文合成语料库为实验数据,采用平均主观意见分和梅尔倒谱失真作为系统性能的主观评测和客观度量指标。通过计算主、客观指标,分析各实验系统的优劣与合成音频质量的高低。实验结果表明:经过相似语料训练后再微调的瓶颈特征系统模型,在主、客观指标上均取得良好结果。该系统预测的瓶颈特征更能表征拼接基元特性,从而指导目标代价筛选理想候选单元,提高合成语音的质量。