建立发音器官运动与语音信号间的映射关系对于发音训练以及言语矫正有着很重要的作用。本文通过语音记录仪记录中文六个元音(a,o,e,i,u,ü)发音时的语音信号,利用超声仪记录发音时舌头运动的信息,使用高速摄像头记录发音运动时唇部正面和侧面的信息,从而形成了一个中文元音多模态语音数据库。本文提出了一个基于深度学习框架的发音器官运动与声学信号间的双向映射方法。利用基于受限玻尔兹曼机的深度自编码网络方法对发音器官运动信息与声学信号进行了特征提取与重构。重构结果发现,对于超声图像,基于深度学习的特征提取的方法比主成分分析的方法要好;音频信号也能够利用深度自编码网络的方法来表征。然后,我们提出了一个基于深度学习的框架实现两者间的映射关系,该框架是通过深度降噪自编码网络进行改进而来。可以在中文元音数据库上实现语音信号来驱动发音器官的运动,以及发音器官的运动来合成语音信号。并且用传统的基于混合高斯模型的方法与之对比,发现我们提出的方法有更好的效果。最后,我们将该映射框架应用在中文连续语音上,并取得了一定的效果。