论文部分内容阅读
近年来,随着音乐处理技术和动作捕捉技术的不断发展,基于音乐的舞蹈动作合成技术逐渐成为音乐理解和舞蹈合成领域的研究热点,而如何提高音乐和舞蹈的匹配以及合成舞蹈的真实性是研究的关键点。音乐和舞蹈的匹配,根本依据是音乐和舞蹈有共同的节奏和强度且时间同步。合成舞蹈的真实性体现为舞蹈动作的衔接性和空间性。围绕以上两个目标,论文主要包括以下四个方面的工作:第一,对音乐与动作进行特征提取和分段,为后续工作提供基础。对音乐和动作进行分段,将所有特征定义在音乐/动作片段这一尺度,同时保证音乐和动作有相同的帧率。基于常数Q变换提取音乐片段的节奏和强度特征,基于Laban作用力提取动作片段的节奏和强度特征。第二,基于节奏和强度分析音乐和舞蹈的匹配程度,旨在解决音乐和舞蹈的跨模态特征匹配问题。首先,基于音乐和舞蹈在时间上的节奏点同步数量,进行节奏匹配。同时,为了保证相邻动作的衔接性,根据动作距离对相邻动作做可连接性分析。然后,基于相邻动作的可连接性,使用图的深度搜索提取所有可能的结果动作。最后,基于强度直方图相似性,对输入音频和所有可能的结果动作进行强度匹配,筛选出最匹配的舞蹈动作。实验结果表明,合成舞蹈的节奏和强度与音乐基本是一致的。第三,提出基于过渡帧插值的音乐驱动舞蹈动作合成,旨在解决合成舞蹈衔接不自然的问题。过渡帧插值基于四元数球面线性插值,使插值后的动作同时保留相邻动作的特征,避免动作突变。为了衡量动作衔接的效果,提出流畅度函数,并比较基于过渡帧插值的合成舞蹈、原始舞蹈和无动作衔接的合成舞蹈的衔接性。实验结果表明,基于过渡帧插值的合成舞蹈和原始舞蹈的流畅度比较接近,且远远优于无动作衔接的合成舞蹈。第四,提出基于三次样条插值的舞蹈动作路径编辑算法,旨在解决合成舞蹈缺乏空间性的问题。合成舞蹈的初始路径是无规则的。本文提出的路径控制,对舞蹈路径进行编辑使其按指定路径运动且不失真。