近年来,对磁阻挫系统的研究已成为凝聚态领域的研究热点,这是因为这些系统中的阻挫相互作用会造成很多新奇的量子相,比如量子自旋液体。量子自旋液体最早是由安德森提出,是一种高度纠缠的磁无序量子态。作为量子自旋液体的重要分支,Kitaev自旋液体起始于Kitaev提出的定义在蜂窝格子上严格可解的自旋1/2Kitaev模型。此模型具有依赖于化学键方向的自旋相互作用,从而造成强量子阻挫,进而诱导形成22自旋液体基态。最近,α-RuCl3作为一种最有可能实现Kitaev自旋液体的材料引起了广泛的关注。它是一种由晶体场、自旋轨道耦合以及库伦作用相互合作导致的Mott绝缘体材料,在其中可以产生实现Kitaev自旋液体所需要的交换相互作用。因此研究α-RuCl3的低能物理对量子自旋液体的研究具有非常重要意义。另一方面,分数化激发是量子自旋液体的一重要特性,而且对于自旋阻挫系统中的磁有序态,最近实验发现在高能部分也可能存在分数化激发。因此,从理论上研究自旋阻挫系统中的自旋激发谱不仅对于寻找量子自旋液体而且对于全面理解磁阻挫系统的自旋动力学都具有重要的意义。本论文在第一部分首先综述了不同机制诱导的各种绝缘体,接着回顾了由阻挫和量子涨落引起的各种自旋液体,最后介绍了相关实验测量手段。在第二部分,本文详细介绍了我们的研究方法和理论模型。在第三、四部分,本文分别针对实际材料α-RuCl3和正方格子反铁磁J1-J2海森堡模型进行了自旋动力学研究:1.我们将从微观电子模型出发推导出α-RuCl3低能有效交换模型,进而利用线性自旋波理论方法研究此材料的自旋波激发。磁性离子Ru3+中的价电子具有4d5构型,其中d轨道在八面体型晶体场下劈裂形成了eg和t2g轨道。然后在自旋轨道耦合作用下低能的t2g5态劈裂为低能的有效自旋1/2的Kramers对和高能四重态。在以前研究中有效交换模型都是从t2g轨道模型出发得到的,并没有具体考虑eg轨道对低能行为的影响。最近实验又发现eg和t2g轨道间能隙跟库伦相互作用能具有相同的数量级大小,因此我们将包含所有d轨道的五轨道模型作为出发点。首先,我们从基于第一性原理方法计算的能带结构,得到五轨道紧束缚模型。然后从微扰理论出发,在强库伦作用极限下我们通过将五轨道Hubbard模型投影到最低能的Kramers对上推导出了有效赝自旋为1/2的交换模型。经分析有效交换作用,我们发现了有效交换模型能进一步简化为K-Γ模型,其中包含铁磁型的最近邻Kitaev相互作用（K）和最近邻的非对角交换相互作用项（r）。最后,与中子散射实验组合作,利用线性自旋波理论,我们发现由K-r模型计算的自旋激发谱能很好描述非弹性中子散射测量的激发谱,从而确认在α-RuCl3中存在较强的Kitaev磁交换作用。2.利用集团微扰方法和变分蒙特卡洛方法,我们研究了定义在正方格子上自旋为1/2的反铁磁型J1-J2海森堡模型的自旋动力学。随着J2增大,自旋阻挫先增强再减弱,从而导致基态从尼尔反铁磁相进入量子无序态最后进入的条纹磁序相。在尼尔反铁磁相（J2/J1<0.4）,我们发现磁振子激发的高能区的（π,0）点附近存在和中子散射实验结果一致的连续谱。在强阻挫J2=0.5J1附近,全部自旋激发都变成非常宽的连续谱,而且与反铁磁基态密切相关的Goldstone激发模式也消失了,表明系统进入了一个磁无序的量子相。在条纹磁序相（J2/J1>0.6）,磁振子激发的高能区也存在和尼尔相类似的连续谱,但是连续谱出现在（π/2,π/2）点附近。我们进一步借助变分蒙特卡洛和平均场方法的分析确定了中间磁无序的量子相是一个Z2量子自旋液体,而且两个磁有序相中自旋激发的高能连续谱来自于自旋激发的分数化,即自旋子激发的解禁闭,并且我们解释了两个磁有序相的分数化激发会出现在不同的动量点。