研究多体系统的量子相变及其调控一直是凝聚态物理学的热门内容之一。在早期的理论研究中,光学腔中的多原子系统具有正常—超辐射量子相变。但是到目前为止,该量子相变还没有被观察到。其主要原因是,由于每个原子都各自存在量子涨落,所有的原子不能与光子发生相同的相互作用。最近的实验利用了玻色—爱因斯坦凝聚的奇特特性---低于某一特定温度时,所有粒子都聚集到动量空间中的最低能态上,并具有相同的物理特性,验证了超冷原子与光子能发生集体强耦合作用。这是最高层次上研究物质与光的相互作用。在该系统中光子不仅与原子发生近共振相互作用,而且还能充当数据线,并有效地耦合长程原子之间的相互作用。这两个相互作用发生强烈竞争,将会导致新奇量子效应。本文在当前的实验条件下着重研究腔中多原子体系的新奇量子相变及其调控,主要内容如下:(1)给出多原子与光子相互作用体系几何相位的一般公式(正比于平均光子数)。而且证明该几何相位与量子相变有着重要的关系。因此,它是一个在实验上可以探测量子相变的重要物理量。(2)运用路径积分方法讨论有限原子数下Dicke模型在超辐射相时的量子隧穿。指出量子混沌将协助隧穿并与纯量子隧穿会发生强烈的竞争,从而导致系统的量子隧穿减弱。(3)提出控制超辐射量子相变的一种方案,即运用一个含时经典驱动外场的频率来代替原子的共振频率,从而取得满足发生超辐射量子相变的条件。最后,该方案在宏观超导量子电路中与腔相互作用的体系中实现。(4)引入含有长程原子相互作用的Dicke模型,运用相干态路径积分方法得出当原子数为有限奇数时,该模型有绝对简并的基态和很大的能级间距,而且这个间距随着原子数的增加而增大。因此,在绝对简并的基态子空间中适当控制相关参数,可以实现容错量子计算,克服量子退相干。(5)在超导结与纳米力学共振器的相互作用系统中实现Dicke模型,而且在周期调控下实现单向量子计算机所需的cluster态。(6)在自旋相干态表象下计算非线性大自旋量子体系Lipkin-Meshkov-Glick模型的能级间隙,揭示了一种新的量子相变存在,而且该相变由几何相位引起,同时为实现非线性大自旋系统的量子逻辑门提供了一种新的方法。(7)在大失谐条件下研究玻色—爱因斯坦凝聚体与腔的集体相互作用,并预言一种新的二级超辐射—Mott量子相变和一级超流量子相变。消除光子变量得到双轴各向异性的Lipkin-Meshkov-Glick模型,并得到拓扑量子相干现象。运用自旋相干态路径积分方法发现该模型存在有趣的拓扑量子相变。(8)在玻色—爱因斯坦凝聚、腔和纳米振子的复合系统中,通过交换虚光子能产生新的二级非线性相互作用。这使我们能够在固体系统中研究非线性量子光学系统。在此基础上,消除声子自由度,从而得到集体自旋的四体相互作用。