光与物质的集体相互作用理论及其应用一直以来是量子光学和凝聚态领域重要的前沿研究课题。其中,描述单模玻色场与N个两能级系统（两能级原子、自旋系综、量子比特等）之间集体耦合的Dicke模型展现出很多有趣的物理现象,例如超辐射相变及其诱导的量子纠缠、量子混沌等。超辐射相变的相关研究在量子计算与量子信息、量子调控与精密测量等领域都有着重要应用。近年来,Dicke超辐射相变的实验实现更是激发了人们对超辐射相变及其量子临界效应的研究兴趣,这其中就包含基于腔光力系统构建的混杂Dicke模型的研究。在过去的几十年里,腔光力学在量子操纵和调控等应用领域取得了很多重要成就,例如:机械振子基态冷却的实验实现、光力诱导透明、光机械信息转换以及量子压缩等。此外,当腔光力系统达到单光子强耦合机制时（即单光子光力耦合强度大于系统衰减时）,理论上已经预言了很多量子效应,例如光子阻塞、单光子诱导的可区分机械振子平移、声子诱导的高阶边带以及高分辨率单光子散射谱等。然而,在当前的实验条件下还很难实现真正的单光子强耦合机制,所以单纯的基于腔光力系统的量子调控方案有一定的局限性。另外,Dicke模型的超辐射相变研究中有很多问题亟待解决,比如基于腔QED系统的超辐射相变理论仍然存在很多争议,判断多格点系统所处的相仍然存在很多理论性和技术性难题。针对上述问题,在本文的第二章和第三章中,我们分别介绍了增强光力非线性和判断多格点系统超辐射相变的方法,在第四章中介绍了光力非线性操控的超辐射相变及其量子临界效应,详细内容如下:1.我们提出了在双耦合机械系统中实现光力非线性量子机制的方案。在此系统中,两个腔模分别以线性和平方光力耦合的形式与同一个机械振子发生作用。通过对机械振子进行有效的强驱动,原始的平方光力耦合项降阶为辐射压力耦合形式。更重要的是,这个辐射压力耦合强度被显著增强,可以达到单光子强耦合机制,并且可以通过调节驱动光的频率来进行调制。此外,系统的耗散能够得到有效的抑制,这使得在弱耦合光力系统中可以实现可控的声子边带和光子阻塞。这项工作提出了增强光力非线性的新方法,对探索双耦合光机械系统在现代量子科学中的应用具有重要意义,也为进一步探究基于光力系统的量子操控奠定了良好的理论基础。2.我们在拓展的Dicke-Hubbard晶格系统中建立了量子相变和能带理论的联系。在此系统中,正常相与超辐射相的边界由两条受波数调制的周期性临界曲线组成,并且这两条曲线在特定波数处发生交叉。另外,我们发现在正常相中有平带出现,而且这个平带对于系统参数的扰动具有鲁棒性。但是在超辐射相中平带消失,这是因为超辐射相变的发生破坏了相消干涉路径,最终导致平带消失。这项工作提供了一种利用实验可测的能带（或者单格点上占据数的局域性）来判断格点系统是否发生超辐射相变的方法。另一方面,该工作也提供了一种操控平带的有效方法,相关结果在非色散态的量子模拟和无衍射远距离光传播等方面有潜在应用。3.我们在一个混杂量子系统中提出了利用光力非线性操控超辐射相变及其临界效应的方案。具体来说,我们将平方光力耦合引入到普通的Dicke模型,研究了光力非线性对超辐射相变及其诱导的量子混沌、纠缠以及激发态量子相变的影响。我们发现此系统的超辐射相变和纠缠特性不受no-go定理的限制,当包含矢势平方项时,相变和纠缠熵有一个反向的变化趋势。我们拓展上述基态量子相变到激发态量子相变,发现当辅助腔模式制备在相干态时,激发态相变可以在弱耦合情况下发生。此外,平方光力耦合的引入有效地降低了混沌产生的阈值,而且使得混沌的阈值具有光子数依赖的性质。根据输入场的光子态不同,系统在可积和混沌之间转化,从而实现了单光子触发的混沌。