移动通信的一个重要问题是有限的频谱资源和多媒体服务需求的爆炸式增长间的矛盾。为提高系统容量,人们对高频谱效率的通信技术进行了广泛而深入的研究。在众多技术中,微蜂窝和宏蜂窝共存因其有效提高系统容量的能力而备受关注,因而也是本文的研究课题。在微蜂窝和宏蜂窝共存的异构网中有诸多研究方向,本文主要研究微蜂窝和宏蜂窝的小区间干扰问题。当将微蜂窝用于近场通信时,其会对其附近的宏蜂窝用户造成严重干扰。因此,小区间干扰是阻碍频谱效率提高的主要因素,并可能削弱引入微蜂窝带来的容量增益。所以本文研究用于这类宏蜂窝和微小区共存异构网络的功率控制和预编码算法。在功率控制中,干扰通常被视为噪声,可以通过动态调整传输功率来避免。受博弈论启发,本文针对异构网,提出了基于斯塔克尔伯格博弈的功率控制算法。在该算法中,宏基站被建模为博弈的主导者,微基站则被建模为博弈的跟随者。一方面,宏基站在其干扰容限内允许微基站和它共用频谱,并根据微基站造成的干扰收取费用。另一方面,微基站根据宏基站的干扰价格来计算自己的最优发射功率。该博弈的目标是达到斯塔克尔伯格均衡,在该点上宏基站和微基站的收益都达到最优,因而双方都没有改变策略的动机。在考虑实际约束的情况下,本文推导了该博弈平衡点的闭式解,从而避免了传统方法中对最优干扰价格和功率分配方案的穷举搜索。此外,在绿色通信的研究中蜂窝网的能量效率越来越受到关注。因此本文还将基于斯塔克尔伯格博弈的模型进行了扩展,以支持异构网中以优化能量效率为目标的功率分配。多发多收(MIMO)技术也因其提高系统容量的能力而受到广泛关注。在发端和收端都使用多天线的情况下,通过合理的预编码矩阵设计,可以在发送端就将小区间干扰抵消,从而在不增加发射功率的情况下提高传输可靠性和数据率。基于MIMO,研究者提出一种名为多点协作接收/发送(CoMP)的高效小区间干扰消除技术。虽然对于联合处理传输(CoMP-JP),脏纸编码(DPC)可以达到最大理论容量。但DPC是非线性变换,计算复杂度很高。以块对角化(BD)为代表的线性预编码方案复杂度更低,在实际中更为可行。针对宏蜂窝和微蜂窝共存的异构网络,本文提出了一种改进的BD干扰消除算法。在该算法中,传统BD算法中复杂的SVD分解被替换为简单的迫零反转,QR分解和LR分解,从而降低了复杂度。综上所述,本文主要研究用于微小区和宏小区共存异构网络的快速干扰控制算法和低复杂度预编码算法。