随着移动互联网的高速发展,数据业务的需求呈现爆炸式的增长。超密集小基站系统通过更加密集的小基站部署,可以获得更高的频谱复用效率,从而实现百倍量级的系统容量提升。小基站超密集组网是满足第五代移动通信系统提出的1000倍容量提升目标的主要手段之一。但是随着小区半径的减小,基站覆盖区域重叠、小基站间严重的同频干扰成为限制系统容量提升的主要因素。小基站间利用时域、频域、空域、码域等多个维度的干扰抑制策略是解决小基站同频干扰问题的有效手段。其中多点协作传输(CoMP)技术,通过在小基站间共享用户的信道状态和传输数据信息,联合设计协作基站的下行预编码,可以利用空域资源抑制小基站间的同频干扰,显著的提高系统吞吐量。协作基站间共享的信息需要利用回传网络传输。但是,在超密集小基站系统中,若所有小基站均配置有线介质回传网络,网络的部署成本将大幅增加。无线回传技术无需配置额外的专用光纤电缆,可以提高小基站选址安装的灵活性,降低网络部署成本,是满足超密集小基站系统对轻快、经济回传网络要求的关键技术。本文针对采用无线回传技术的超密集小基站系统,以提升系统的频谱效率和能量效率为目标,对超密集小基站系统中的多点协作干扰抑制策略进行了研究。主要工作包括：针对超密集带内自回传小基站系统,本文提出了一种以用户为中心动态成簇的部分协作干扰抑制策略。根据带内自回传小基站复用接入与回传无线资源的特点,本文形成了以最大化系统下行接入链路吞吐量为目标,联合回传链路资源分配与接入链路预编码设计的优化问题。由于所提优化问题难以获得最优解,因此本文基于凸松弛和分块坐标下降法,提出了一种迭代求解算法。为降低算法的复杂度,本文还推导了自回传链路资源分配因子搜索区间的上界,并据此提出了一种启发式算法。仿真结果表明,所提算法能够提升系统接入链路吞吐量,提高超密集带内自回传小基站系统频谱效率。针对带外无线回传超密集小基站系统,本文提出了一种考虑无线回传网络功耗的干扰抑制策略。所提策略同时考虑利用以用户为中心动态成簇的部分协作和小基站休眠来分别降低回传网络和小基站的功耗。本文以最小化系统总功耗为目标,形成了保证用户最低业务速率需求的联合基站休眠与部分协作预编码设计的优化问题。该优化问题是一个非凸的混合整数非线性规划问题,无法直接求得其最优解。而采用基于遍历的两步求解算法复杂度过高。因此,本文基于半定松弛和连续凸近似提出了一种次优的迭代求解算法。仿真结果表明,所提算法可以在保证用户业务需求的同时,降低系统功耗,提高超密集带外无线回传小基站系统的能量效率。