超密集组网由于部署了大量无规划的低功率无线接入点,并且各个接入点之间处于非常接近的距离,相对于传统的蜂窝网络而言,超密集组网的干扰环境更加复杂,并且可能存在不会被传统的干扰管理机制和信号检测技术所消除的干扰源,也就是说传统的干扰抑制技术如小区间干扰协调和增强小区间干扰协调在超密集组网中的作用是有限的,因此需要采用更加严格的资源管理以及干扰管理方案来消除超密集组网中潜在的比较强的干扰,提升超密集组网的性能。此外,以用户为中心的虚拟小区技术被认为是5G超密集组网的关键技术之一,并且虚拟小区传输机制能够很好地抑制这种随机拓扑网络中的干扰。所以,本文面向超密集组网,从资源管理、干扰管理和虚拟小区三个方向出发,研究具有较好干扰抑制能力的传输机制与优化算法。针对超密集组网中频谱效率提升的问题,本文提出了一种基于迭代近似注水算法的子载波与功率分配方案,该方案以系统频谱效率的最大化为目标制定优化模型,进而通过低复杂度迭代近似注水算法来求解近似模型。该方案避免了传统迭代注水算法中迭代求解注水线及功率的步骤,通过一定的算法直接求解功率,大大的减少了计算复杂度。仿真结果表明低复杂度迭代近似注水算法可以在比较少的迭代次数下获得与传统注水算法相同的频谱效率,能够显著地减少算法的复杂度。针对超密集组网中复杂的干扰情况,本文提出一种基于虚拟小区分簇的超密集组网下行传输方案。该方案首先根据用户与分布式天线之间的大尺度信息构建一张代表各个用户虚拟之间潜在干扰强度的干扰图,通过干扰图对虚拟小区进行分簇。最后,在虚拟小区簇中采用干扰对齐的方式消除簇内的干扰。仿真结果表明,提出的基于虚拟小区分簇的干扰对齐算法能够获得比迫零算法和最大比传输方案更好平均用户速率。进一步的研究工作可以从视距传输模式下的超密集组网资源管理以及干扰管理等方面展开。