随着通信技术的不断发展,人们对数据业务量的要求日益增高,5G网络将会有1000倍流量增长,超密集网络成为提高数据流量的关键技术之一。为了提高超密集网络的传输性能,本文围绕“基于中继协同的超密集网络高效传输方案研究”的课题进行深入研究,研究内容涉及超密集网络中D2D通信的高效传输协议设计,基于分层多跳物理层网络编码的超密集网络吞吐量增强方法以及超密集网络的协作传输方案和性能分析。具体研究内容和主要工作如下:针对5G网络千兆级吞吐量的业务需求,研究了两种典型的超密集网络架构的无线回程解决方案,在分布式网络架构基础上,提出了一种超密集网络中设备到设备通信的传输协议设计,用户设备间可通过多跳中继实现直接通信而无需宏基站的转发;根据D2D通信的毫米波覆盖特性,考虑采用自适应带宽和毫米波动态带宽改进机制,仿真和分析结果表明,所提方案与传统通信方案相比,降低了网络的误码率,提升了系统的吞吐量,并且有效改善了通信信道的能效。针对超密集网络中基站覆盖区域缩小引起的信号衰落问题和密集部署导致的小区间干扰问题,为了同时满足密集网络的“容量”和“覆盖”需求,提出了基于分层多跳物理层网络编码的吞吐量增强方法,利用超密集网络多节点的异构分层特征,结合多跳物理层网络编码的高频谱效率特性,在无需源节点和终端节点直达链路的情况下,有效提升了超密集网络的吞吐量,节省了源到终端节点的时隙开销且降低了系统的干扰。通过仿真验证了所提方案的有效性和正确性,与传统方案相比有效提升了系统性能。针对终端无干扰和终端有聚合干扰下超密集网络协作传输的场景,分析了基站的物理位置服从泊松点分布时用户端的性能。采用多个协作中继正交发送的最大比合并传输方案分析了终端无干扰情况下接收端合并信号的中断概率及无协作中继选择的网络编码传输方案的平均误码率。考虑终端受到聚合干扰的情况,采用协作传输方案推导了聚合干扰下的终端信干噪比的概率密度函数,从而获得了终端在同信道干扰下容量的闭合表达式,通过仿真验证了理论结果的正确性。