随着5G时代的来临,人们对数据传输速率和网络服务质量的要求不断提高,现有的无线传输技术和网络架构已难以满足未来无线通信业务的需求。终端直通(Device-to-Device,D2D)通信作为5G蜂窝系统的关键技术之一,通过允许用户终端直接进行信号传输的特性以及复用蜂窝资源的能力以实现降低网络基站负载、减小通信时延、节省终端能量、提高频谱利用率和小区吞吐量,近年来已引起极大关注。协作中继(Cooperative Relay)技术作为构建5G异构网络的重要手段,通过终端协作获得空间分集增益以对抗移动场景下的多径衰落,在增强链路可靠性、提高频谱有效性、扩展通信覆盖范围以及增加系统传输速率等方面具有独特的优势,已在4G蜂窝系统中被广泛采用。本文将D2D通信与协作中继技术相结合,构成基于中继协作的D2D系统,以增强D2D的通信质量、拓展D2D的通信范围,进而提升蜂窝系统的总体性能与服务质量。针对基于中继协作的D2D系统,本文从分析其中断性能和设计干扰抑制方案两大方面进行了研究,目标是确定协作中继的转发方式和选择中继范围,并就复用资源所引起的干扰问题提出解决办法。首先,研究了频谱正交模式下基于中继协作的D2D通信中断性能。针对中继采用解码转发(Decode-and-Forward,DF)和放大转发(Amplify-and-Forward,AF)两种方式的情况,分别推导出相应的协作D2D中断概率表达式,并依据推导式分析终端位置和终端发射功率等参数对系统中断性能的影响,同时通过比较基于中继协作的D2D与传统直通D2D的中断概率,提出中继选择方案以提升系统的中断性能。其次,研究了频谱复用模式下基于中继协作的D2D通信中断性能。考虑了协作D2D与蜂窝通信共享网络上行资源的场景,推导出蜂窝终端对D2D接收终端和协作中继的平均干扰功率表达式,并给出了干扰功率随终端位置的变化趋势。在此基础上,得出了DF和AF中继协作下D2D的中断概率表达式,并分析了相关网络参数对中断性能的影响,进而通过对比不同D2D传输方式的中断概率,确定了频谱复用模式下的中继选择方案。然后,研究了单对D2D复用蜂窝资源场景下的干扰抑制问题。通过引入协作中继构成了二维虚拟MIMO D2D系统,将D2D的干扰抑制问题转化为以D2D收发终端的编解码向量为优化变量、以最大化D2D接收SINR为优化目标的收发联合设计问题,并提出了相应的次优和最优算法以求解该优化问题。次优算法根据干扰功率的瑞利商形式得到抑制蜂窝干扰效果最佳的解码向量,据此求出使得有用信号功率最大的预编码向量;最优算法则根据D2D接收SINR的广义瑞利商形式,联合求解收发终端的编解码向量以最大化接收SINR。最后,研究了多对D2D共享蜂窝资源场景下的干扰抑制问题。通过引入协作中继构成了虚拟MIMO系统,依据网络中任一D2D接收SINR的广义瑞利商形式,将多个D2D收发终端的编解码向量联合优化问题简化成非线性方程组进行求解,并提出相应的D2D接收SINR提升算法以处理该非线性方程组,所提算法在考虑抑制网络干扰的同时保证了D2D通信性能的公平性。