如今,随着移动通信技术的不断发展,人们对于通信系统的数据传输速率、网络容量、频谱利用率等方面都有着更高的需求,但是同时5GHz以下带宽分配已经十分拥挤,可用于移动通信的频谱资源有限。为满足无线通信发展的需要,可以用终端直通技术(Device-to-Device,D2D)来提高频谱利用率,减少和基站通信的负担。而在两个D2D用户之间距离过大或者信道条件很差时,引入中继能够很好地提高D2D用户之间通信的成功率。同时,非正交多址(Non-orthogonal multiple access,NOMA)技术中一个频段能服务于多个用户而且能有效地减少它们间的干扰,提高频谱利用率,由此引起众多学者关注。本论文将NOMA技术与中继D2D通信系统进行结合,针对单蜂窝小区中蜂窝用户与D2D用户复用相同频谱资源的场景,分别研究了上行复用和下行复用情况下的系统性能,并提出容量最大化的功率分配方法。具体内容如下:1.针对下行中继D2D通信的场景,通过引入NOMA有效避免因基站发射功率过大而对D2D链路产生的干扰,考虑一对带中继的D2D与一个蜂窝用户复用下行频率资源的情况,推导出该系统瑞利信道模型下的容量近似表达式,并在该表达式的基础上提出使用一维搜索的功率分配方法使得系统容量最大,仿真结果验证了理论推导的正确性,提出的功率分配方法收敛速度较快且能很好地提升系统容量,仿真结果还表明使用NOMA的系统容量明显优于不使用NOMA的系统容量。2.针对上行中继D2D通信的场景,通过引入NOMA进行传输的D2D组的新概念,使得一个D2D发射机可以与多个D2D接收机进行传输,从而提高频谱资源的利用率,考虑一对带中继的D2D组与一个蜂窝用户复用上行频率资源的情况,推导出D2D链路的系统中断概率和容量的解析表达式,仿真结果验证了理论推导的正确性,并且表明这种情况下系统容量优于不使用NOMA的情况。