在第四代移动通信系统商用之后,下一代移动通信系统成为了学术界研究的热点,尤其是下-代移动通信在峰值速率、用户体验速率、移动性、端到端时延、连接数密度、流量密度等方面所提出的新要求。为了适应这些要求,有必要在现有通信系统中引入低复杂度波束成型技术、大规模天线技术、全双工技术、多层异构网络技术、干扰管理技术以及无线携能传输技术等一系列新技术。本论文深入研究了“多层异构无线通信网络中的高效传输方案研究”这一课题,针对含中继、小小区、设备到设备(Device-to-Device, D2D)通信的多层异构网络,考虑天线选择、全双工、无线携能传输等问题,研究了多层异构无线通信网络中的高效传输方案并进行了性能分析。本论文研究的内容包括Nakagami-m信道下双向中继天线选择及性能分析,基于全双工的双向中继天线选择及性能分析,中继增强型无线携能传输系统高效传输方案研究,基于干扰消除技术的异构网络性能分析,基于干扰消除技术的中继增强型异构网络性能分析,D2D系统中带服务质量(Quality-of-Service,QoS)约束的多天线选择及性能分析。具体研究内容和主要贡献如下：1.针对双向多天线放大转发和译码转发中继系统中的天线选择问题,提出了基于最大最小准则的天线选择方案,并研究了在所提方案的情况下双向中继系统的性能。首先推导了所提方案中接收端信噪比的概率密度函数和累计密度函数,在此基础上推导了系统中断概率和平均误码率的闭合表达式。通过推导和仿真可以看出,所提的天线选择方案可以达到满分集增益。为了进一步提升系统的频谱效率,我们提出了一种混合天线选择方案。数值仿真结果显示了所提方案相对于原有方案的性能优势。2.针对双向大规模天线全双工中继系统,提出了一种基于最大最小准则的天线选择方案,并分析了采用所提方案时系统的性能。首先推导了终端用户的接收信噪比概率密度函数的近似表达式,以及系统中断概率的闭合表达式。同时研究了当天线数目趋近无穷时的渐进表达式。仿真结果表明，所做的理论分析能够有效的反映系统的可靠性,特别是在发送信噪比比较大时更加精确。3.针对无线携能中继传输系统,分别提出了两跳译码转发携能中继系统的时隙分配方案和双向放大转发中继中的天线选择方案,并研究了所提方案对系统性能的影响。首先针对两跳译码转发系统中继端能量获取问题,推导了接收信号的累积密度函数,并得到了系统中断概率的渐进表达式,给出了中断概率、能量传输时隙和功率划分因子之间的关系,并提出了基于服务质量的时隙分配方案。然后针对双向放大转发系统用户端能量获取问题,基于最优接收信噪比、最优接收能量以及加权中继选择准则给出了三种中继选择方案。所提方案在保证系统传输质量的同时也保证了无线充电节点的能量需求。4.针对异构网络下行链路中的干扰问题,以降低宏基站到小小区的干扰为准则提出了基站端干扰消除算法,并分析了采用此种方案后异构网络下行链路的整体性能。首先推导了宏基站和小小区用户接收端信噪比的概率密度函数和分布函数。在此基础上,得到了系统整体中断概率的闭合表达式。理论推导和仿真结果表明,干扰消除方案能够有效提升异构蜂窝网络的整体性能。5.针对多层异构网络下行链路,同时考虑宏基站直接传输和中继辅助传输,在宏基站端提出了干扰消除算法来消除宏基站对于小小区用户的干扰。通过理论推导得到了宏基站用户和小小区用户接收信噪比的概率密度函数和累计密度函数,并且给出了系统中断概率和平均误码率的闭合表达式。通过理论推导可以看出,小小区用户的信噪比增益来源自宏基站侧对于跨层干扰的消除。所以干扰消除能够有效改善小小区的性能,而系统整体性能也因此得到改善。数值仿真结果验证了理论推导的结论。6.针对D2D通信系统,研究了基站端多天线选择问题,分析了该D2D系统的整体性能,并提出了基于系统服务质量的多天线选择算法。首先针对基站内的激活用户和D2D用户分别推导了概率密度函数和累积密度函数,进而得到了D2D系统的整体中断概率。基于推导结果,提出了基于服务质量约束的多天线选择方案来进一步提高基站端的能效,其中所需的天线数根据服务质量约束和发送信噪比来确定。最后通过仿真验证了所做推导的正确性,以及展示了所提方案相对于最优天线选择的优势。