本文在3GPP (The3rd Generation Partner Project,第三代合作计划)定义的LTE-A (Long Term Evoulution-Advanced,增强型长期演进技术)协议演进的框架下,研究FD-MIMO (Full-dimension Multiple-Input and Multiple-Output,全维度多输入多输出)和NOMA (Non-Orthogonal Multiple Access,非正交多址接入)技术。区别于传统的MIMO技术,FD-MIMO通过在发射端和接收端布置大量的相位可调天线单元,通过波束成形等方法减小波束宽度,提高用户接收信号质量并降低对临近用户的干扰,从而提高整体系统性能。但是,FD-MIMO如何运用于现有的LTE-A系统中还是一个开放的问题。其中,3D-MIMO信道建模、FD-MIMO预编码的设计、降低参考信号负担等问题是FD-MIMO协议研究的关键点。另外,非正交多址接入是3GPP工作组提出的未来通信系统有可能使用的多点无线接入技术。区别于LTE-A中使用的基于OFDMA (Orthogonal Frequency-Division Multiple Access,正交频分复用接入)的OMA (Orthogonal Multiple Access,正交多址接入)系统,在NOMA系统中,多个用户能同时复用同一个时频资源,在发射端通过对复用用户分配不同功率从而发送叠加码,在接收端通过SIC (Successive Interference Cancellation,串行干扰抵消)技术解调叠加码从而解调各自用户的信号。但是,NOMA系统的协议标准化进程还尚未启动。其中,复用用户的功率分配、信令设计、用户调度算法都是尚需要解决的问题。为了解决上述问题,本文主要分为三部分,第一部分为3D MIMO信道建模研究以及系统级平台实现；第二部分为FD-MIMO系统性能研究；第三部分为NOMA系统的性能和标准化研究。针对于3D MIMO,本文介绍了3GPP定义的3D MIMO信道建模方法包括仿真系统场景、三维用户分布建模和信道建模流程并在LTE-A系统级仿真平台实现了3D MIMO信道建模。运用数学建模和计算机仿真的方法研究了三维用户分布和发射接收角度分布,并有以下发现：1.三维用户分布更适用于现实场景；2.3D MIMO信道垂直角度比水平角度分布范围更窄,因此原有的码本设计中预编码向量覆盖3600的思路在FD-MIMO中并不一定适用。针对于FD-MIMO,在第一部分定义的3D MIMO信道下,研究FD-MIMO的预编码方案。首先提出了一种基于子空间的新型的FD-MIMO预编码系统；然后,在LTE-A系统级仿真平台上给出了验证了新型的预编码系统可以在提高系统性能的情况下,最大程度的控制参考信号的开销。最后,本文研究了NOMA系统。首先验证了NOMA系统对比于正交多址接入系统的性能提升,然后讨论了如何将运用于现有的LTE-A系统,研究了包括系统调度、功率分配方案和信令开销等问题。