分布式天线系统（Distributed Antenna Systems，DAS）与毫微微蜂窝基站（Femto）是未来无线通信系统中十分重要的组成部分，它们都具有发送功率低、覆盖范围小并且部署成本较低等特点。一方面，它们往往进行高密度部署，能够有效提高通信系统的覆盖区域，消除通信系统的覆盖盲点；另一方面，它们支持的用户数较少，为每个用户分配的资源较多，能够满足用户的高速率通信需求。部分频率复用（Fractional Frequency Reuse，FFR）能够有效提高小区边缘用户的接收信号与干扰加噪声比（Signal-to-Interference-plus-Noise Ratio，SINR）以及整个通信系统的频谱效率。此时，传统的宏小区被划分为小区中心区域与小区边缘区域，而所有宏小区的中心区域将使用相同的频带，而在相邻宏小区的边缘区域部署完全正交的频谱资源。此时，小区中心区域的用户离相邻小区的宏基站距离较远，其收到的共信道干扰经过长距离衰减将大大降低，用户的接收SINR能够满足其需求；而小区边缘区域的用户将不再收到来自相邻小区的共信道干扰，其接收SINR获得提高。从频谱效率的角度来看，采用FFR的通信系统的小区边缘区域的频谱效率仍然很低。为了进一步提高小区边缘区域的频谱效率，DAS可以部署在宏小区的边缘区域；另外我们在系统的整个覆盖范围内随机部署Femto基站，用于服务通信系统的室内用户。本文从系统资源分配的角度出发，针对上述的无线通信系统进行研究，并取得了若干具有创新性的研究成果。论文的主要工作和创新点可概括如下：1.对于小区边缘区域的终端用户而言，它由距离其最近的分布式天线提供服务；当终端用户处于两个分布式天线中间位置时，它将收到来自于相邻分布式天线的强共信道干扰。为了降低相邻分布式天线之间的共信道干扰，采用多点协作（CoordinatedMulti-Point，CoMP）传输可以有效降低甚至消除多用户之间的共信道干扰。本文采用非支配排序基因算法（Non-dominated Sorting Genetic Algorithm II，NSGA-II）对基于分布式天线系统的FFR通信系统进行了研究，对分布式天线系统的部署位置、宏基站与分布式天线之间的功率分配以及系统的频谱资源分配进行了优化。该算法能够有效提高该通信系统的系统吞吐量，同时能够降低该网络的覆盖盲点。大量的仿真结果表明，无论对于那种频谱分配方案，相对于传统的通信系统而言，基于分布式天线的无线通信系统都能够获得更高的系统吞吐量与较高的覆盖率。如果发送端具有当前所有链路的完美CSI，那么基于CoMP传输的无线通信系统将获得3dB的系统吞吐量增益；然而，当通信系统的实际信道估计误差、信道量化误差等信道误差较大时，其能够达到的系统性能将逐渐降低，甚至比传统的非CoMP传输的系统更差。研究结果表明，实际通信系统采用CoMP传输时其信道状态信息误差必须控制在一定的范围内。2.对于基于分布式天线的FFR通信系统而言，CoMP传输要求在发送端具有当前所有链路的信道状态信息（Channel State Information，CSI）。CoMP传输抗共信道干扰的能力取决于发送端的预编码矩阵的准确性，而发送端的预编码矩阵又是当前所有链路CSI的函数。在实际的通信系统中，尤其是针对上、下行采用频分复用（FrequencyDivision Duplex，FDD）的通信系统而言，接收端通过对导频信号进行估计来获得当前链路的CSI估计值，然后对其进行量化处理并反馈回发送端。另一方面，CoMP传输总是假设发送端与接收端能够进行完美的时间与频率同步，并且假设发送端的所有信号同时到达接收端。本论文针对上述问题就信道估计误差、量化误差、反馈时延以及收发端之间的时间频率偏差对多种频率复用技术下CoMP传输的影响进行了研究，同时我们推导出迫零预编码和随机向量量化处理时的协作传输增益的理论值，它有助于基站协作传输的理论分析工作。3.为了提高通信系统的频谱效率同时提高系统的用户接收性能，我们考虑在宏小区的边缘区域部署DAS，同时在宏小区内部署Femto基站分别支持系统的边缘用户以及室内用户。本文针对基于DAS与Femto的通信网络进行了研究，推导出了基于DAS与Femto基站的终端用户接收SINR的分布函数，并给出了不同SINR门限下的用户平均中断概率以及系统的空间平均吞吐量。本文的研究结果表明，对于采用统一频率复用（Unity Frequency Reuse，UFR）的系统而言，基于DAS和Femto的双层网络的优化设计与Femto基站的密度无关；当系统的频率分配方案采用FFR时，随着Femto基站密度越来越高，宏小区将细化为以宏基站以及分布式天线为中心的覆盖区域更小的微小区。4.当终端用户处于宏小区的边缘区域时，相邻宏基站与多个终端用户形成网络多输入多输出（Network Multiple-Input Multiple-Output，Network-MIMO）系统，基站协作传输可以有效降低多用户之间的共信道干扰。由于实际通信系统中存在的信道估计误差、信道量化误差以及反馈时延，当基站协作传输不能满足用户的需求时，本文提出了基于联合网络单元（Coalition Network Elements，CNE）的两跳传输方案，其中相邻的宏基站在第一跳中对多个终端用户进行基站协作传输，而CNE负责其到终端用户之间的第二跳传输。当基站协作传输采用迫零（Zero-Forcing，ZF）预编码算法且终端用户采用随机向量量化（Random Vector Quantization，RVQ）处理估计到到的信道状态信息时，本文推导出了基站到用户端的协作传输增益，同时本文推导出了所提传输方案中的从CNE到终端用户的第二跳传输的概率，从而给出了终端用户的统计接收SINR。研究结果表明，本文提出的基于CNE的联合两跳传输方案能够有效提高边缘用户的接收SINR，同时该传输方案的系统性能对链路CSI的准确性要求降低，抗CSI的能力增强。大量的实验仿真结果表明本文提出的基于CNE的两跳传输方案可以作为传统的基站协作传输方案的备份，并且当CNE的贪婪因子的最优值为0.45。