多天线系统在现代无线通信网络中得到了广泛应用。而波束成形技术则是实现多天线系统增益的关键方法之一。随着协作通信及多用户MIMO (multiple-input multiple-output)系统的提出,协作中继波束成形技术与多用户下行链路多组多播波束成形技术已成为近年来通信、信号处理等多个领域的研究热点。同时,随着系统用户数目的增多及移动数据传输业务规模的扩大,传统多用户MIMO系统面临着巨大挑战。而大规模天线技术(massive MIMO)则成为解决这些挑战最为有效的方法。在大规模天线多用户MIMO系统中,我们可以通过增加基站配置的天线数目使得通信系统具有更高的频谱和功率效率。因此,这一技术在近年来受到广泛关注。本论文围绕上述三个重要的物理层技术展开,着重研究了：协作中继波束成形技术在两跳与分层多跳中继网络中基于接收信噪比准则的设计与性能分析问题；多用户MIMO系统下行链路中基于用户公平性和传输鲁棒性的波束成形设计问题以及大规模天线多用户MIMO系统中上行链路导频传输方案设计及相应的下行链路导频污染预编码方案的设计与系统性能分析。本文的主要工作可以概括为以下四个部分：第一部分,我们研究了基于放大-转发的协作波束成形在两跳中继网络中的设计问题。我们首先考察当网络中仅有单个信源节点的情形并在信宿节点接收信噪比最大化准则下给出了当多个中继节点引入等效噪声具有相关性且中继节点受到独立最大发送功率约束条件下的最优协作波束成形方案。理论证明显示当中继采用所得到的最优协作波束成形方案时,中继噪声相关性总可以提升网络平均传输速率。接下去我们考察当网络中具有多个信源节点的情形并给出了该中继网络在采用协作波束成形方案时可达速率区域的完整刻画方法。第二部分,我们将协作中继波束成形方案的设计推广至一个分层多跳中继网络中。此时,在信宿节点接收信噪比最大化准则和独立中继发送功率约束下建立出的多层联合协作波束成形优化设计是一个困难问题。我们给出了两种多项式时间可解的逐层中继波束成形优化算法。第一种设计方法采用了交替优化的思想。在该算法的每一步迭代中,多层中继波束成形联合优化问题被限制成一个单层中继波束成形优化问题。该问题可以被等价转化为一个凸二阶锥规划在多项式时间内求解。理论证明显示该方案在广义高信噪比域下是渐进最优的。第二个设计方法采用了逐层和速率最大化设计准则。在这一准则下,每一层中继波束成形方案的选择以最大化其相邻下层节点的等效和速率为目标。在这一准则下建立出的单层中继波束成形优化问题可以通过一种连续凸近似的迭代算法近似求解。理论证明表明连续凸近似算法可以收敛至逐层和速率最大化问题的一个局部最优解。最后,数值仿真验证了所提出的设计方法能够得到比现有方案更优的网络传输速率。第三部分,我们着重研究了蜂窝通信中多用户MIMO下行链路多组多播波束成形设计问题。在假设基站完全已知所有下行链路信道状态信息时,我们采用基于用户公平性的最大-最小化波束成形设计准则。由于在一般情况下,单组多播波束成形设计问题已经被证明是NP-困难的。因此,我们给出了一种基于半定松弛的Dinkelbach-型算法与一种基于凸二次约束二次规划的连续凸近似算法近似求解所建立的多组多播波束成形优化问题。当基站无法完全获得信道状态信息时,我们采用用户接收SINR约束下系统发送总功率最小化模型进行下行链路波束成形方案设计并提出一种具有鲁棒性的联合Alamouti空时编码的秩-2波束成形方案以进一步提高波束成形方案设计的自由度并获得更高的分集增益。S-Lemma与半定松弛的方法被应用于求解数学建模出的优化问题。最后,我们给出了通过求解半定松弛方法得到的优化问题能够得到秩-2最优解的充分条件。数值仿真展示了所提出方案较传统方案在相同SINR门限值下有更高的系统可行比例。第四部分,我们研究了大规模天线多用户MIMO系统中一个最为关键的问题—导频污染问题的解决方案。通过时分双工操作,基站可以利用上下行链路信道对称性由上行链路信道估计来获得下行链路信道状态信息。但是由于信道相关时间有限,用户才能选择的正交训练序列的数目也相应受到限制。因此,系统中不同用户可能会采用相同的导频序列。这就会引起基站信道估计时发生导频污染问题。为解决这一问题,我们提出一种小区定义的上行链路导频传输方案和一种下行链路导频污染消除预编码方案。通过这样的设计,理论证明显示当基站采共轭波束成形方案发送下行数据时,用户接收SINR可以随基站天线数目增大而趋于无穷大。最后,我们得到了在基站天线数目有限时下行链路用户接收信噪比的闭式解,并通过仿真验证了所提出的上行链路导频传输方案和下行链路导频污染编码方案的性能。