协同通信系统通过各单天线节点共享彼此天线以构成虚拟的多天线系统,从而在不增加硬件复杂度的前提下,使得单天线系统可以获得多天线系统才具有的空间分集。通过协同技术,可有效克服信道衰落的影响,提高通信系统的可靠性,目前已成为无线通信研究领域的一个重要热点问题。放大转发(Amplify-and-Forward,AF)是其中一个很重要的协同方式,它不仅具有较低的实现复杂度,而且结合分布式空时编码(Distributed Space Time Coding, DSTC)和波束成形技术可以获得很好的空间分集,因而受到人们的广泛关注。本文针对AF协同系统,围绕DSTC和波束成形这两种关键技术进行了深入的研究。首先针对单向中继网络(One-Way RelayNetwork, OWRN)的中继节点未知信道状态信息(Channel State Information, CSI)的情况,研究了频率选择性信道下的异步DSTC结构;然后假设OWRN的中继节点已知CSI的情况,研究了平衰落信道下的鲁棒波束成形算法和频率选择性信道下的波束成形算法;最后研究了双向中继网络(Two-Way Relay Network, TWRN)的中继节点已知CSI时的波束成形算法。DSTC协同系统中各中继节点根据码字对接收信号进行对应的线性处理,但是各中继节点的分布式特性使得节点间很难达到理想的定时同步。节点间的定时误差和信道的多径衰落,破坏了DSTC码字结构,影响了DSTC系统性能。本文提出了一种基于正交频分复用(Orthogonal Frequency-Division Multiplexing, OFDM)的DSTC传输结构,在节点间存在定时误差和节点间为多径信道时仍可获得全空间分集,克服了异步传输和多径衰落对DSTC系统造成的性能恶化问题。而且所提出的传输结构只需DSTC满足线性共轭性,这样所有可应用于同步系统下的码字都可应用于此结构中,具有更广泛的适用范围。然后具体针对两中继系统,进一步提出了在源节点引入子载波分组和组内线性预编码的传输结构,理论上证明了该传输结构可同时获得全空间分集和全多径分集。仿真结果验证了理论分析的正确性。受信道估计误差、反馈误差等非理想因素的影响,实际中很难在节点获得准确的CSI。传统波束成形算法假设CSI理想,其性能在不准确CSI下严重下降。基于文献公认的鲁棒设计思想中的最坏情况设计(Worst-case Design)思想,可建立保证鲁棒性的波束成形因子设计问题,但是该问题具有无穷多个约束条件,难以求解。本文基于最坏情况设计思想,提出了平衰落信道全功率约束(Total PowerConstraint, TPC)和单个中继功率约束(Per-relay Power Constraint, PPC)下最大化目的节点SNR的波束成形设计所对应的鲁棒波束成形算法,降低了不准确CSI对协同波束成形系统的影响。该算法应用扩展的S引理和Schur补定理,建立了保证鲁棒性的波束成形设计问题中约束条件的等价表达式,将鲁棒波束成形设计问题转化为准凸(quasi-convex)问题,克服了基于最坏情况思想所建立的保证鲁棒性的波束成形设计不可解的问题。该准凸问题可通过对分搜索算法有效求解,每次搜索需判断联合线性矩阵不等式(Linear Matrix Inequality, LMI)约束和二阶锥(Second OrderCone, SOC)约束的凸问题是否可解。仿真表明所提出的鲁棒波束成形算法能够有效抵抗CSI偏差带来的性能损失。协同系统中应用OFDM技术并在时域进行循环波束成形滤波,不仅可有效抵抗多径衰落,而且具有较低的复杂度和较少信息的反馈。但是目前的时域波束成形算法很难克服单个子载波上的深衰落对整体性能的影响问题。为此,针对频率选择性信道下的OFDM协同系统,本文以最大化最小SNR准则进行TPC和PPC下的时域波束成形设计。该准则可保证各子载波上的性能,但是对应的波束成形设计问题中存在二次型分式形式,为难以求解的非凸问题。为求解这一问题,本文首先基于SDR(Semidefinite Relaxation)思想,将该非凸问题转化为半正定规划(Semidefinite Program, SDP)问题。SDR算法将对向量的优化问题转化为对矩阵的优化问题,需要结合随机化算法获得向量解,而且当时域滤波器长度较长时,其算法复杂度较高。为解决此问题,本文借鉴多用户协同系统中的波束成形算法思想,提出一种迭代算法。该算法直接优化时域滤波器因子,每次迭代只求解一个二阶锥规划(Second-Order Cone Program, SOCP)问题。仿真表明,当时域滤波器长度较短时,SDR算法性能优于迭代算法;当时域滤波器长度较长时,迭代算法性能优于SDR算法。最后对迭代算法的初始近似进行了研究,提出了一种获得合理初始近似的搜索算法。仿真表明,通过选择合理的初始近似可进一步提高TPC下迭代算法的性能。TWRN可获得比OWRN更高的传输速率,但是目前TWRN的波束成形设计一般基于SNR准则,不能保证在传输速率上有很好的性能。为此研究了平衰落信道下TWRN的中继节点总功率受限(Total Relay Power Constraint, TRPC)时最大化系统和速率(sum-rate)的波束成形算法。本文首先考虑对称信道情况,提出了一种基于分支定界思想的波束成形算法,并理论证明了该算法可获得全局最优解,且仿真表明该算法优于现有算法。考虑到分支定界算法的复杂度较高,进一步提出了一种次优波束成形算法。该次优算法假设次优解为两个已知向量的线性组合,仅需优化两个变量,且可进一步简化为优化一个实数变量,具有较低的复杂度。仿真表明该算法在中继数目较少时可获得与最优波束成形算法一致的性能。最后本文将分支定界算法思想和次优算法思想应用于非对称信道情况下的最大化系统和速率的波束成形设计问题中。理论证明此时分支定界算法依然获得全局最优解,次优算法相对于最优算法有一定的差距,但当节点功率较低时优于现有算法。