为了增强覆盖,提升边缘用户性能,移动通信系统中引入了无线中继技术。但是无线中继传输需要占用额外的无线资源,降低了系统的频谱效率,成为制约提升吞吐量性能的瓶颈。为了提高无线中继传输性能,业界提出了无线网络编码和多天线技术作为潜在可能的解决方案,成为目前研究的热点和难点问题。鉴于两者对干扰的处理方式互补,本文将无线网络编码技术与多天线技术进行联合设计以进一步提升中继传输性能。围绕无线多天线中继系统中网络编码的理论传输性能和优化方法,本论文对无线多天线中继系统中基于放大转发、降噪转发和解码转发等方式的网络编码传输方法进行了设计和优化,主要研究工作和创新点可总结为以下五个方面：1.单用户对双向多天线放大转发中继网络编码分集性能分析在双向多天线中继场景下,现有研究未能给出基于网络编码传输的全分集增益的波束成形设计方法。本论文针对单对用户单天线场景,提出了一种能够实现全分集的无线中继网络编码波束成形方法,在信道估计理想和存在误差两种情况下对所提传输方法的中断概率性能进行了理论分析和推导,得到了理论分析闭式解,并在高平均信噪比区间对其进行渐近分析证明了所提方法能够实现全分集,从而解决了在简单场景下网络编码传输能够达到与单向传统中继传输相同的可靠性这一关键科学理论问题。2.多用户对双向多天线放大转发中继网络编码传输方法和性能分析针对多用户对双向多天线放大转发中继场景,给出了能够消除用户对间干扰的网络编码中继波束成形处理方法,通过对同对用户信息进行网络编码,能够节约一个信号空间自由度,提升中继传输的空间复用增益；并在全局理想信道状态已知条件下,给出了遍历容量和中断概率理论分析结果；之后将所提传输方法扩展至中继天线配置数量更为一般的场景,给出了基于波束成形矩阵选择的分集性能增强方法,并通过理论分析给出了性能增益。仿真分析表明联合多天线的网络编码传输方法在存在共道干扰的情况下能够显著提升中继传输性能,当用户对数为6,平均信噪比高于18dB时,所提传输方法与基于时分网络编码方法相比用户遍历容量之和能够提升4bit/s/Hz。当用户对数为4,平均信噪比为30dB时,所提传输方法与传统迫零波束成形传输方法相比用户平均遍历容量提升了0.5bit/s/Hz。3.多用户非对称双向多天线放大转发中继网络编码传输方法和性能分析针对用户上行多址接入,基站下行单播信息的多天线放大转发中继场景,设计了基于网络编码的传输方法,能够实现上下行的联合传输,提升系统频谱效率。在信道估计理想和信道估计存在误差两种情况下,研究了用户的遍历容量性能,给出了理论分析结果。并设计了中继波束成形向量选择方法,可以对所提传输方法的分集性能进行增强。最后通过仿真对所提传输方法的性能进行对比验证,并对信道估计误差对网络编码在多天线中继系统中传输性能的影响进行评估。相比该场景下基于迫零波束成形的网络编码传输方法,当用户数为6,平均信噪比高于22dB时,所提传输方法的用户平均遍历容量能够获得0.5bit/s/Hz的提升。4.双向多天线降噪转发中继网络编码传输方法和优化设计基于放大转发和解码转发两种传统中继转发模式的网络编码传输方法在多天线场景下分别在复杂度和效率方面存在不足,本论文将基于降噪转发中继的网络编码传输方法引入双向多天线中继场景,利用多天线系统的线性联合检测降低了传统降噪转发网络编码方法信号处理的复杂度,并给出了基于求余运算的不规则叠加符号映射函数。对波束成形矩阵进行了优化设计,给出了检测性能最优和低复杂度次优两种方法。最后将所提传输方法推广至多用户对场景,并通过仿真对比验证了所提传输方法能够更好地平衡处理复杂度和传输性能。相比解码转发中继网络编码传输方法,在用户和中继天线数为2,平均信噪比为20dB时,所提传输方法能够将误比特率性能从0.18降低至0.03。这一误比特率性能与基于放大转发中继的网络编码传输方法相同,且计算复杂度大大降低。5.基于解码转发的多向传输中面向非对称符号信息的网络编码传输方法和优化设计传统物理层网络编码研究大多假设信道质量和传输速率对称。针对信道质量不理想和传输速率不对称这一实际约束问题,论文设计了面向非对称符号信息的网络编码传输方法,以用户间多向传输和基站广播信息联合传输这一场景为例对其进行了介绍,并以最小化检测均方误差为目标对波束成形矩阵进行了优化设计,给出了检测均方误差最优性能逼近的迭代算法和低复杂度的次优算法。仿真结果表明,相比基于时分的传统传输方法,所提传输方法在平均信噪比足够高的条件下能够将传输频谱效率提升近50%。这一结果表明所提传输方法在参与网络编码的信息非对称的情况下能够保证传输可靠性,放宽了网络编码对信道和参与信息对称性的要求,增加了网络编码在更为广泛、普适场景下应用的可能性。