随着移动通信业务的飞速发展,当前可用的频谱资源已经无法满足未来无线业务需求,充分利用毫米波频段资源成为解决这一问题的主要途径之一。毫米波频段通信增加了系统容量。然而,如何提高毫米波频段通信的可靠性成为设计实际系统的挑战。结合大规模多输入多输出(MIMO,Multiple-Input Multiple-Output)技术,毫米波频段通信的可靠性被大大提升,而毫米波技术同时解决了大规模MIMO的配置难点。在传统大规模MIMO中,使用纯数字预编码需要配置大规模射频链路,从而造成很高的功耗和硬件成本。为了减小功耗和硬件成本,当前主要有两类方法。一种方法是采用少量射频链路下的新系统架构;另一种方法是使用低精度数模转换器(DAC,Digital-to-Analog Converter)/模数转换器(ADC,Analog-to-Digital Converter)。当使用少量射频链路时,需要采用混合数字与模拟收发技术,系统性能相比于纯数字处理会有较大变化。因此,研究混合收发技术下的大规模MIMO系统性能非常必要。论文主要针对大规模MIMO系统,研究了混合收发技术下的系统性能以及混合架构和低精度ADC下的宽带毫米波信道估计。首先,考虑射频链路共享架构下的大规模MIMO系统,论文第二章研究了混合数字模拟收发技术和特定技术下的系统性能。针对大规模多用户MIMO系统下行链路,论文给出了相位对准的混合预编码方案设计并研究了该方案下的系统性能。论文然后对混合预编码架构进行优化设计,提出了一种新型移相开关网络混合预编码架构并给出了该架构下的混合预编码设计方法,进一步减小了混合预编码电路功耗。针对中继射频链路受限的大规模MIMO中继系统,论文进一步研究了中继混合收发技术以及该技术下的系统性能。然后,考虑基站射频链路受限的大规模MIMO中继系统上行链路,论文第三章研究了基站侧的混合模拟与数字检测方案。该方案中,模拟检测矩阵各元素的相位选取为级联两跳信道矩阵对应元素的相位。论文分别推导了无限精度相位和量化相位下的系统性能表达式,它适用于任何信噪比,进而得出中继和基站不同信噪比下的性能渐进值。论文接着研究了该系统降低用户和中继发送功率的能力。随着天线数的增加,在系统可达和速率不减小的前提下,用户和中继的发射功率可以同时按天线数目的指数规律下降。论文进一步研究了可达和速率最大化的多用户最优功率分配问题。论文通过引入辅助变量将其转化为等价问题,利用KKT分析求出了最优功率分配系数。最后,考虑宽带毫米波大规模MIMO系统,论文第四章研究了收发端混合构架下低精度ADC信道估计问题。通过Bussgang定理下非线性ADC量化的线性建模,将问题转化为统计等效的线性估计问题,然后顺序优化频率平坦的模拟权重和频率选择性的数字权重。由于没有信道方向性先验信息,模拟收发权重矩阵设计为各向同性的矩阵。在得出等效噪声的统计特性之后,论文推导出了均方误差意义上最优的数字估计权重矩阵表达式。论文提出的信道估计器适用于任意信道。当毫米波信道存在稀疏特性时,该信道估计器利用额外的正交匹配追踪进一步减小低精度ADC造成的量化噪声的影响。仿真结果表明,该信道估计方法在不同ADC量化精度下的性能均好于传统方法。