理论研究的结果应用于实际系统中,必须要考虑实际系统中的硬件非理想性。非理想性的存在,使得系统的容量、频谱效率、信号检测的准确度等都有一定的损失。相比传统系统,在未来通信系统中高阶调制方式、大规模天线、毫米波等技术的使用,使系统的非理想性特征以及受非理想性的影响有新的表现。比如,毫米波段器件的非理想性更为突出;大规模天线系统(Massive Multi-Input Multi-output,M-MIMO)的实现要求降低基站各射频单元的成本与功耗,而低成本低功耗器件将引入更明显的非理想性。在实际系统的实现中,硬件非理想性不能被忽略,在通信的关键技术研究中也需要将非理想性加入到系统模型,并探究非理想性的影响。考虑硬件非理想性问题具有重要的研究意义和实用价值。本文关注大规模天线系统中存在IQ失衡(IQ imbalance,IQI)这一非理想性因素,考虑全数字系统、混合波束系统以及有限精度量化系统。从时分双工(Time Division Duplexing,TDD)传输模式的信道估计、下行链路的预编码方案以及可达速率三个方面展开工作,主要的研究成果和贡献如下:首先,分析用户(User Equipment,UE)和基站(Base Station,BS)存在IQ失衡时大规模天线系统的系统性能。基于对称性IQ失衡参数模型,分析了IQ失衡在采用最小均方(Least-Square,LS)准则和线性最小均方误差(Linear minimum mean square error,LMMSE)准则时对上行有效信道估计性能和下行链路可达速率的影响,推导了信道估计均方误差(Mean Square Error,MSE)以及下行链路可达速率的闭合表达式,并给出了在基站天线数目和发送功率趋于无穷的极限条件下的渐进特性。结果表明,基站IQ失衡对上行有效信道估计的影响更为突出,用户IQ失衡对信道估计的影响可以忽略;提高训练序列的长度可以有效减弱基站IQ失衡的影响。同时,IQ失衡的存在使得下行链路可达速率随天线数目、发送功率的增加趋于有限边界,用户IQ失衡主要决定边界值的高低;基站IQ失衡对下行链路可达速率的影响可以通过增加天线数目来减弱。其次,研究IQ失衡参数与无线信道估计算法。将I路和Q路作为两路独立的虚拟链路,基于上行实数扩展等效信道信息,提出了 IQ失衡参数与无线信道估计算法。基于估计得到无线信道信息并采用广义线性(Widely-Linear Zero-Forcing,WL-ZF)预编码方案进行下行预编码设计,以削弱上行IQ失衡对下行链路可达速率的影响。通过数值结果对比了基于上行实数扩展等效信道信息与基于无线信道信息设计下行预编码矩阵时系统的性能,后者将进一步提升下行链路可达速率的性能,且IQ失衡越严重所带来的收益越高。同时,对比不同迭代次数下的算法性能,得到5次以内的迭代即可实现极好的估计效果的结论,验证了算法的有效性。接着,研究存在IQ失衡的混合波束(Hybrid Beamforming,HBF)毫米波系统。首先考虑已知无线信道信息的情况,分析了当用户和基站存在IQ失衡且模拟波束通过相位提取、数字波束采用ZF预编码和采用WL-ZF预编码设计时,下行链路可达速率的闭合表达式及渐进特性,对比了全数字波束(Full-Digital Beamforming,FD)与混合波束的性能,并探究了相移器精度对系统性能的影响。分析与数值结果表明,混合波束相比全数字波束受IQ失衡的影响更为严重,且用户端IQ失衡和基站端IQ失衡对混合波束系统可达速率的影响相近。当系统存在IQ失衡时,对于全数字系统和混合波束系统,采用WL-ZF预编码相比采用ZF预编码可以带来显著收益。同时,相移器的量化比特数b>3时,量化精度的影响可以忽略。最后,给出了基于码本的混合波束设计方法,并通过仿真结果验证了其有效性。最后,研究有限精度量化下存在IQ失衡的大规模天线系统。基于加性量化噪声模型,分析获得有限精度量化下存在IQ失衡大规模天线系统的信道估计和下行链路可达速率的性能,给出了复数有效信道和实数扩展信道估计MSE的闭合表达式及渐进特性,以及采用ZF预编码和WL-ZF预编码下行链路可达速率的解析表达与渐进特性。理论分析和仿真结果表明,量化误差和IQ失衡皆会使得信道估计误差存在非零平台,而采用强正交特性训练序列可消除IQ失衡的影响。同时,量化误差和IQ失衡的存在使得下行链路可达速率受限,其中用户端量化误差以及IQ失衡主要决定最后的速率边界值,基站端量化误差和IQ失衡的影响可通过增加天线数来弱化。