为提升用户体验,应对无线数据业务需求呈指数式增长以及新业务需求带来的挑战,未来新一代无线网络需要支持高质量、高传输率、高用户密度、高移动性、低时延等场景。作为未来新一代移动通信系统的关键技术之一,大规模多输入多输出（MIMO,Multiple-Input Multiple-Output）技术是近年来的研究热点。通过在基站侧配备大规模天线阵列,大规模MIMO系统能够提供极大的性能增益,也为研究者们提出了系统设计的难题。本论文研究基于算子值自由概率的大规模MIMO系统理论。首先,建立随机矩阵多项式的基于算子值自由概率的自由确定性等同,严格证明了随机矩阵多项式与其自由确定性等同具有渐近相同的分布特性,进而提出基于自由确定性等同的容量分析方法。所考虑随机矩阵多项式由同样大小的确定方矩阵和随机Hermitian矩阵构成,并且随机矩阵中元素为独立不同方差的高斯变量。从自由概率理论和算子值自由概率理论的一些重要定义和结果出发,研究所考虑随机矩阵多项式的自由确定性等同。首先,通过将随机矩阵中独立高斯变量替换为自由独立的半圆和圆分布变量,建立所考虑随机矩阵多项式的自由确定性等同。随后,重新证明当确定方矩阵为对角阵时,所考虑随机矩阵多项式及其自由确定性等同分布渐近相同,并且所考虑独立随机矩阵间满足算子值渐近自由。和文献中基于算子代数的证明相比,所用证明较易于理解。进一步,首次严格证明当确定方矩阵为一般矩阵时,所考虑随机矩阵多项式及其自由确定性等同分布仍然渐近相同,并且所考虑独立随机矩阵及一般确定矩阵满足算子值渐近自由。在MIMO系统中,信道Gram矩阵通通常可表示为一随机矩阵多项式,其自由确定性等同可用于信道遍历互信息量确定性等同的推导。基于此,以文献中已有模型为例,提出并详细阐述基于自由确定性等同的容量分析方法。接着,建立一般性大规模MIMO信道Gram矩阵的自由确定性等同,推导出其柯西变换和香农变换的闭式表达,进而得到大规模MIMO上行信道遍历互信息的确定性等同及和速率容量可达的最优发送协方差矩阵。所考虑信道模型较文献中已有模型更加一般,能够覆盖文献中已有场景。具体而言,考虑基站配置多个分布式放置的天线阵列及用户配置多天线的大规模MIMO系统。并且,每一用户和各天线阵列之间的信道为一联合相关莱斯衰落信道。首先,将信道Gram矩阵表示为由独立的高斯矩阵和确定矩阵所组成的随机矩阵多项式。接着,通过将独立的高斯矩阵替换为满足一定算子值自由独立条件的算子值随机变量,建立信道Gram矩阵的自由确定性等同,并严格证明该自由确定性等同和原矩阵的分布是渐近相同的。随后,利用算子值自由条件以及算子值半圆分布变量的性质,推导出所建立自由确定性等同柯西变换的闭式表达。进一步,根据柯西变换和香农变换间的关系,推导出该自由确定性等同香农变换的闭式表达,得出信道遍历输入输出互信息量的确定性等同,并证明当所考虑信道模型退化为文献中已有场景时,所得信道容量确定性等同结果和文献中已有结果一致。在所得信道遍历互信息量确定性等同的基础上,推导出和速率容量可达的最优发送协方差矩阵。数值仿真结果表明,所提信道遍历输入输出互信息量确定性等同结果,不仅数值精确,而且计算高效。然后,严格证明了大规模MIMO信道Gram矩阵经验矩和其自由确定性等同矩渐近相同,推导出莱斯和瑞利衰落信道下信道Gram矩阵自由确定性等同的算子值矩和标量矩的闭式表达,进而提出大规模MIMO上行低复杂度多项式展开检测器。所考虑大规模MIMO上行链路中用户配置多天线,并且基站和用户之间的信道为联合相关莱斯衰落信道。首先,利用算子值自由概率理论,严格证明信道Gram矩阵经验矩和矩是渐近相同的。接着,建立信道Gram矩阵的自由确定性等同。所得自由确定性等同可看作一些满足算子值自由条件的随机变量之和,并且其矩为原Gram矩阵矩的确定性等同。随后,根据算子值自由随机变量之和的性质以及算子值矩和算子值累积量之间的关系公式,推导出莱斯衰落信道下信道Gram矩阵自由确定性等同的算子值矩和标量矩的闭式表达。进一步,推导出信道退化为瑞利衰落信道时所建立自由确定性等同算子值矩和标量矩的较简单闭式表达。在此基础上,提出低复杂度多项式展开检测器,并推导出该检测器的均方误差（MSE,Mean Square Error）性能。通过将矩阵求逆用一近似多项式替换,低复杂度多项式展开检测器降低了最小均方误差（MMSE,Minimum Mean Square Error）检测器的计算复杂度。数值仿真结果表明,所提检测器可取得接近MMSE检测器的性能。最后,提出了适于典型移动通信场景的大规模MIMO下行鲁棒传输理论方法,预编码设计问题为包括信道均值和方差信息的非完美信道信息下加权遍历和速率最大化问题,将其转化为迭代求解二次型优化问题,提出基于确定性等同的低复杂度线性预编码设计算法,并证明了均值为零时波束域传输的最优性。所考虑大规模MIMO下行链路中用户同样配置多天线。首先,建立适于典型移动通信场景的大规模MIMO下行系统模型。其中,基站端可获得的各用户信道状态信息为非完美信道状态信息,具体来说,可建模为已知信道均值和方差信息的联合相关模型。接着,提出适于所建立系统模型下的鲁棒传输理论方法。所考虑预编码设计问题采用最大化加权遍历和速率准则。随后,根据MM（Minorize-Maximize）算法,将原复杂非凸优化预编码设计问题转化为迭代求解二次型优化问题。文献中已经证明,该替代问题的解可收敛到原优化问题的局部最优点。所得二次型问题具有闭式最优解,但是最优解中需要使用随机矩阵的期望。为解决这一问题,引入自由确定性等同方法,推导出所需矩阵期望的确定性等同,提出基于确定性等同的线性预编码设计算法。在此基础上,提出两种低复杂度算法,分别用于一般情形和统计信道状态信息均值为零时的情形。此外,还证明当信道均值为零时波束域传输的最优性。数值仿真结果表明,所提鲁棒线性预编码设计方法和其低复杂实现方法能取得高频谱效率。