无线物理层安全旨在利用无线信道的特性来设计有效的安全通信策略,它从信息论安全角度增强现有无线通信系统的安全性,为解决无线通信安全问题提供了种新的思路,具有广阔的研究和应用前景。多用户多输入多输出(Multiple-Input Multiple-Output, MIMO)系统通过利用空间资源,采用灵活的空时处理及预编码技术可以使基站同时与多个用户进行通信,能极大地提高系统的吞吐量。本文研究了多用户MIMO系统下行链路物理层安全技术,以保证用户服务质量以及最大化系统保密容量为目的,研究兼顾信息传输安全性、可靠性和有效性的通信手段,在保证合法用户传输可靠性和有效性的同时,从信息论意义上最大限度降低窃听者能够获取的信息量。论文从用户服务质量(Quality of Service, QoS)的角度,首先对广义单用户MIMO窃听信道的线性预编码设计进行了研究。以均方误差(Mean Square Error,MSE)作为QoS性能准则,针对发送端已知合法用户准确信道矩阵的情况,根据是否已知窃听者的信道状态信息,分别提出了两种基于线性最小均方误差(Minimum Mean Square Error, MMSE)收发机联合优化的物理层安全传输方案。第一种方案考虑发送端未知窃听信道矩阵的情况,采用人工噪声辅助的发送策略,在满足合法用户给定MSE要求和总功率约束的条件下,通过最大化人工噪声的发射功率,从而最大程度恶化窃听者的接收质量；第二种方案假设发送端已知窃听信道矩阵,采用最优线性MMSE预编码来发送秘密数据流,在满足合法用户给定MSE要求的同时最大化窃听者可达到的MSE。仿真结果表明,以MSE为准则设计的物理层安全传输方案,可以在保证合法用户接收质量的同时最大程度地恶化窃听者的接收性能,从而实现信息传输的可靠性和保密性。论文进一步考虑同时存在多个合法用户的情形,假设窃听信道信息未知,根据基站获取到的合法用户信道信息是否理想,研究了下行多用户MIMO系统安全通信的掩蔽波束成形方案。该方案基于人工噪声辅助的策略,在满足每个合法用户给定MSE要求和总功率约束的条件下,最大化人工噪声的发送功率以最大程度干扰窃听者。假设系统采用时分双工(Time Division Duplex, TDD)模式,发送端信道状态信息(Channel State Information at the Transmitter, CSIT)可以利用信道的互易性而获得。当基站获取到的CSIT理想时,采用MMSE平衡算法可以最小化满足合法用户链路传输所必需的和功率,利用剩余的发送功率广播人工噪声来最大程度地恶化窃听者的接收质量；针对CSIT非理想情况,为了解决由于合法用户信道和人工噪声之间的正交性被破坏而造成的噪声泄漏问题,论文主要考虑了信道估计误差和时延两种误差来源,首先对这两种信道误差进行建模,建立了一种随机信道状态信息不确定性模型,然后采用贝叶斯方法推导出了平均MSE上下行链路对偶性,利用该对偶性提出了一种具有鲁棒性的掩蔽波束成形算法。仿真结果表明所提鲁棒性算法能够极大地降低系统对CSIT误差的敏感性,在满足各个用户给定MSE要求的同时,最大程度地恶化了潜在窃听者的接收质量。论文继而研究了频分双工(Frequency Division Duplex, FDD)系统中,协同干扰下的单用户多输入单输出(Multiple-Input Single-Output, MISO)窃听信道中发送端量化信道信息对系统可达保密速率的影响。协同干扰技术是人工噪声辅助策略的扩展,它通过引入一个友好的帮助节点来提供干扰信号以恶化窃听者的接收质量。在给定合法用户总反馈比特数目的情况下,研究了如何给发送节点和帮助节点反馈比特最优分配的问题。首先假设发送端已知窃听信道的统计分布信息,论文研究了最大化遍历保密速率策略,推导了系统可达遍历保密速率的解析表达式。然后研究了最小化保密速率平均损失策略,在发送节点和帮助节点具有固定功率分配的情形下,推导出了保密速率平均损失的一个近似上界,通过最小化该上界得到了自适应反馈比特分配的一个闭合解。论文进而将最小化平均保密速率损失的策略推广到了具有多个合法接收节点的MISO广播窃听信道的场景。数值仿真结果表明,通过在发送节点和帮助节点之间自适应地分配反馈比特数目,可以使保密性能大幅度提升。以上三部分研究内容都是针对单个用户或用户数目小于基站发送天线数目的场景,然而在实际系统中的用户数目远远大于基站的发送天线数目,因而在进行基于物理层安全的预编码设计之前需要进行用户选择。多用户MIMO系统由于提供了额外的用户维度,可以被进一步开发应用于增强物理层安全。论文最后考虑了在窃听者存在的情形下,一个多天线基站与大量单天线用户进行安全通信的场景。首先假设基站已知所有合法用户的瞬时信噪比和窃听信道的统计分布信息,采用机会调度策略每次选择一个合法用户进行通信,分别推导出了在瑞利衰落信道下,最大化瞬时信噪比和近似比例公平调度两种机会调度方案可达到的遍历保密速率和截获概率,并得到相应的闭合表达式。数值仿真结果验证了所推导的解析结果与仿真结果完全匹配,从理论上证明了适当的用户调度方案可以提高系统的安全性。然后针对正交随机波束成形方案在实际大小的用户数目(e.g.,K<100)的情形下性能较差的问题,根据基站已知窃听信道状态信息的不同场景,研究了具有不同复杂度的波束选择和用户调度算法。仿真结果表明,针对不同的信道条件,动态选择激活波束子集和最优用户子集进行通信,可以极大地提升系统的保密性能。