迅速发展的各种新型业务需求以及爆发式增长的智能终端设备产生的海量数据给当前无线通信网络带来了频谱资源利用挑战。基于发光二极管（Light-Emitting Diode,LED）的可见光通信（Visible Light Communication,VLC）具有400 THz的免授权许可的可见光频谱资源,能够提供高容量、高带宽的通信服务,可以有效地缓解现有无线通信网络频谱资源稀缺问题。而且,由于可见光具有空间和频率的高度复用性及不可穿墙性,可以用于支持高密集性和大规模用户连接的安全通信服务。现有研究结果表明,VLC将成为未来无线通信网络强有力的支撑技术之一,是射频（Radio Frequency,RF）通信的有效补充。然而,LED器件的调制带宽有限以及传输光信号的直射（Line-of-Sight,Lo S）链路信道衰减,极大地制约了LED通信单元的频谱利用率和通信范围。为此,本文引入非交多址（Non-Orthogonal Multiple Access,NOMA）机制,充分发挥可见光频谱资源优势;并联合多节点LED通信单元中继协作模式,为VLC系统提供宽范围、多用户连接的通信服务。然而面临以下问题:第一,为提高频谱效率,NOMA用户信号叠加机制增加了通信性能分析难度;第二,实际VLC系统传输的信号是幅度有限的非负实数光信号,其相应的信道容量分析理论基础有别于传统RF通信系统;第三,中继的引入在扩大通信服务范围并提高边缘用户服务质量的同时,会增加安全信息被窃取的风险。为解决上述问题,本文对NOMA机制下VLC系统从信道建模算法、中继系统的中断概率和物理层安全性能三个维度进行研究与分析,本文主要贡献如下:（1）针对统计性信道模型难以获取信道细节以及现有确定性信道在场景适用性及其计算复杂度的矛盾问题,设计了一种基于圆锥形射线管模型的双向射线追踪法,该方法可以对室内任意场景的VLC系统开展信道建模,并通过和递归法对比,验证了该算法在降低仿真复杂度的同时保证了信道仿真的高精度和高效率。接着将该方法应用于无中继的单输入单输出VLC系统和单输入多输出VLC中继系统的信道建模,通过对不同信道传输链路的接收光功率分布与脉冲响应对比分析,验证了用户接收光功率主要与光源到用户的距离以及接收器的视场角有关,并且由漫反射产生的脉冲响应可以忽略。在此基础上,通过与中继系统场景的信道模型对比,中继节点到用户的脉冲响应幅度比光源节点到用户的脉冲响应幅度高一个数量级,而其时延几乎可以忽略不计,验证了中继节点改善信道质量的可行性,为VLC中继系统的信道模型提供了高效的建模方法。（2）针对VLC系统传输范围受限及其边缘用户通信服务质量难以保障的问题,引入中继协作和NOMA技术,深入研究了NOMA机制下中继协作的VLC系统的中断性能。首先,利用统计概率理论研究推导了VLC有序信道增益的概率密度函数（Probability Density Function,PDF）和累积分布函数（Cumulative Distribution Function,CDF）。接着,考虑到实际系统中可见光信号需满足非负实数特性和幅度有限的限制,基于幅度约束的信道容量限,推导得到了NOMA机制下VLC中继系统的中断概率表达式。结果验证了所推导的理论表达式的正确性。研究结果表明,中继节点的引入可以为系统达到同等中断概率性能节省所需的发射信噪比15 d B。同时,通过对系统中断性能的影响因素分析,获得了系统最优中断性能所对应的中继发射半角和部署高度的最佳参数设计,为VLC中继系统布局提供了理论指导。（3）针对VLC中继协作节点的引入所带来的信息安全传输问题,从物理层安全角度分析了系统安全性能。首先从信息熵推导了幅度约束下的安全信道容量上下限。然后,为提高系统性能分析方法的适用性,考虑存在服从泊松分布的窃听用户的VLC中继场景,利用统计几何分析方法推导得到了中继节点和各用户的PDF和CDF,进而推导得到了VLC中继系统安全中断概率的上下限表达式。蒙特卡洛仿真结果验证了理论分析的有效性。研究结果表明,VLC中继系统的安全中断概率较无中继系统平均增加了47.9%,这说明了中继系统在改善通信服务范围的同时面临更大的物理层安全性能风险。此外,获得了中继部署半径、合法用法分布半径以及LED发射半角与VLC中继系统安全中断性能之间的关系。研究结果表明,中继部署半径、合法用户分布半径以及LED发射半角越大,VLC中继系统安全中断概率越大。