随着科技的发展,网络已经和人类生活息息相关、密不可分。6GHz以下的射频（Radio Frequency,RF）通信在无线通信中的应用最为广泛,其采用的频谱均已被划分利用,变成了一种极其稀缺的资源。自由空间光通信（Free Space Optical Communication,FSO）是一种以激光和大气分别作为信息载体和传输媒介的新兴无线通信方式,具有无需频率许可、巨大带宽、高速率、高保密性、成本低廉等优点,已被越来越多的无线通信场景所采用,具有良好的发展前景。然而,指向性误差和大气湍流等随机因素会严重影响FSO的系统性能,这大大缩短了FSO系统的传输距离。将RF链路与FSO链路进行组合,构成的混合通信系统,可以有效提高网络的稳定性,如混合RF/FSO中继系统、RF/FSO混合备份系统等。其中混合RF/FSO中继系统通过中继节点将信息从RF链路转发到FSO链路,能够延长传输距离。本文在混合RF/FSO中继系统的基础上,在RF链路中对毫米波（millimeter Wave,mm W）展开研究。mm W波段频谱资源丰富,且其中备受关注的60GHz频段无需频谱认证,这在无线通信领域的研究工作中极具吸引力。在混合mm W RF/FSO中继系统中,mm W RF和FSO能够发挥各自优势,延长通信距离,提高网络容量。为了进一步提高混合mm W RF/FSO中继系统性能,本文还在FSO链路中应用了多输入多输出（Multiple Input Multiple Output,MIMO）技术,利用多个发射天线和多个接收孔径传输信号,从而降低指向性误差和大气湍流等因素的影响。本文的主要研究内容如下:（1）考虑指向性误差的混合mm W RF/FSO中继系统建模与性能分析。mm W RF链路服从Nakagami-m衰落,FSO建模为考虑指向性误差的Gamma-Gamma联合分布。在此基础上,分别推导固定增益和可变增益两种方式下端到端信噪比（Signal-to-Noise Ratio,SNR）的统计特征。随后,利用Meijer-G函数推算出中断概率（Outage Probability,OP）、平均误码率（Average Bit Error Rate,ABER）以及遍历容量的闭合形式解析式。最后,利用蒙特卡洛（Monte Carlo,MC）模拟验证所推公式的准确性,并对比分析不同条件下的系统性能。（2）混合mm W RF/MIMO-FSO中继系统建模与性能分析。在FSO链路中运用MIMO技术,中继分别采用固定增益和可变增益两种方式,接收端采用等增益合并（Equal Gain Combining,EGC）方式合并多路信号。基于上述条件,推导系统端到端SNR的累积分布函数（Cumulative Distribution Function,CDF）、OP、ABER以及遍历容量的闭合形式表达式,并用MC模拟仿真验证上述公式推导的准确性。综合分析MIMO技术对该系统性能的影响,确保在成本最低的前提下实现最佳的系统性能。本文的仿真实验表明:MIMO技术可以有效增加系统的稳定性,缓解大气湍流的影响。采用基于固定增益的放大转发（Amplify and Forward,AF）中继方案可以获得更好的系统性能。系统性能指标的仿真数值结果与MC模拟结果完全匹配。本文的研究可以为未来混合RF/FSO中继系统的研究奠定基础。