随着大数据、云计算、物联网等技术的深入发展,人们对高速通信和频谱资源的需求也急剧上升,传统无线通信的频谱资源已不能满足人类需求,亟需开拓新频谱以从根本上解决超大容量通信需求与频谱资源不足的矛盾。而可见光通信（Visible Light Communications,VLC）凭借其丰富免费的频谱资源、相对较高的网络安全性、优秀的抗电磁干扰能力等特性,已经成为以无线电射频（Radio Frequency,RF）链路为基础的无线通信系统的有效补充。在VLC系统中,空间调制（Spatial modulation,SM）技术将发射端发光二极管（Light Emitting Diode,LED）的位置索引作为空间域信息引入调制过程,避免了多输入多输出（Multiple-Input Multiple-Output,MIMO）技术中信道间干扰（Inter-Channel Interference,ICI）和同步问题。由于在室内空间调制VLC系统中需要选择LED传输信息,因此,如何快速选择理想的LED是需要解决的关键问题之一。由于机器学习技术在处理复杂问题上表现出的优越性,本文将采用机器学习中的支持向量机（Support Vector Machines,SVM）技术去解决LED的选择问题。本文主要的研究内容如下:1、说明了室内VLC系统中基于机器学习的天线选择技术的研究背景和意义,综述了国内外有关此研究方向的研究现状,给出了本文将要开展的研究问题。2、针对MIMO-VLC系统特性进行了深入研究,包括其组成架构和通信传输方式。同时引入了室内VLC系统中的多种空间调制技术:空移键控（Space Shift Keying,SSK）调制,广义空移键控（Generalized Space Shift Keying,GSSK）调制,SM调制与广义空间调制（Generalized Spatial Modulation,GSM）。并对这四种调制方案的基本原理、系统模型做了详细分析。最后对机器学习技术和物理层安全的相关概念进行了介绍。3、分别将GSSK与GSM技术与SVM结合,基于欧氏距离最优天线选择（Euclidean Distance Antenna Selection,EDAS）准则,提出了室内空间调制VLC系统的智能天线选择算法,通过将室内空间调制VLC系统的LED选择问题等价建模为多分类的机器学习问题,利用核SVM构建LED选择的最优化问题,通过对偶理论,获得原问题的二次凸规划对偶问题,从而高效的获取SVM的最优分类参数。最后,通过学习训练获得的最优分类参数实现对任意给定用户信道信息的在线天线选择。通过复杂度和仿真性能分析,表明了该算法能够在实现在线天线选择的同时保持低误码率（Bit Error Ratio,BER）性能,证明了算法的有效性。4、提出了一种结合SVM技术以提升室内GSSK-VLC系统物理层安全性能的天线选择算法。通过仿真结果与复杂度分析,与传统提升物理层安全的天线选择算法相比,本章提出的算法在保证系统保密性能的同时,可大幅降低天线选择的复杂度。