随着各种无线应用的不断涌现,无线网络对频谱资源的需求不断增多。而无线频谱资源的不足严重限制了无线网络的发展。可见光通信凭借其丰富的频谱资源、低廉的成本、超高的传播速度成为一个极具前景的无线传输技术。在可见光通信中广泛存在着由于器件非线性引起的非线性失真。而可见光通信系统通常采用的直流偏置光正交频分复用（DCO-OFDM）调制方式存在峰均功率比高的问题,信号容易进入非线性区域,产生非线性失真。当前对于非线性失真的研究主要侧重于通过减小信号的峰均功率比来缓解非线性失真。而缺乏针对可见光通信系统特性的抑制措施。对此,本文围绕可见光通信系统中的信号非线性失真这一关键问题,研究利用深度学习技术抑制传输中的非线性效应,具体涉及以下两方面。首先,本论文提出了一种基于长短时记忆网络（LSTM）的可见光通信信号线性化方法。主要思路是在具有非线性效应的可见光通信模块之前加入一个基于LSTM网络的预失真模块,使级联后的等效系统响应具有良好的线性度。一方面,利用神经网络的非线性表征能力,补偿光通信前端的非线性效应;另一方面,通过使用多级LSTM模块,抵消了光通信前端的记忆效应。该预失真方法将复杂的信号线性化功能部署在发射机侧,降低了接收机端的信号均衡的开销。同时,网络参数的训练仅针对发射机的非线性特性进行优化,无需接收机参与,能够进行离线训练,可以应用于广大的可见光通信系统。实验结果表明,相较于传统非线性抑制算法,本文所提出的基于LSTM的线性化方法能够达到更好的误符号率性能,证明了该算法的有效性。接下来,本论文提出了一种基于端到端训练的可见光通信非线性效应抑制算法。该方法在网络训练中考虑了可见光传播信道响应。在端到端训练过程中,一方面可以自适应地学习信号预处理的方法,避免了前述研究中需要预先设计理想系统响应的问题;另一方面,可以依据接收端的信号质量学习链路中记忆效应和非线性效应的补偿方法,实现对于光信号的线性化处理。本论文对神经网络结构和损失函数的进行了优化。实验结果表明,在考虑可见光多径效应的情况下,本算法相较于基于LSTM预失真网络的线性化算法以及基于自编码器（Auto-encoder）对于可见光系统非线性效应具有更好的抑制效果。通过对网络训练、信息反馈、时间复杂度、实际部署难度、非线性抑制能力等多个维度的分析表明,本论文所提出的基于端到端训练的非线性抑制算法具有较好的有效性和实用性。