随着科学技术的发展,第五代(5G)移动通信已经逐步开始进入人们的生活。为满足5G超高速数据传输速率、高可靠性和低连接延迟等需求,需要研究新型的无线空口波形。在过去几年中多种候选波形被各方提出,滤波的正交频分复用(F-OFDM)便是其中的一种。与4G采取的OFDM系统相比,F-OFDM系统在继承传统OFDM系统的一系列优点的前提下,具有高频带利用率、参数自由度高、带外泄露小等优点。而对F-OFDM系统收发两端的子带滤波器组的设计与优化,以及对其高峰均比的抑制,都对其在5G通信系统中的应用产生很大的影响。因此,本论文主要针对F-OFDM系统中子带滤波器组以及峰均比抑制技术等方面进行研究,具体包括以下内容:首先介绍了OFDM系统的基本原理,对比分析了F-OFDM系统和传统OFDM系统之间的区别和联系,给出F-OFDM系统基带信号具体生成流程,总结F-OFDM系统作为新一代候选空口波形中的优缺点。F-OFDM系统的关键在于子带滤波器组的设计,本文根据阻带衰减、过渡带宽等技术指标介绍了FIR滤波器设计的几类常见方法。F-OFDM系统可以根据业务需求灵活地配置子载波间隔、保护间隔长度、子载波数、调制方式等参数,本文首先给出了一个基于双子带的时频资源分配方案。对于子带滤波器的设计,首先对最常见的窗函数法展开详细研究,仿真对比了几类窗函数的优缺点。随后设计优化了基于凯撒窗的子带原型滤波器,通过凯撒窗参数可调的特点设计出有着较高阻带衰减的子带原型滤波器以抑制带外泄露。通过仿真分析其较传统窗函数有更好的滤波性能。其次,为了达到更加逼近理想频率响应函数的目标,本文研究了神经网络及其优化与应用,提出基于变速率BP神经网络的F-OFDM子带滤波器设计方法,利用BP神经网络设计子带滤波器,通过对BP神经网络的优化加快收敛速度,并最大程度降低带外泄漏。仿真结果表明,基于变速率BP神经网络的子带滤波器较传统窗函数法有更好的带外泄漏抑制能力。OFDM系统一大劣势是高峰值平均功率比,而F-OFDM系统由于也是多子载波叠加所以同样存在这类不足。文章首先介绍了系统峰均比的意义,研究对比了OFDM与F-OFDM系统的峰均比性能,仿真发现在拥有相同数目的子载波的前提下,两者的峰均比性能大致相同。随后研究了传统OFDM系统常见的几类峰均比抑制方法,并根据新的F-OFDM多带系统进行优化,具体包括:(1)剪切滤波是一种简单高效的峰均比抑制方法,针对F-OFDM信号,研究了通过复用子带滤波器的迭代剪切滤波算法。(2)部分序列传输技术是一种无失真的峰均比抑制算法,针对其在大分组时遍历搜索求最优的次数过高计算复杂度大的不足,提出了基于布谷鸟算法的部分序列传输技术——CS-PTS算法,通过智能算法降低搜索次数并可以略微提升峰均比抑制性能。(3)针对F-OFDM系统信号的特点提出以子带为分组的部分序列传输SG-PTS算法,在不改变峰均比抑制性能的前提下大大降低计算复杂度,且不需额外分组模块精简系统结构。(4)在新的SG-PTS算法的基础上进一步改进,提出MSG-PTS算法,改进SG-PTS可选旋转相位数较少的不足,增加可选相位数以提高峰均比抑制性能,与传统算法相比计算复杂度得到降低,并且可以达到几乎相同的峰均比抑制水平。(5)提出MSG-PTS与剪切滤波联合算法,兼容概率类算法无失真与畸变类方法简单高效的优势,在略微增加系统误码性能的前提下进一步提升峰均比抑制性能。