面对频谱资源的日益稀缺,未来移动通信要求最大限度地利用频谱资源。近年来出现的在时频域将信号进行压缩重叠的非正交传输技术,与传统正交传输技术相比有着更高的系统容量和频谱利用率。因而,对基于非正交传输技术理论的高频谱效率传输技术的研究逐渐展开,将非正交传输理论应用在多载波系统中更是符合未来物理层对频谱资源需求的发展。本文重点研究的重叠滤波多音(Overlapping-Flitered Multitone,O-FMT)系统是放弃滤波多音(Flitered Multitone,FMT)系统子载波间的正交特性而得到的一种极具代表性的非正交传输方案。文中对其性能进行了分析研究,并提出相应优化方案以应对未来网络复杂的应用场景,这对探索非正交传输多载波系统在提高频谱资源利用率方面的可行性具有重要的意义,具体内容和成果如下:1.对O-FMT系统的性能进行了研究。首先,从频谱利用率的计算和提高两个方面对频谱利用率性能进行分析。其次通过引入模糊函数,量化分析频偏及频谱压缩因子对系统产生的干扰,重点研究了O-FMT系统的抗频偏特性,并以OFDM为基准,对比了O-FMT的抗频偏性能,得出O-FMT频谱压缩极限值。然后,针对O-FMT系统存在的频偏问题,提出了一种适合于频谱重叠O-FMT系统的频偏盲估计方案,并进行改进以此达到对系统优化的目的。仿真结果表明,O-FMT拥有比FMT和OFDM系统更高的频谱利用率。相较于FMT,O-FMT系统主要受子载波间重叠的影响导致其抗频偏性能较弱;相较于OFDM,当将频谱压缩因子控制在极限值范围内,则O-FMT系统的抗频偏能力优于OFDM。另外,改进的频偏盲估计算法比传统算法估计值精度更高,抗干扰、抗衰落能力更强,可以使系统获得更好的性能。2.针对O-FMT中引入频谱重叠后所带来额外载波间干扰增加的问题,提出一种干扰消除优化方案。首先根据频域子载波间重叠特性从理论上推导出干扰滤波器的表达式,分析得到载波间干扰模型和载波间干扰矩阵;接着从矩阵的角度出发,通过在发送端采用THP预编码来对干扰模型中的载波间干扰进行消除。然后,将O-FMT系统等效为传统FMT系统与载波间干扰模型系统的叠加,并将THP预编码方案应用于O-FMT系统中,从而达到消除O-FMT系统载波间干扰的目的。仿真结果表明,通过THP预编码过后,O-FMT系统的载波间干扰水平会降低,信号星座图更清晰,系统的误比特率,可达比特率性能都会得到改善。