基于交错正交幅度调制的滤波器组多载波(Filter Bank Multicarrier with Offset Quadrature Amplitude Modulation,OQAM/FBMC)系统由于其每个子载波都引入了时频聚焦特性良好的原型滤波器,可以放松用户之间的频率和同步要求。因此,能够避免同步等待和信令开销,适合于支持未来移动通信的多样性传输需求,成为新一代宽带移动通信最具潜力的研究方向之一。不同于传统正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)系统,OQAM/FBMC系统的正交性只在实数域上成立,接收端解调后的符号会受到符号间/载波间干扰(Inter-Symbol/Inter-Carrier Interference,ISI/ICI),从而使OQAM/FBMC系统的导频设计和信道估计更加复杂。在平坦信道条件下,这部分ISI/ICI体现为对实数符号的虚部干扰。然而,在高频率选择性衰落信道条件下,ISI/ICI具有极为复杂的表现形式,不再体现为纯虚数的干扰,信道估计性能显著下降。因此,针对不同的信道条件,提出新型的导频结构设计和性能良好的信道估计方法具有重要意义。针对上述问题,本文首先提出了一种编码辅助导频(Coded Auxiliary Pilots,CAP)方法,解决了平坦信道条件下,导频符号受到相邻符号的虚部干扰问题。CAP方法在每个导频符号周围引入了多个辅助导频符号。多个辅助导频符号共同作用,一方面用于抵消导频符号受到的虚部干扰,另一方面通过线性编码还可以发送数据符号,兼顾了信道估计性能、频谱效率和功率效率。之后,本文针对高频率选择性衰落条件下,导频符号受到严重的ISI/ICI,信道估计性能显著下降的问题,提出了一种迭代的信道估计修正方法。所提出的迭代信道估计修正方法,将信道估计与均衡相结合,通过对导频载波的均衡,将频率选择性衰落信道变为近似平坦的信道,抑制导频符号受到的ISI/ICI,从而提高了信道估计性能。仿真结果显示,所提出的迭代信道估计修正方法,即使经过一次迭代的OQAM/FBMC系统信道估计性能可以与OFDM系统的最大似然估计性能相比拟,性能十分优良。