OFDM技术是无线局域网、无线城域网、第四代移动通信等宽带无线系统物理层的核心技术之一；同时，OFDM还与新兴的协同通信、认知无线电等技术结合紧密，是未来通信领域的基础技术之一。但OFDM系统对子载波间干扰（ICI）很敏感，ICI会破坏子载波之间的正交性，导致系统性能恶化；尤其在实际宽带无线OFDM系统中，射频部件的模拟缺陷、基带处理的不完美和无线信道环境的复杂多变，都会引起ICI。论文围绕宽带无线OFDM系统中的ICI问题展开，深入研究了宽带无线OFDM系统物理层中的ICI抑制技术，包括相位噪声（PHN）抑制、时变信道的ICI均衡等，并提出了一些有效的、实用的改进方法，主要的研究内容如下：第一，从无线通信系统物理层的基本结构出发，较全面地分析OFDM系统中产生ICI的原因，将无线OFDM系统中ICI的来源归结为数字信号处理算法的残余误差、模拟前端的非理想特性、无线信道的时变性等三个方面，并逐一分析其对OFDM系统的影响。第二，针对存在PHN的突发OFDM传输系统中前导训练阶段的频偏、信道估计与PHN抑制问题，基于最大似然的思想，提出了基于训练符号的频域联合估计算法。所提算法由两个步骤来实现，第一步利用前导中两个重复的训练符号，在频域完成细频偏估计；第二步进行信道与PHN的频域估计。在第一步中，先在已知PHN的协方差先验信息的情况下，推导了频域的频偏估计算法，该算法的频偏估计结果不受PHN和信道的影响，精度较高；再假设未知PHN先验信息，该算法简化为经典的Moose算法。仿真结果表明，在PHN较小时，简化对性能的影响较小。在第二步中，通过构建等式约束的二次规划问题，并利用拉格朗日乘子法求解，从而获得信道和PHN的频域估计；并通过利用PHN的低通特性减少了待估参数维数，从而避免进行计算量较大的大矩阵求逆运算，降低了复杂度。与以前的算法相比，所提算法的优势在于：无需实际系统中难以获得的PHN协方差先验信息；而且估计过程在频域完成，能够利用PHN和信道的频域向量的特点，因此无需信道长度信息，并可利用PHN的低通特性进行化简。第三，针对存在PHN的突发OFDM系统中数据传输阶段的数据符号检测与PHN抑制问题，提出了基于公共相位误差（CPE）插值的联合估计算法。该算法利用PHN的缓变特性，在相邻符号的CPE估计值之间插值，将插值结果作为PHN估计值用于均衡，从而在一定程度上抑制了PHN引起的ICI，有效的克服了传统CPE校正算法中因忽略ICI影响而导致的PHN抑制效果不佳的问题。为了进一步提高PHN的抑制效果和数据符号的检测性能，采用了基于判决反馈的迭代均衡：先将CPE插值结果作为迭代过程的PHN初始值，再利用PHN估计结果消除已知导频子载波对数据子载波的影响，接着求解最小二乘问题，然后进行频域迫零均衡，得到数据符号的估计，并利用判决的数据符号反馈开始迭代，从而最终获得PHN和数据符号的联合估计。复杂度分析和仿真结果表明，在相同迭代次数时，所提迭代算法的复杂度远小于迭代双最小二乘经典算法，同时前者性能要优于后者；在不进行迭代时，所提算法性能优于传统的CPE估计算法，在相位噪声较严重时，优势尤为明显。第四，针对放大前传（AF）协同OFDM通信系统中同时存在频偏和PHN的情况，提出了存在频偏和PHN的AF协同OFDM系统模型及接收机算法。利用近似等价的信号模型，详细设计了目的节点内接收机的同步和信道估计方案；针对数据传输阶段的PHN抑制和数据恢复问题，提出了一种基于判决反馈的PHN估计与译码联合算法，该算法性能明显优于没有进行PHN抑制的方法。仿真结果表明，所提方案和算法能够有效改善存在频偏和PHN的AF协同OFDM系统的性能。此外，所提的接收机结构和算法还可以扩展到多个中继节点的情况。最后，针对时变衰落信道下ICI抑制问题和传统V-BLAST均衡算法复杂度过高的问题，提出了一种低复杂度的、适用于时变信道ICI均衡的SAGE-OSIC算法。该算法基于空间交替广义期望最大化（SAGE）算法和排序串行干扰抵消（OSIC）思想，迭代过程由求期望和求最大化两部分组成，并结合SINR排序或SNR排序，以避免迭代过程中的错误传播问题，从而改善误码性能。复杂度分析和仿真结果表明，所提的基于SINR排序和SNR排序的SAGE-OSIC算法，其复杂度明显低于V-BLAST算法，并与传统SAGE算法相当；而其性能优于传统的SAGE算法，并接近V-BLAST算法。尤其是在多普勒频移较大时，所提的新算法对系统性能的改善更加明显，因此更适合高速移动环境。