近年来,随着面向IMT-Advanced第四代(4G)蜂窝移动通信系统标准的不断完善,频谱效率得到了显著的提高,甚至可以实现30bit/s/Hz。蜂窝通信频段(450MHz-3GHz)只能支持有限的载波带宽,很难满足不断增长的通信传输需求。而60GHz频段可使用带宽达7-9GHz,因而,即便采用低频谱效率的传输技术,60GHz无线通信也可以提供高达几十Gbps的传输速率。然而,60GHz无线通信因处于毫米波频段路径损耗较高,采用波束赋形和用户密集场景下的多链路引起的干扰,以及基于中继辅助传输的资源调度等问题都将会制约60GHz的应用,也成为了本论文的主要研究内容。本论文首先分析了60GHz毫米波通信中由IEEE802.15.3c码本引起的波束偏斜及其干扰问题。为了最小化波束偏斜,针对不同实现复杂度和性能要求提出了3种设计方案,即基于IEEE802.15.3c的相位调整方案,单相位调整方案和基于均匀相位码本设计的主响应轴(MRA)对齐方案。上述方案与现有的3c码本相比均可有效地抑制波束偏斜和波束之间的干扰,从而提高空间复用率和系统传输容量。方案1、2有着相近的系统性能,但方案2使用的相移器数量为第一个方案中的1/M(M为阵列天线数量)。方案3不同频率的波束主瓣方向可以完全对齐,并可获得天线增益和较小旁瓣,系统容量可提高12.5%,但需要更多的相移器。针对用户密集的60GHz网络中多链路共存无线数据传输场景下,不同链路之间的干扰会使系统容量大为降低,甚至导致传输中断,提出了一种最大化系统容量的干扰对齐方案。在部分链路衰耗较大的60GHz传输场景下,网络容量会显著提升。此外,针对有限反馈和延时信道状态信息的干扰对齐传输方案的性能进行了分析,推导了其系统容量损失的上界,并证明当系统延时和有限反馈满足一定关系时,随着信噪比(SNR)的增长系统仍可获得最优自由度。再次,因60GHz毫米波具有较高的穿透损耗,对周围环境敏感,影响系统容量。针对移动用户或接入点作为中继两跳辅助传输的场景,分析了中继系统的中断概率,并推导了中断概率的闭式解。为了求解以最小中断概率为目标的中继位置选择,建立了最小化目标函数,并通过数值方法进行了求解。仿真结果表明,与现有的固定中继传输相比,提出的最优中继位置传输可以降低中断概率,并使系统吞吐量得到显著提高,最优中继方案遍历容量与固定中继方案相比最大可提高25%。60GHz毫米波在实现几十Gbps的传输速率的同时,也伴随着较高的传输能耗。针对两跳中继传输研究了满足系统传输速率要求的最优能效的资源分配；证明了单中继选择辅助传输可获得最优能效,并通过分析Karush-Kuhn-Tucker(KKT)条件,得到了最优子载波和功率分配方案的闭式解；基于功率分配求解,提出了一种新的最优能效单中继选择功率分配算法。与传统的等功率分配和3时隙中继协作传输方案相比,本文所提出的方案能量消耗仅为3时隙中继方案的36%,系统的能效可得到显著提高。本文关于60GHz无线系统中干扰抑制及资源调度研究成果可以归结为：针对不同实现复杂度提出的3种最小化波束偏斜方案均可使波束的偏斜现象得到抑制,提高空间复用率；多链路场景下提出的最大系统容量的干扰对齐方案可有效抑制干扰,提升网络容量；通过对空闲用户为中继的两跳协作系统中断概率的研究,为最优中继选择和系统容量提升提供了依据；基于最优能效提出的资源管理方案,可使系统能效得到显著提升,为大规模数据传输提供了有效支撑。