随着无线通信的迅速发展,未来网络中数据速率需求爆炸式增长,以适应不断涌现的新型智能业务。超密集网络（Ultra-dense network,UDN）旨在特定区域内部署大量具有低功耗的接入点（Access point,AP）,是实现未来网络无缝覆盖、高速通信、海量接入的关键技术之一。然而,随着网络中接入点的密集部署导致了不规则的小小区结构,也使得其覆盖区域的干扰分布更加复杂。为了实现更高速率、更低时延、更小功耗的网络设计目标,需要充分发掘并利用空间、时间和频率维度的无线资源。基于密集化的无线传输思想,本论文将UDN和混和双工（Smart duplex,SD）技术相结合,研究面向混合双工网络的密集化传输与资源分配关键技术,具体贡献如下:第一,针对同时同频全双工（Full duplex,FD）UDN中严重的同频干扰问题,本论文提出了一种基于放大转发（Amplify-and-forward,AF）协议的接收端带内信道协同传输方案,并对FD干扰信道容量进行研究。具体而言,本论文在两个FD接收端之间采用AF协议建立接收端带内信道协同:每个接收端在同一频带同时收到来自两个发送端发送的信号和两个接收端协同转发的信号,经过自干扰（Self intherference,SI）消除和信号解码后,再将接收信号转发给另一接收端。基于上述传输方案,本论文分析了其等效信道模型,并通过数学归纳法推导出非理想SI消除和基于AF协议的带内协同方案下接收端产生的累积残余干扰和噪声的统计量。然后,分别推导出了前向单用户解码和前向联合解码方案下的干扰信道可达速率区域,并从理论上证明了单向协同的最优性,即当只有一个接收端转发对方的信号时能够达到最佳系统性能。为了刻画速率区域,本论文利用序贯参数凸逼近方法近似求解速率最大化问题。仿真结果表明,在几种典型通信场景下,与传统非协同方案相比,本论文提出的接收端带内协同方案能够显著提高信号的可达速率。第二,针对混合双工超密集网络中较高的处理开销,本论文基于一种以基站（Base station,BS）为中心的多小区协同传输架构,将所有小小区划分为多个簇,研究达到平衡UDN系统性能和集簇成本的无线资源智能分配算法。在本论文所考虑的SD UDN中,所有BS可以根据实时网络状态实现全半双工的灵活切换。本论文首先构建了马尔可夫决策过程（Markov decision process,MDP）,以最大化所有簇的网络吞吐量和集簇成本的平均加权和,为了近似求解此问题,采用了一种近邻传播算法确定簇的数量和每个簇的中心。然后,通过将各个小小区看作智能体,原始MDP问题被等价为一个多智能体MDP问题以最大化所有小小区的平均奖励和。最后,提出了一种多智能体深度强化学习（Deep reinforecement learning,DRL）算法联合实现非中心小小区的动态分簇、资源分配和双工模式选择。仿真结果表明,在动态无线环境下,本文提出的SD在密集网络场景下相对于传统半双工和FD更具有优势,且所提出的基于多智能体DRL架构的动态分簇方案的性能也显著优于其他分簇方案。第三,针对未来网络中海量用户的超高速率需求,本论文基于更加灵活的以用户为中心的多接入点协同传输架构,研究了具有实时网络状态的超密集网络中多用户接入和功率分配智能算法。在有限载波和功率资源约束下,每个用户根据自身需求灵活地接入多个AP,各个AP根据实时网络状态灵活地选择双工方式并为其接入的用户提供服务。本论文设计了基于用户接入成本与传输速率的收益函数,并提出了最大化整个UDN在长时间尺度下平均用户满意率问题,并将该问题建模为一个以AP为智能体的MDP问题。为解决该MDP问题中面临的大型离散动作空间带来的挑战,本论文提出了一种多智能体树状结构策略梯度（Multi-agent tree-structured policy gradient,MATSPG）更新方法,将UDN中海量用户接入和功率分配问题的动作空间直接映射到具有两层非叶节点的树状结构动作空间中,并证明了所提出的MATSPG算法时间和空间复杂度显著低于传统DRL算法。仿真结果表明,与传统DRL算法相比,本论文提出的MATSPG算法在具有大型离散动作空间问题中具有显著优势。本论文针对UDN中的干扰管理、资源分配和组网架构关键技术展开理论研究。针对动态无线环境,设计了面向混合双工网络的密集化无线传输架构和资源分配算法,并分析其性能,为未来网络中各种智能化应用提供理论基础。