无线中继是下一代网络中提供可靠传输、高吞吐量和广域覆盖的关键技术,特别是在直传链路状况较差的情况下更能发挥作用。由于传统无线单向中继(One-way relay)系统存在固有频谱损失,故本论文研究了具有更高频谱效率的无线双向中继(Two-way relay)系统,并在Two-phase和Three-phase放大转发型双向中继系统下,研究了能源高效功率分配策略。认知无线电技术作为一种智能频谱共享技术,通过系统内用户的协作频谱感知,自动搜寻“频谱空洞”资源,实现不可再生频谱资源的再利用。本文结合中继技术和认知无线电技术,在无线认知系统下研究了协作通信策略,探讨感知性能与吞吐量的折中问题；在能源受限的无线认知双向中继系统下提出了一种优化的中继节点选择策略,以提高系统长期吞吐量、延长系统生存时间。本论文工作主要包括以下三个方面：1)本文在无线Two-phase/Three-phase放大转发型双向中继系统下,分别针对单中继和多中继节点场景,提出了能源高效功率分配算法。由于在实际无线通信系统中,各用户节点都是由电池提供能源,频繁的更换电池是不方便的。因此,本文在满足系统速率需求的前提下,以最小化系统总发射功率为优化目标,对系统发射功率进行优化分配。仿真结果表明,与传统平均功率分配算法相比,该算法平均能节约3dBw的功率,从而实现能源高效。2)本文在无线认知协作系统下,提出了一种新型帧结构以降低上报信令开销,研究了感知协作通信过程,并提出3种次级用户节点选择策略,分析系统有效吞吐量与感知性能的折中问题。由于在感知协作通信的上报阶段,若大量次级用户节点参与上报,会带来很大的报告信令开销。因此,本文设计了一种新型帧结构,并在完美／非完美上报信道下,提出不同的次级用户节点选择策略来优化系统性能。仿真结果表明,在无线认知系统下选择最优上报用户节点数,能够实现系统吞吐量最大化。3)本文在无线认知双向中继系统下,提出了一种优化的中继节点选择策略,以提高系统长期吞吐量和延长系统生存时间。在无线认知双向中继系统中,次级用户伪装成主用户系统中的中继节点,采用解码转发型中继协议来对接收信号进行处理,在帮助主用户系统进行数据传输的同时,也实现次级用户系统的数据传输。由于实际系统中所有用户的初始电池能量都是有限的,并且每次数据传输必然会消耗一定能量,故在所有能量消耗完之前,只能够传递有限的数据信息。因此,本文提出了一种优化的中继选择策略,充分考虑每次数据传输所需的发射功率、中继节点剩余能量、以及系统中断概率等因素,能够有效地提高系统长期吞吐量、延长系统生存时间。