近年来,随着无线通信应用的快速增多,几乎所有的频谱资源都已分配殆尽。在这种情况下,联邦电信交通委员会在2002年的频谱资源报告中显示,大部分的授权频谱在绝大多数时间和频率位置上都没有被使用。认知无线电因此被提出来提高频谱的使用效率。在认知无线网络中,认知节点具有实时感知周围环境和决策通信参数的能力。首先,本文对认知无线网络及跨层优化技术基础进行了介绍。其次,提出了一种认知无线网络的跨层架构,经验证该架构可实用且稳定。然后,在充分研究物理层、数据链路层及网络层的基础上,首次提出了基于认知ad-hoc无线网络的物理层/数据链路层/网络层的三层跨层优化协议设计,在设计协议的过程中,为了更加准确的衡量系统的通信容量,提出用有效信道容量的概念代替传统的实时信道容量,它综合考虑了实际信道的利用情况与信道容量,经过验证,该协议能有效提升通信系统的可靠度与准确性。最后,本文研究了认知网络中利用跨层优化进行频谱利用率高效化的方法,在研究的过程中,采取认知无线网络中通常采用的NC-OFDM调制方式作为研究对象,提出了对传统算法的改进——基于分块优先的遗传算法,该算法与传统的遗传算法和连续子载波优先的遗传算法优化算法(SCGA)相比,能够显著提高通信系统对频谱资源的利用率。经仿真验证,本文提出的算法在提升稀缺频谱资源利用率的同时能显著提升整体通信系统的吞吐量和抗干扰能力。