随着通信网络规模的巨型化，异构网络的多样化和多媒体业务的爆炸式增长，传统通信网络体系架构与网络资源分配及业务性能优化之间的矛盾日益加剧，虚拟化网络优化技术可有效地解决了这一问题。网络虚拟化使多元化的通信网络转化为一系列逻辑上相互独立的虚拟网络，这些虚拟网络能够使得网络拥有者独立地控制网络中的各种业务，为用户提供更加快捷、方便的业务需求。网络优化是虚拟网络中的一个基本问题，高效的优化算法能够提高网络服务质量，并有效降低服务提供者租用资源的成本。因此，设计有效的虚拟网络优化算法具有重要意义。同时，在这新型的虚拟网络中，跨层优化是不可或缺的。本学位论文以传统通信网络向虚拟网络演进过程为研究背景，在通信系统、网络理论和优化算法的知识基础上，研究了虚拟网络跨层优化的问题。主要从以下几个方面展开了研究工作：首先，阐述通信网络体系架构的演变和网络优化方法的发展，并简述了虚拟网络的概念和研究现状。探讨了通信网络优化问题的基本数学模型及解决方法，重点讨论了通信网络的优化理论，其中包括线性优化、非线性优化和智能优化方法。进一步，论文着重研究了通信网络的跨层设计。针对无线mesh网络的性能优化问题，开展了理论分析和仿真计算，对比了不同的分层与跨层网络优化方案。仿真结果表明，无线mesh网络跨层设计可以获得网络吞吐量等性能提升。另一方面，采用凸优化理论探索虚拟网络的优化问题，提出了基于凸优化技术的跨层统一优化方法，并进行了建模分析。最后，论文以无线mesh网络为虚拟网络实体和上述理论分析为基础，研究无线mesh网络虚拟化的跨层优化问题。考虑在不同业务类型的虚拟无线mesh网络中，通过联合信源编码、功率控制、链路控制以及时延分配而最大化数据流服务质量的问题。对该优化问题涉及到的应用层、网络层、链路层和物理层进行了数学建模，然后将上述复杂的通信问题转化为一个最优化问题，并利用凸优化的性质证明了这个问题是一个log-convex优化的问题，从而采用内点法得到其全局最优解。算法分析与仿真结果表明，该方法在虚拟化无线mesh网络实现中能获得良好的网络性能。