H.264是由国际标准化组织(ISO)的运动图像专家组(MPEG)和国际电信联盟(ITU-T)的视频编码专家组(VCEG)组成的联合视频小组(JVT)共同研发的最新一代视频编码标准,同以往的编码标准相比,H.264在编码效率和图像质量方面有很大的改进,这主要是由于H.264中引入了多种新的编码技术,如采用了从16×16块到4×4块的7种预测块模式以适应图像不同细节分布的特性;多参考帧预测模式和高精度运动矢量(1/4像素精度)以提高预测精度和编码效率;与量化相结合的整稀疏变换不仅可以只需采用加减移位完成变换并且可以实现更为精确的量化步长;增强的帧内预测提高了I帧的编码效率;选用了基于上下文的变长编码(CAVLC)和算术编码(CABAC)有效地提高了熵编码性能等。这些编码技术的使用,在提高编码效率和图像质量的同时也提高了编码器的计算复杂度,导致编码时间过长,这就使得H.264在实时视频编码和传输应用中受到了很大的限制。为了提高H.264的应用价值,必须对编码的算法进行优化,本文的研究重点就是对帧内模式选择算法进行优化,提出了一种快速模式选择算法。　　本文首先介绍了视频编码的发展历程,然后介绍了H.264的编码器的结构,在此基础上,介绍了H.264编码中所采用的一些关键技术。文中重点对模式选择算法进行了研究,分别对帧内和帧间模式选择算法进行了分析。帧内模式选择算法是本文研究的核心,在基于宏块空间上的密切相关性基础上,分析了Intra4×4块率失真代价的计算方法以及Intra4×4块与Intra16×16块模式选择算法存在的关系后,提出了一种快速的帧内模式选择算法,该算法经仿真试验表明在信噪比基本保持不变的前提下,节省了编码时间大约30％,而比特率仅增加1％左右,具有一定的实用价值。