ITU-T H.264/MPEG-4 Part10 AVC(简称H.264)是由ISO/IEC的运动图像专家组MPEG和ITU-T的视频编码专家组VCEG组成的联合视频小组JVT共同制定而成的最新的国际视频编码标准,其中包含了众多先进的视频压缩编码技术和思想,比以前的视频编码标准在编码效率方面有了明显的提高,并且还拥有更好的网络友好性和容错性,然而H.264的高压缩编码效率却使得编码器的计算复杂度急剧增加,与MPEG-4简单配置相比,其编码复杂度更是增加了10倍,所以必须对压缩编码算法进行优化以提高其编码效率,特别是在实时应用中。本论文首先简要介绍了视频压缩编码的基本原理和标准以及国内外研究现状,接着,简要介绍了H.264编码标准的编解码器结构,关键技术和主要性能,尤其是对H.264的视频编码层中的主要技术做了较详细的描述,然后又详细分析了H.264编码器的性能和算法复杂度,并对其中计算复杂度很高的预测模式选择部分进行了深入研究。最后,本文的主要工作集中在以下几个方面:首先,对现有的H264的帧内预测模式算法进行了详细的分析。其次,利用预测模式的方向性以及相关检测算法,本文提出了一种基于各向同性Sobel算子的H.264的快速帧内编码模式选择算法,降低预测复杂度,提高编码速度。测试表明,此算法能够使编码速度提高将近75%,同时基本保持了H.264的编码性能,并且具有很好的自适应性。