H.264是一种高度压缩的数字视频编解码标准,2002年由ITU-T视频编码专家组和ISO/IEC动态图像专家组组成的联合视频组(JVT, Joint Video Team)提出,其特点是具有更好的编码效率和网络适应性。H.264采用了包括四分之一像素精度的运动估计,树状运动补偿,多参考帧模式,整数DCT变换,熵编码和去块效应滤波等技术使编码效率大大提高,但是带来了巨大的编码运算复杂度,比以往标准高出几倍到十几倍。如此高的运算复杂度,大大限制了H.264在实时视频编码领域的应用,因此如何在保证压缩质量的前提下降低编码的运算复杂度成为大家研究的热点。本文针对H.264运算量最大的帧间预测部分进行了研究。首先对H.264标准的基本原理进行了研究,对H.264编码标准的关键技术等进行了分析。利用H.264树状运动补偿的特点,改进全零块判决运动估计算法,不再对全零子块重复进行运动搜索,减少了运动估计搜索点的数目,从而降低编码的计算复杂度。经过实验证明,本算法在基本保证信噪比的前提下满足降低运动搜索点的要求。其次对H.264经典的帧间模式选择算法进行了研究,提出了一种基于已编码宏块分析的模式选择算法。利用在宏块与宏块之间的相关性,对当前编码宏块周围已经编码宏块的运动矢量进行简单聚类分析,根据分析之后的结果选择相应的编码模式。实验结果表明在信噪比平均损失为0.07dB,而码率平均上升为1.84%基础上,编码时间平均下降20.71%-36.37%。然后对已编码宏块分析的模式选择算法的聚类过程进行改进,用Mean Shift聚类算法代替简单聚类的算法,提出一种基于Mean Shift聚类分析的模式选择算法,实验表明在信噪比平均损失为0.05dB而码率平均上升为1.76%基础上,编码时间平均下降35.07%-38.05%。