随着通信技术的发展，多媒体通信在各行各业中都有普遍的应用。自从H.264标准发布以来，由于其高效的压缩性能、良好的网络亲和性以及完善的编解码算法，逐渐成为通信领域研究的热点。与以往的视频编码标准一样，H.264采用基于块的运动补偿和变换的混合编码技术。但是与以往编码标准相比，它通过对一些关键技术的改进，使编码效率提高了50％。H.264不仅采用了分层的编码结构，还在以往的视频编码基础上对编码方式进行了改进，从而使得该标准具有更高的实用性。　　 在H.264中，已有的码率控制提案JVT-G012可以实现较好的控制，但是JVT-G012并没有考虑场景转换带来的影响。当场景转换发生后，相邻帧之间的相关性降低，导致不能有效的进行预测编码，因而造成图像质量的下降。本文针对场景转换给图像质量造成的影响，进行相应的研究和改进。主要内容如下：　　 首先，本文介绍了H.264框架结构和核心技术。由于这些关键技术的应用，使得该标准算法功能更强、运算精度更高，压缩效率更高。相对于以往的视频编码标准来说，是更为实用和有效的视频编码标准。　　 其次，本文阐述了常见的场景转换的检测方法，特别对灰度法和直方图法进行详细的分析和深入的研究。针对现有算法，提出了一种基于灰度直方图的改进算法。该算法使用双阈值对归一化的灰度直方图进行判断，来检测场景的突变和渐变。通过JM86测试平台实验，实验结果显示该算法能达到比较让人满意的查准率和查全率。　　 最后，在上述检测算法的基础上，针对场景转换时图像质量下降的问题，本文提出了一种基于可变长GOP的码率控制算法。该算法在场景转换发生在前一个GOP开始位置时，避免新生成的GOP相对过长。若GOP过长时，将新的GOP拆分成2个GOP，避免缓冲区溢出。在场景转换时该算法能够提高图像质量，降低场景转换给图像质量造成的影响。同时，本文还将该算法与JVT-G012算法进行比较，考察其性能，通过实验验证了在场景中有物体剧烈运动或者场景发生转换时，该算法能更好的控制码率，使得图像质量在主观和客观上得到了相应的提高，且能很好的控制了PSNR的波动。