H.264／AVC是近年来制定的一套兼顾广播和电信、覆盖低码率通信到高清晰电视多种应用的视频压缩标准，它不仅吸收了以往视频编码标准中的经验，而且在此基础之采用了很多新的编码技术。在保证相同解码图像质量下，H.264／AVC比MPEG-2和H.263的压缩率提高至少一倍以上。然而，H.264／AVC编码的计算复杂度与其它视频压缩标准相比，高出了几倍甚至十几倍，需要消耗大量的时间和系统资源，因此，实时的H.264／AVC编码实现面临着巨大的挑战，需要寻找优化的编码算法，以减少巨大的运算复杂度。另一方面，基于H.264／AVC编码标准的视频压缩专用芯片具有广阔的市场前景。研究高效的H.264／AVC编码器芯片系统方案已成为ASIC研究领域的热点和难点。本文针对H.264／AVC编码关键技术的算法和系统架构进行了深入的研究。本文的研究工作和成果可以概括如下：1．在对H.264／AVC编码过程中运算量最大、耗时最多的运动估计模块进行深入分析的基础上：①提出了一种基于搜索窗中心预测和中途截止的自适应搜索窗整像素快速块匹配算法。与传统快速算法相比，该算法可显著降低码率和失真度，同时搜索速度也有一定提高。②根据小数像素搜索窗内块匹配误差曲面满足可分离单峰分布的特点，提出了一种基于多项式模型预测的快速小数像素运动矢量算法。算法过程只需要搜索6个候选点，相比规定17个候选点的全搜索过程，计算量有明显降低。③提出了一种块合并-块分裂相结合的快速运动估计块模式决策方法。该算法以自适应门限和快速决策方程为基础，与运动预测块模式穷尽搜索相比，平均可以节省66％运算量。2．根据残差系数分布的统计特性，提出了一种针对H.264的全零块检测算法。对于中低运动幅度的视频图像编码，全零块检测方法可以使约80％的图像块省去变换量化运算，有效地减少计算量。3．在算法研究基础上本文还针对编码系统的主要模块提出了相应的VLSI架构。主要体现在：①针对本文提出的快速运动估计算法，提出高效的并行—流水处理结构，采用36个PE单元分成四组进行并行处理，结合灵活的RAM存取机制，在50MHz的系统时钟下可以实现对CIF格式图像实时的处理(25帧／秒、5个参考帧、4种块模式，搜索范围[-16，16])；②变换-量化单元采用高效的流水机制，通过合理的调整边界滤波顺序及片内RAM和寄存器组分配提高去块效应滤波的处理能力，50MHz主频下的变换-量化与边界滤波单元的处理能力达到17万宏块／秒以上，能够满足高清图像(1920×1088)的实时处理要求。到目前为止已完成了系统方案和核心模块的VHDL代码设计及验证，但距离原型系统的实现仍有相当距离，大量工作留待后续完成。