本文着重研究HEVC的率失真优化过程,着眼于帧间预测块分割模式选择和参考帧选择两个点。首先,在帧间预测块分割模式选择中,通过实验分析发现相邻层次编码块(Coding Uint, CU)的预测块(Prediction Unit, PU)分割模式选择具有非常强的相关性、相邻帧对应位置CU的PU分割模式选择也具有很强的相关性。本文算法利用这两种相关性,建立PU分割模式候选子集,避免了穷举式遍历。其次,参考帧选择过程中通过实验分析发现相邻层次的PU所选择的参考帧具有很强的相关性,PU在2N×2N模式所选择参考帧与后续分割模式选择的参考帧也具有很强的相关性,本文利用这两种相关性设计算法,建立参考帧候选子集,避免了穷举式的遍历。实验结果显示,在帧间预测块分割模式选择过程中,本文算法以平均编码码率增加1.22%、峰值信噪比降低0.09%的代价,编码时间减少50.10%。在参考帧选择过程中,在低延时配置方案下,本文算法能以平均编码码率上升1.42%、峰值信噪比降低0.13%的代价,减少40%的编码时间；在随机访问配置方案下,本文算法能以平均码率上升0.42%、峰值信噪比降低0.05%的代价,减少24.61%的编码时间。