随着计算机多媒体技术的发展,人们对高清或者超高清视频相关服务的需求越来越大,所以提高视频编码的压缩率成为发展视频编码技术的重要目标。联合视频编码组JCT-VC发布了新一代高效视频编码(High Efficiency Video Coding)标准,H.265/HEVC 极大的提高了高清视频编码的压缩率,但同时也引入了相当高的编码复杂度,其中帧间预测是复杂度最高的模块。本文提出了两种针对帧间预测的优化算法,目的是在保证编码码率和解码图像质量基本不变的情况下减少帧间编码的耗时。在运动估计方面提出一种基于像素相邻划分层次间相关性的优化方法。首先,当前CU的预测块在进行运动搜索前先比较与上一划分深度的CU的运动相似性,如果满足相似性条件则采用优化搜索模板完成整像素搜索,否则采用TZ搜索方法。最后保存当前深度的整像素运动信息以提供给下一划分深度CU进行比较。在帧间模式决策方面提出一种优化模式决策框架,采用了一种CU划分深度预测算法,该算法基于运动估计优化方法中得到的结果,预测出当前CU的大致划分深度以减少冗余计算。优化框架还利用了 PU划分模式之间的相关性来优化PU模式决策过程。实验结果表明,对于 classE( 1280×720 )和 classB( 1920 × 1080)的视频序列,提出的快速运动估计算法相比较HM16.0使用的算法,编码耗时平均降低14%,比特率最多上升0.3%,编码质量几乎不变。在优化运动估计算法的基础上,优化模式决策框架使帧间编码复杂度进一步降低,编码时间平均减少5%左右,同时保证了压缩率与编码质量几乎不变。