论文部分内容阅读
HEVC是新一代视频编码协议,在2013年4月份被正式提出。相比于上一代协议H.264/AVC,HEVC在保证视频质量的前提下,减少了近50%码率。为了改善图像信息的预测精度,HEVC引入了许多创新技术。对于帧内编码而言,HEVC引入了CU、PU和TU等新的划分单元,使得图片的划分更加灵活精确。在帧内PU的预测过程中,HEVC更是采用了多达35种预测模式对PU进行预测,从而提高预测的精准性。当然,无论是精确的预测过程,还是高的压缩率,其代价都是计算复杂度的提高。HEVC的计算复杂度是H.264/AVC的近4倍,这也是限制其被广泛应用的重要原因之一。本文中,我们引入卷积神经网络代替HEVC帧内PU模式决策中的RMD过程,引入角点检测算法来减少进入RDO过程中的PU预测模式个数。在相应的CNN的硬件实现中,我们采用11位浮点数来表示运算数据,用分段直线来拟合激活函数。该算法的优势主要体现在以下三点:(1)PU的模式决策跳过了RMD过程,采用CNN来获取PU的预测模式列表,从而减少计算复杂度;(2)CNN的输入仅为源图片像素和量化参数QP,这将使得算法具有高的并行性;(3)在CNN的硬件实现中,通过减少浮点运算的字长,从而节约了硬件资源。实验数据表明,与原算法相比,我们的优化算法平均节约了27.92%的帧内编码时间,仅仅引入了1.15%的编码码率上升。不仅如此,我们的算法也有一个稳定的性能,在编码最敏感序列(Class F)时,我们的算法节约了27.10%的帧内编码时间,仅仅引入了2.01%的码率上升。对于相应CNN的VLSI实现,在TSMC65纳米CMOS工艺库下,DC综合得到使用的逻辑门数量为56.1K,最大功耗为54.3mW。CNN处理一个PU的预测过程仅需要696个时钟周期。从最终结果可以看到,该帧内PU的优化算法可以大幅度减少帧内编码的计算量,为实现低功耗、低延时的视频编码器提供基础。