论文部分内容阅读
随着移动互联网时代基础设备与网络环境的优化改善,消费者的生活娱乐习惯发生了巨大转变。网络的内容主流和用户交流媒介正在由文本向图片或者视频过渡,视频移动化趋势势不可挡,并催生了短视频行业的迅猛发展。 短视频承载信息大,用户创作门槛低,易于传播与分享,满足用户社交需求,且符合用户碎片化消费习惯,因而短视频正成为新的内容传播媒介。因其强大的用户粘性和行业规模,短视频行业正成为一个重要的新的“内容变现”实现场景。 内容变现最直接的方式还是广告投放。近年来,广告投放呈现出从个人电脑端往移动端迁移的趋势。但是以往长视频在视频前、中、后插播一段广告的贴片方式不适合时间短的短视频,严重影响用户体验。短视频的题材较丰富,单一视频的内容有限,主题明确,因此短视频并不适合盲目无针对性地投放广告。现阶段市场十分需要一种适于短视频的广告投放方式。 随着计算机视觉技术的发展,使得物体级的视频检测成为一种可能。本文依据高相关,低打扰,短而精的准则,提出了一种基于深度学习的视频物体检测与内容推荐系统方案。通过视频中的物体检测和识别,将视频内容与相关的产品内容进行匹配,进而提升投放广告的有效性,均衡广告推荐和用户体验。 根据短视频来源、网络环境等不同,本论文有两种主要实现模式:云端模式和移动终端模式。云端模式由服务器、内容分发网络(Content Delivery Network,CDN)和终端组成,服务器可预先对CDN短视频内容进行物体检测和识别,通过内容推荐算法将短视频与对应广告内容匹配,并在移动端播放。移动终端模式主要处理本地视频,在移动端有限的资源上完成短视频的物体检测和识别,以及内容推荐。两种模式下系统均可根据用户行为统计,形成个性化内容推荐。本文的主要研究工作如下: (1)云端模式下,服务器上实现了视频帧获取和关键帧提取,采用基于FasterR-CNN物体检测方法完成物体检测与识别,并在检测出的物体处投放与之匹配的广告信息,由此实现短视频物体检测和广告投放,供移动端播放展示。 (2)移动终端模式下,通过自研发播放器内核提前获取短视频的视频帧并进行关键帧提取,采用基于MobileNet轻量级模型的Faster R-CNN物体检测与识别方法,在移动设备上完成物体检测,通过物体与广告主题的匹配,实现短视频的广告投放,并根据用户偏好裁剪广告类别等方法优化系统的实时性。 (3)搭建一套完整的视频物体检测与内容推荐系统平台,并测试了云端模式和移动终端模式的可行性和效果,对物体检测的速度、准确率和广告推送的匹配度进行了分析评价。