基于深度学习的短视频中物体检测与内容推荐的研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:fan20090603
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网时代基础设备与网络环境的优化改善,消费者的生活娱乐习惯发生了巨大转变。网络的内容主流和用户交流媒介正在由文本向图片或者视频过渡,视频移动化趋势势不可挡,并催生了短视频行业的迅猛发展。  短视频承载信息大,用户创作门槛低,易于传播与分享,满足用户社交需求,且符合用户碎片化消费习惯,因而短视频正成为新的内容传播媒介。因其强大的用户粘性和行业规模,短视频行业正成为一个重要的新的“内容变现”实现场景。  内容变现最直接的方式还是广告投放。近年来,广告投放呈现出从个人电脑端往移动端迁移的趋势。但是以往长视频在视频前、中、后插播一段广告的贴片方式不适合时间短的短视频,严重影响用户体验。短视频的题材较丰富,单一视频的内容有限,主题明确,因此短视频并不适合盲目无针对性地投放广告。现阶段市场十分需要一种适于短视频的广告投放方式。  随着计算机视觉技术的发展,使得物体级的视频检测成为一种可能。本文依据高相关,低打扰,短而精的准则,提出了一种基于深度学习的视频物体检测与内容推荐系统方案。通过视频中的物体检测和识别,将视频内容与相关的产品内容进行匹配,进而提升投放广告的有效性,均衡广告推荐和用户体验。  根据短视频来源、网络环境等不同,本论文有两种主要实现模式:云端模式和移动终端模式。云端模式由服务器、内容分发网络(Content Delivery Network,CDN)和终端组成,服务器可预先对CDN短视频内容进行物体检测和识别,通过内容推荐算法将短视频与对应广告内容匹配,并在移动端播放。移动终端模式主要处理本地视频,在移动端有限的资源上完成短视频的物体检测和识别,以及内容推荐。两种模式下系统均可根据用户行为统计,形成个性化内容推荐。本文的主要研究工作如下:  (1)云端模式下,服务器上实现了视频帧获取和关键帧提取,采用基于FasterR-CNN物体检测方法完成物体检测与识别,并在检测出的物体处投放与之匹配的广告信息,由此实现短视频物体检测和广告投放,供移动端播放展示。  (2)移动终端模式下,通过自研发播放器内核提前获取短视频的视频帧并进行关键帧提取,采用基于MobileNet轻量级模型的Faster R-CNN物体检测与识别方法,在移动设备上完成物体检测,通过物体与广告主题的匹配,实现短视频的广告投放,并根据用户偏好裁剪广告类别等方法优化系统的实时性。  (3)搭建一套完整的视频物体检测与内容推荐系统平台,并测试了云端模式和移动终端模式的可行性和效果,对物体检测的速度、准确率和广告推送的匹配度进行了分析评价。
其他文献
无线通信的发展一直强调为用户提供3A服务(Anytime, Anywhere, Any media),即在任何时间、任何地点用户通过任何介质都可以获得优质的通信服务。随着通信事业飞速发展以及移
随着人类物质生活生活水平的提高,安全问题越来越被人们所重视,用于社会和谐、生命财产安全的安防系统近年来也随之发展迅速。作为安防监控领域中的核心组成部分,异常行为检
脉冲超宽带技术作为一种新的短距离无线通信技术,具有低功耗、高带宽,低复杂度、抗多径能力强、保密性好等优点。随着计算机技术和数字信号处理技术的飞速发展,我们希望能够
随着社会的快速发展,由于互联网的出现,其带领人类社会进入了前所未有的信息时代,互联网技术以其独特的发展速度,俨然成为现代人们生活、学习和工作必不可少的一部分。现代社会中
随着城镇化建设步伐的加快与城市人口的不断增加,城市的社区住宅不断增加,建造集现代高新信息技术于一体的现代化、智能化小区已成为21世纪社区的发展趋势,社区单元门禁系统
移动通信技术在21世纪给人们的生活带来了便捷的服务,移动用户数目随之激增。然而,移动通信使用的无线频谱资源是不可再生且有限的。因此,为了缓解这一矛盾,研究移动通信系统的无
本论文针对我国自主产权的AVS标准算法视频格式,从视频采集、编码、网络传送,到视频流数据接收、解码、显示以及客户端软件的编写,特别加入了视频流媒体中间件的设计来管理客
在大数据飞速发展的今天,信息安全关系着国家的政治、经济、军事等重要战略资源。信息隐藏技术是一种解决信息安全问题的有效措施,然而,由于传统的信息隐藏技术自身的局限性,无载
近年来,在生物特征识别领域,说话人识别以其独特的安全性、经济性和准确性等优势受到越来越多的关注,并逐渐成为人们生活和工作中重要的身份验证方式,具有广阔的市场前景。说
3D电视技术能够增强视频观赏体验,近年来得到了高速的发展和应用。基于深度图像绘制(DIBR)的视图合成是3D电视的关键技术,它能够方便地合成任意视点的视图,实现3D内容的实时编辑