随着互联网的发展,用户能够在互联网平台中随意发布视频内容,这些内容可能存在多种违规问题,平台需要对其进行审查。传统条件下以人工审查视频内容为主,这种方式准确度较高,但是随着平台的发展、用户生成内容数量的上升,人工审查的高成本与低效率已经远远不能满足要求。因此企业平台需要一个自动化视频内容审查系统,并且该系统能够在大数据量高并发的场景下保持准确性与高性能。目前新兴的趋势是使用神经网络识别视频内容中的违规问题,这是自动化审查的核心工作,但是已有的自动化审查系统在企业级应用中存在以下三个问题。一是视频内容违规识别准确度不高。已有的审查系统使用单个神经网络审查视频整体内容,但视频包含文本、音频、图像等多维内容,其中包含的违规问题类型复杂,仅靠单个神经网络难以覆盖视频中所有维度内容的违规问题。二是系统性能无法支撑大数据量级的高并发请求。已有的审查系统在面对十万级日吞吐量的情况下存在审查延时较长、资源消耗较高的缺陷。三是已有的审查系统缺少接入控制。系统无法标识并管理业务方,业务方可以随意接入审查系统,未经批准的接入请求会浪费系统资源,严重影响正常的审查流程。基于以上背景,本文设计并实现了一个面向高并发请求的视频内容审查系统。本系统使用微服务模式与责任链模式,为了解决上述问题构造了四个服务,分别是视频内容审查服务、视频流预处理服务、接入控制服务、内存缓存服务,具体如下:·针对违规识别准确度不高的问题,本文设计并实现了视频流预处理服务和视频内容审查服务。视频流预处理服务拆分视频内容,包括抽取视频中图像帧、提取音频并转换为文字。视频内容审查服务将上述拆分内容分发到不同的神经网络,每个神经网络只识别特定维度内容的特定违规类型,获得拆分内容的违规识别结果后,再结合已有的视频整体内容违规识别,综合所有识别结果能够有效提高准确度。此外,视频内容审查服务收集审查原始数据与结果数据作为训练数据,用于后续训练神经网络,持续提升违规识别的准确度。·针对高并发下系统性能不足的问题,本文设计并实现了高性能的视频内容审查服务和内存缓存服务。视频内容审查服务中使用消息队列进行异步通信降低阻塞;使用Redis数据库缓存数据包降低存取耗时;使用责任链模式将长链路抽象为任务链,多线程并发异步运行,提高系统审查性能。系统中各服务均多机部署,提升分布式处理能力。内存缓存服务将系统元数据缓存在内存中,避免系统频繁请求数据库导致的性能瓶颈,该服务通过触发器和定时器保证内存缓存的时效性。·针对系统缺少接入控制的问题,本文设计并实现了接入控制服务,该服务用于管理审核接入的业务方,为每个业务方抽象出一个接入点,审查时使用接入点标识业务方,过滤未经批准的接入请求,保证审查服务的正常流程。此外,本服务也能为业务方提供定制化的配置能力,并在视频内容审查服务中根据业务方的配置给出定制化反馈。视频内容审查系统已经在国内知名互联网平台上线运行,目前运行稳定,为两百位业务方提供服务,日吞吐量峰值达到五十万。