Research on Video Forgery Detection Algorithms Using Phase Correlation Feature and Deep Learning

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:chenquanchenwen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
每天都有数以百万计的视频被制作并上传到网上,其中大部分视频的内容都没有经过审核。此外,Video Editor、Adobe Photoshop、Window Movie Maker、以及Adobe After Effects等视频编辑软件也被广泛使用。这些软件支持各种各样的视频编辑方法,即使编辑后的内容与原始内容有很大的反差,视频内容也能被随意编辑。此外,随着深度学习技术的快速发展,已经出现了自动将一个人的脸部替换为另一个人脸部的视频编辑软件,如Fake App、Faceswap等工具。这导致人们看到这些视频时不再信以为真。由于在法庭上,真实的视频比真实的图像更能提供强有力的证据,因此,对视频的真实性取证已经成为当今的迫切要求。近年来,随着视频编辑应用软件的稳步发展,视频中的3-D区域可以被复制,然后粘贴到其他位置进行编辑,包括亮度、几何特征等类似的东西都可以很容易地进行编辑。这些3-D区域可以是连续帧序列或整个连续帧序列内的小3-D区域。这些已经成为视频篡改中常用的篡改方法,并且很难检测到。因此,寻找检测此类伪造视频的技术算法是我们迫切需要研究的问题。在本研究的第一部分中,我们提出了一种利用帧残差的相位相关性来检测视频中3-D区域重复并确定篡改发生位置的方法。通过大量实验证明,该方法能够有效检测视频中的3-D区域的篡改。帧级的操作隐藏或模仿了视频中的内容,这些操作是编辑视频内容的简单技巧,但它们会产生肉眼很难检测到的伪造视频。另外,视频内容编辑应用程序强烈支持帧级别的篡改视频操作。任何人都可以通过视频编辑应用程序的一个或两个动作来高效地执行帧序列的删除、复制或插入。本文方法可以有效检测这类修改。最近,深度学习(Deep Learning)已经取得了突出的成果,特别是卷积神经网络(CNNs)在解决目标检测、自动驾驶汽车、视觉字幕等许多具有挑战性的视觉问题上取得了大量成果,特别是在大规模图像识别方面,这促使我们研究和应用最近有效的CNN模型来检测帧级(视频帧间伪造)的视频伪造。在本研究的第二部分中,提出了一种应用最新CNN模型的方法。这些CNN模型在Image Net数据库上用100多万张图像进行训练,我们在目标数据集上进行了微调和重新训练,以检测某些类型的视频帧间伪造。我们还比较了这些模型的效率,以找出哪种CNN模型的体系结构更适合于检测视频帧间的伪造。值得一提的是,这些模型不是直接从视频帧重新训练的,而是根据连续帧之间的残差或光流特征进行重新训练的。我们已经进行了大量的实验,以找出该方法所获得的最佳特征。此外,还进行了一些测试,以检验在Image Net数据库上训练的迁移学习模型在这种情况下的效率。在测试阶段,将分类打分细化为信度打分,以增强模型的有效性。除了人工操作的视频伪造之外,最近,数以百万计的视频被上传到网上,其中许多视频已经被全自动技术操作改变了视频内容。这种技术的发展给个人和社会带来了令人担忧的后果。尤其是在过去两年里,基于深度学习的人脸替换技术发展迅速,特别是Deepfake技术等,其中诸如Face App、Faceswap-gan、Deep Face Lab以及Dfaker等著名工具,它们被用来制作包含面部篡改的视频。而这些面部视频伪造很难用肉眼来识别,它们有可能出于恶意目的而制作出来的,如名人、政客的色请视频或假新闻、假监控视频,甚至造假政策紧张局势等。因此,人脸视频伪造检测已成为研究人员所关注的热门课题。目前,已有一些针对深伪/高仿(Deepfake)视频检测的方法,但大多仅基于隐写分析特征,或者分别基于时间和空间上的学习特征。视频中具有时间和空间关系的特征等尚未得到充分利用。因为视频是时间上的一组连续帧,最近的所有方法都没有带来很好的结果。因此,这仍然是一个巨大的挑战。而最新的机器学习方法表明,三维卷积核函数可以同时学习空间和时间特征,从而取得了突破性的效果。在本研究的最后部分中,我们应用并提出了一种利用三维卷积核构建深度三维卷积神经网络来学习短连续帧序列中的时空特征以检测深伪视频的方法。我们在Face Forensics++和Vid TIMIT这两个规模最大且最流行的深伪视频数据集上进行了实验,并将所提方法的效率与最新的方法进行了比较。通过实验证明,我们提出的方法比现有的方法更高效、更准确。
其他文献
征,在照明和显示领域具有广泛的应用。然而,由于Mn2+离子的跃迁来自于自旋和宇称禁戒的4T1→6A1跃迁,发光效率通常较低,这在一定程度上限制了其应用。提高掺杂浓度有望增强发光效率,但是Mn2+过高浓度掺杂不仅会导致浓度猝灭,最近的研究表明在某些体系中还会产生额外的近红外发光。由于Mn2+离子吸收的能量被转换为不可视的近红外发光,导致其可见发光的效率将显著降低。对Mn2+离子近红外发光的探索与研究
随着能源和环境问题的日益凸显,具有节油、抗湿滑和高耐磨特征的绿色轮胎越来越受到广泛关注。作为绿色轮胎的主要增强填料,白炭黑需要通过硅烷偶联剂,如双-[3-(三乙氧基硅基)丙基]四硫化物(TESPT)实施原位改性,提高白炭黑在橡胶基体中的分散和增强白炭黑与橡胶基体之间的界面相互作用,才可以有效平衡优化轮胎“魔三角”性能(滚动阻力降低、抗湿滑性能提高以及耐磨性能提高三者之间的矛盾)。然而,目前硅烷偶联
稀土离子上转换发光具有发射谱尖锐、反斯托克斯位移大和光化学稳定性好等特点,已经成为当今很多领域以及交叉学科领域的研究热点,在超分辨纳米成像、信息安全和加密、温度传感、生物标记与诊疗等领域具有广阔的应用前景。近年来多层核壳结构设计的上转换纳米材料体系由于具有调控稀土元素空间分布、设计能量传递过程、调节稀土发光以及改善材料理化特性等优势,已经成为研究稀土上转换发光的重要基质载体。目前已经有很多研究报道
三维泡沫镍(Ni)基石墨烯(graphene)结构具有理想的自支撑特性,但却受制于有限的容量。以三维Ni基graphene为催化基底,通过一步水热法,在三维Ni基graphene骨架上形成二氧化锰/石墨烯/泡沫镍(MnO2/graphene/Ni)的异质结电极。MnO2的形貌随着水热反应温度的增加而呈现出纳米花状、纳米花与纳米棒的混合结构以及纳米棒状。通过循环伏安、恒电流充放电等研究方法,发现具有
过渡金属Mn2+离子属3d5电子构型,具有宽带单峰发射、波长可调、寿命长、色纯度高等独特的发光性质,在照明和显示等领域展现出重要的应用前景。然而,Mn2+不存在稳定的中间态能级且与常用敏化剂稀土Yb3+离子具有大的能级失配,Mn2+的上转换发光通常较弱或仅可在低温下获得。理论上而言,Mn2+上转换发光的实现需要Yb3+与Mn2+离子间距离足够近(~5?)以形成交换耦合Yb3+-Mn2+二聚体这一特
镁合金具有显著的轻量化优势,但其绝对强度低,室温下塑性较差,缺少有效的强化途径等因素严重阻碍镁合金的广泛应用。晶粒细化是提高镁合金强度的有效途径之一。当前超过90%的镁合金产品仍然是以铸件形式获得,而碳质孕育法是铸造Mg-Al合金最具应用前景的细化方法之一。但其细化效果不稳定,晶核易受Fe(Mn)“毒化”,并加速衰退,当前关于Fe(Mn)元素对孕育细化效果的影响机理尚未形成共识。前期研究发现Ca(
目前,OLED显示正朝着高色纯度和高分辨率的方向发展。在现有的技术中,提高电致发光色纯度的方法主要是通过滤光片或构筑特殊的光学微腔结构,但通常会降低器件的外量子效率,增大能量损失。因此,设计开发具有本征高色纯度发光的有机发光材料是提高OLED器件色纯度和分辨率的有效方法。通常有机发光分子在激发态下具有较强的电子和核的振动弛豫以及较强的振动耦合,其发射谱带比较宽,发展具有窄发射谱带的有机发光材料一直
近年来,由于超疏水材料表面具有特殊的润湿性而引起了全世界各国科研工作者的广泛关注。这种特殊的润湿性不仅能够赋予材料优异的防水性,而且在自清洁、防腐蚀、防结冰和油水分离等领域均具有广阔的应用前景。但是,由于超疏水材料表面的层级粗糙结构和低表面能组分非常不稳定,通常,在轻微的剪切力作用下,层级粗糙结构和低表面能组分很容易被破坏,致使材料易失去超疏水性,减少材料的使用期限和降低材料的使用价值,这已经成为
长期的临床实践显示:女性患者常常先后或同时罹患甲状腺和乳腺双原发癌,但两者间发病机制尚不明确。中医学认为,人体的经络系统是贯穿上下、沟通内外的有效途径,且甲状腺与乳腺在经络系统中有一定关联性。按照中医取象比类法,经络如同河流沟通人体五脏六腑,而癌毒如泥沙淤堵于河道,癌毒与经络胶结是甲状腺和乳腺双原发癌形成的始动因素,气郁为先,痰瘀聚形,主责之肝经和胃经。依据经络辨证,当明其部以定经,循其流以寻源,
高密度聚乙烯(HDPE)因具有成本低、易加工、耐酸碱性佳以及力学性能良好等优点备受工业界和学术界关注。此外,HDPE分子链具有较高的柔顺性和规整性,这使得其构象转变对外部作用场(如温度场、流动场、压力场等)响应极为敏感,从而具有结晶形态较易调控等优点。为拓展HDPE的领域应用,HDPE复合材料必须兼具高强度和高韧性特征。然而,传统的HDPE共混改性对其强度和韧性平衡调控结果尚不理想。聚合物材料的宏