江苏龙网

  1. 首页 > 资讯 > 科技 > >

机器之心|黑科技DeepFake检测方法：利用心跳做信号，还能“揪出”造假模型( 二 )


现在将它们重组成 32 行、ω 列的矩阵 ， 就形成了 PPG 单元的基础 ， 如图 1f 和图 2 最下面一行的上半部分所示 。
机器之心|黑科技DeepFake检测方法：利用心跳做信号，还能“揪出”造假模型
本文插图

最后一步将频域信息添加到 PPG 单元 。 计算窗口中每个原始 PPG 值的功率谱密度 ， 并将其缩放到 ω 大小 。
图 2 的最下面一行显示了从同一个窗口生成的 deepfake PPG 单元示例 ， 第一行是每个窗口的示例帧 。
定义完 PPG 单元后 ， 研究者展示了其主要假设：将 deepfake 生成器的残差投影到生物信号空间 ， 可以创造一个独特的模式 ， 并用于检测 deepfake 背后的源生成模型 。
实验
该研究提出的系统采用 Python 语言实现 ， 使用 OpenFace 库进行人脸检测 ， OpenCV 进行图像处理 ， 使用 Keras 实现神经网络 。
表 1 列出了在测试集上的 PPG 单元分类结果 ， 其中 VGG19 在区分 4 种不同生成模型和检测 FaceForensics++（FF）真实视频方面达到了最高准确率（图 1f） 。 像 DenseNet 和 MobileNet 这样的复杂网络由于过拟合 ， 虽然达到了非常高的训练准确率 ， 但在测试集上的效果不如人意 。
机器之心|黑科技DeepFake检测方法：利用心跳做信号，还能“揪出”造假模型
本文插图

在视频分类方面 ， 表 2 记录了过程中的不同投票方案 。 研究者设置 ω=128 ， 比较了使用大多数投票、最高平均概率、两个最高平均概率以及对数几率平均后 VGG19 的单元预测结果 。
机器之心|黑科技DeepFake检测方法：利用心跳做信号，还能“揪出”造假模型
本文插图

如图 3 所示 ， 该方法对五类 FF（1 个真视频和 4 个假视频）的真实视频检测率为 97.3% ， 对生成模型的检测准确率至少为 81.9% 。
机器之心|黑科技DeepFake检测方法：利用心跳做信号，还能“揪出”造假模型
本文插图

研究人员在不同的设置上进行训练和测试：1）训练集中没有真实的视频；2）PPG 单元中没有功率谱；3）没有生物信号；4）使用全帧而不是面部 ROI ， 其中 ω = 64 ， FF 数据集分割设为常数 。 结果见表 3：
机器之心|黑科技DeepFake检测方法：利用心跳做信号，还能“揪出”造假模型
本文插图

使用前述设置 ， 用不同的窗口大小 ω =帧来测试该论文提出的方法 。 结果参见下表 4：
机器之心|黑科技DeepFake检测方法：利用心跳做信号，还能“揪出”造假模型
本文插图

为了证明该论文提出的方法可以扩展到新模型 ， 研究人员将 FF 设置与单个生成器数据集 CelebDF 相结合并重复分析过程 。 该研究提出的方法在整个数据集上达到了 93.69% 的检测准确率 ， 在 CelebDF 数据集上达到了 92.17% 的检测准确率 ， 这表明该方法可以泛化到新模型（参见表 5） 。
机器之心|黑科技DeepFake检测方法：利用心跳做信号，还能“揪出”造假模型
本文插图

表 6 列出了测试集上不同模型的准确率 。 由结果可知 ， 该论文提出的方法甚至超过了最复杂的网络 Xception ， 准确率高出 10% 。
机器之心|黑科技DeepFake检测方法：利用心跳做信号，还能“揪出”造假模型
本文插图

如何根据任务需求搭配恰当类型的数据库？
在AWS推出的白皮书《进入专用数据库时代》中 ， 介绍了8种数据库类型：关系、键值、文档、内存中、关系图、时间序列、分类账、领域宽列 ， 并逐一分析了每种类型的优势、挑战与主要使用案例 。


推荐阅读


上一篇：机器之心|杀毒大王McAfee上月底刚提交IPO申请，它的创始人却因逃税被捕了

下一篇：苹果手机|被评史上最失败：iPhone 5C即将全球停产