阅读技术深度解析：https://www.dessa.com/post/deepfake-detection-that-actually-works

可视化深度伪造检测

在我们最近的文章中，我们做出了以下贡献：

• 我们表明，当前视频篡改领域最先进方法（FaceForensics++）所提出的模型，并不能泛化到从YouTube随机收集的真实生活视频。
• 我们指出检测器需要不断用真实世界的数据进行更新，并提出了一种初步解决方案，以期解决深度伪造视频的检测问题。

我们的PyTorch实现进行了大量实验，证明由Google生成并在FaceForensics++论文中详细描述的数据集，并不足以使神经网络泛化，从而检测现实生活中的面部篡改技术。同时，我们也提供了一种当前的解决方案，即通过增加数据来应对这一问题。

我们的PyTorch模型基于在ImageNet上预训练的ResNet18，并对其进行微调以解决深度伪造检测问题。 此外，我们还使用Dessa的开源调度器和实验管理工具Atlas进行了大规模实验。

设置

先决条件

要运行代码，您的系统应满足以下要求：内存 >= 32GB，GPU >=1。

步骤

0. 安装nvidia-docker
1. 安装ffmpeg 或 sudo apt install ffmpeg
2. 克隆本仓库。
3. 如果您尚未安装，请安装Atlas。
4. 安装Atlas后，如果您尚未激活环境，请先激活，并导航到您的项目文件夹。

至此，您已准备就绪！

数据集

本项目使用的数据集中有一半来自FaceForensics深度伪造检测数据集。

要下载这些数据，请务必填写谷歌表单，以申请访问权限。

对于我们从YouTube收集的数据集，您可以通过S3下载。

要自动下载并重新组织这两个数据集，请执行：

bash restructure_data.sh faceforensics_download.py

注意：在执行重新组织脚本之前，您需要先从FaceForensics++团队获取下载脚本。

注2：我们创建了restructure_data.sh脚本，用于按照与上方UI中完全相同的实验设置进行数据划分，您可以根据自己的需求调整划分方式。

操作指南

在开始训练或评估模型之前，我们首先需要创建将用于运行实验的Docker镜像。为此，我们在custom_docker_image目录下已经准备好了Dockerfile。要构建Docker镜像，请在终端中执行以下命令：

cd custom_docker_image
nvidia-docker build . -t atlas_ff

注意：如果您更改了镜像名称，请确保同时修改job.config.yaml文件第16行，以匹配Docker镜像名称。

在job.config.yaml文件中，请将主机上的数据路径从/media/biggie2/FaceForensics/datasets/更改为您的datasets文件夹的绝对路径。

包含数据集的文件夹应具有以下结构：

datasets
├── augment_deepfake        (2)
│   ├── fake
│   │   └── frames
│   ├── real
│   │   └── frames
│   └── val
│       ├── fake
│       └── real
├── base_deepfake           (1)
│   ├── fake
│   │   └── frames
│   ├── real
│   │   └── frames
│   └── val
│       ├── fake
│       └── real
├── both_deepfake           (3)
│   ├── fake
│   │   └── frames
│   ├── real
│   │   └── frames
│   └── val
│       ├── fake
│       └── real
├── precomputed             (4)
└── T_deepfake              (0)
    ├── manipulated_sequences
    │   ├── DeepFakeDetection
    │   ├── Deepfakes
    │   ├── Face2Face
    │   ├── FaceSwap
    │   └── NeuralTextures
    └── original_sequences
        ├── actors
        └── youtube

注释：

• (0) 是使用FaceForensics仓库脚本下载的数据集。
• (1) 是对FaceForensics数据进行重塑后的版本，以符合代码库预期的结构。名为frames的子文件夹中包含了使用ffmpeg采集的帧。
• (2) 是从YouTube收集的增强数据集，可在S3上获取。
• (3) 是基础数据集与增强数据集的结合。
• (4) 预计算数据将在训练过程中自动生成，其中保存着缓存的裁剪帧。

接下来，要运行我们将在后续文章中展示的所有实验，您可以使用以下命令启动hparams_search.py脚本：

python hparams_search.py

结果

在下面的图片中，每个子图的标题格式为“真实概率，虚假概率 | 预测 | 标签”。

基于FaceForensics++数据集训练的模型

对于仅使用论文中数据集训练的模型，我们注意到该模型只能识别论文中提到的篡改技术，而无法检测真实世界数据中的其他篡改内容。

基于YouTube数据集训练的模型

仅使用YouTube数据集训练的模型能够检测真实世界的深度伪造，但同时也误判了论文数据集中的简单伪造样本。然而，这些模型无法检测其他类型的篡改（如NeuralTextures）。

基于论文+YouTube数据集联合训练的模型

最后，结合两个数据集共同训练的模型，不仅能够检测真实世界的篡改技术，还能识别FaceForensics++论文中提到的其他方法。

有关这些结果的更深入解释，请参阅我们发布的文章。更多结果可在交互式UI中查看。

帮助改进这项技术

欢迎您fork本项目并继续推进。

如果您也希望帮助改进深度伪造检测数据集，请将您的真实/伪造样本发送至foundations@dessa.com。

许可证

© 2020 Square, Inc. ATLAS、DESSA、Dessa标志等均为Square, Inc.的商标。所有第三方名称及商标均属于其各自所有者，仅用于标识目的。

DeepFake-Detection 快速上手指南

本指南基于 Dessa 开源的 DeepFake 检测项目，旨在帮助开发者快速搭建环境并复现论文中的实验。该模型基于预训练的 ResNet18，通过结合 FaceForensics++ 数据集与真实 YouTube 视频数据，提升对现实世界深度伪造视频的泛化检测能力。

环境准备

在开始之前，请确保您的系统满足以下硬件和软件要求：

系统要求

• 内存 (RAM): ≥ 32GB
• 显卡 (GPU): ≥ 1 块 (支持 CUDA)
• 操作系统: Linux (推荐 Ubuntu)

前置依赖

您需要安装以下基础工具：

1. NVIDIA Docker: 用于容器化运行环境。
   • 安装参考：nvidia-docker v2.0 安装指南
2. FFmpeg: 用于视频帧提取。
   • 安装命令：

     sudo apt install ffmpeg
     

3. Atlas: Dessa 开源的任务调度与实验管理工具。
   • 安装参考：Atlas GitHub 仓库

安装步骤

1. 克隆项目代码

git clone <repository_url>
cd <repository_folder>

(注：请将 <repository_url> 替换为实际的项目地址)

2. 配置 Atlas 环境

如果您尚未安装 Atlas，请先完成安装。安装完成后，激活您的 Python 环境并进入项目目录。

3. 构建 Docker 镜像

项目提供了自定义 Dockerfile 以统一实验环境。在项目根目录下执行：

cd custom_docker_image
nvidia-docker build . -t atlas_ff

注意：如果您修改了镜像名称（-t 后面的名字），请务必同步修改 job.config.yaml 文件第 16 行中的镜像名称以保持一致。

4. 准备数据集

本项目使用两部分数据：

1. FaceForensics++ 数据集：需前往 FaceForensics GitHub 填写 Google 表单申请访问权限并获取下载脚本。
2. YouTube 增强数据集：可直接从 S3 下载。

数据重组

确保您已拥有 FaceForensics 的官方下载脚本后，运行以下命令自动下载（如已下载）并重组数据结构：

bash restructure_data.sh faceforensics_download.py

配置文件调整

打开 job.config.yaml，将宿主机的数据路径从默认的 /media/biggie2/FaceForensics/datasets/ 修改为您本地实际的 datasets 文件夹绝对路径。

预期的目录结构如下：

datasets
├── augment_deepfake        (YouTube 增强数据)
│   ├── fake/frames
│   ├── real/frames
│   └── val/...
├── base_deepfake           (FaceForensics 重构数据)
│   ├── fake/frames
│   ├── real/frames
│   └── val/...
├── both_deepfake           (合并数据)
├── precomputed             (训练时自动生成，缓存裁剪帧)
└── T_deepfake              (FaceForensics 原始数据)
    ├── manipulated_sequences/...
    └── original_sequences/...

基本使用

完成上述配置后，您可以直接启动超参数搜索脚本来运行论文中展示的实验：

python hparams_search.py

该脚本将利用 Atlas 调度器在 Docker 容器中启动训练任务。训练完成后，模型将能够同时识别 FaceForensics++ 中定义的伪造技术以及现实世界中采集的深度伪造视频。

更多详细的实验结果可视化与分析，请参考项目原文技术文章或交互式 UI 演示。