GIPHY 明星检测器

GIPHY 开源的明星人脸识别深度学习模型与代码

关于本项目

GIPHY 很荣幸发布我们自研的机器学习模型，该模型可识别超过 2,300 位名人面孔，准确率达 98%。该模型专门针对 GIPHY 平台上最受欢迎的名人进行训练，能够对 GIF 或视频等图像序列中的多张人脸同时进行识别和预测。

本项目由 GIPHY 研发团队（R&D Team）开发，目标是构建一个深度学习模型，使其在标注我们最热门内容方面的能力达到甚至超越主流科技公司提供的类似模型。我们对成果感到非常自豪，并将此模型及训练代码开源，希望其他人能在此基础上继续开发、将其集成到自己的项目中，或从我们的方法中获得启发。

更多项目详情请参阅 GIPHY 工程博客。

我们提供了模型支持的所有名人列表。

感谢您的关注！

GIPHY 研发团队

Nick Hasty @jnhasty, Ihor Kroosh @tilast, Dmitry Voitekh @dvoitekh, Dmytro Korduban @dkorduban

快速体验！

请按照 examples 目录 中的说明下载模型，并在您自己的 GIF 和视频上进行测试。

前置条件

1. Python 3.6 或更高版本

2. Linux 系统需安装：libsm、libxext、libxrender

训练与迁移学习实验流程

预备步骤：

1. 创建一个工作目录用于存储实验结果（该目录不强制要求位于项目内）。示例见 此处。

2. 在工作目录内创建一个实验目录，其名称必须与对应的实验 Python 文件名一致（例如 example_experiment.py 对应的目录为 example_experiment）。

3. 在工作目录内创建名为 face_recognition 的子目录，其中必须包含 MTCNN 模型的权重文件（三个文件：det1.npy、det2.npy、det3.npy，可从 Giphy 预训练资源包 中复制）。

4. 在实验目录内创建 labels.csv 文件，结构如下（示例见 此处）：

   Label,Index
   Person1,0
   Person2,1
   Person3,3
   ...
   

5. 在实验目录内创建 raw_dataset 子目录，存放未经裁剪的原始图像数据集，结构如下：

   - raw_dataset
     - Person1
       image1.jpg
       image2.jpg
       image3.jpg
       ...
     + Person2
     + Person3
     ...
   

最终工作目录的整体结构如下：

- workdir
  - example_experiment
    - raw_dataset
      - Person1
        image1.jpg
        image2.jpg
        image3.jpg
        ...
      + Person2
      + Person3
      ...
    labels.csv
  - face_detection
    det1.npy
    det2.npy
    det3.npy

完成后，您需要决定在 CPU 还是 GPU 上运行训练。根据选择，在 setup.py 中将 requirements_cpu.txt 替换为 requirements_gpu.txt，或保持原样。如有必要，请注意调整 tensorflow 版本。

使用 Python 3.6 包

1. （可选）创建虚拟环境以隔离依赖：

   https://virtualenv.pypa.io/en/latest/

   pip install --upgrade virtualenv
   virtualenv -p python3 venv
   activate
   source ./venv/bin/activate
   

2. 安装本项目包：

   pip install -e .
   

3. 创建您的实验脚本（参考 experiments 目录中的示例）。

4. cp .env.example .env，并按需填写 .env 文件中的缺失值。

5. 从项目根目录运行实验脚本，例如：

   python experiments/example_experiment.py
   

使用 Docker

1. 安装 nvidia-docker2

2. 修改 /etc/docker/daemon.json 文件：

   {
       "default-runtime": "nvidia",
       "runtimes": {
           "nvidia": {
               "path": "/usr/bin/nvidia-container-runtime",
               "runtimeArgs": []
           }
       }
   }
   

3. 创建您的实验脚本（参考 experiments 目录中的示例），然后在 Dockerfile 的 CMD 部分指定该文件名。

4. cp .env.example .env 并填写缺失值，同时确保已在 docker-compose.yml 中修改数据目录路径和 TensorBoard 端口。

5. 在运行任何命令前，需在当前 shell 中显式激活以下环境变量（容器启动时需要）：

   1. TENSORBOARD_PORT

   2. WORKDIR

   3. LOCAL_WORKDIR

6. 通过 docker-compose 启动：

   docker-compose up --build
   

   或使用原生 Docker 命令，例如：

   docker build -t celebrity-detection-model-train .
   docker run --rm --volume $LOCAL_WORKDIR:$WORKDIR --env-file .env --runtime=nvidia --shm-size 8G -p $TENSORBOARD_PORT:$TENSORBOARD_PORT celebrity-detection-model-train
   

celeb-detection-oss 快速上手指南

环境准备

• Python 版本：3.6 或更高
• Linux 系统依赖（如使用 Linux）：

  sudo apt-get install libsm6 libxext6 libxrender1
  

• 硬件建议：支持 GPU 加速（需安装 CUDA 和 cuDNN），但 CPU 也可运行

注：目前官方未提供国内镜像源，建议使用 pip 国内源加速安装（如清华、阿里云等）

安装步骤

方法一：Python 虚拟环境安装（推荐）

# 创建并激活虚拟环境
pip install --upgrade virtualenv
virtualenv -p python3 venv
source ./venv/bin/activate

# 安装项目包（在项目根目录执行）
pip install -e .

方法二：Docker 安装（适合 GPU 用户）

# 1. 安装 nvidia-docker2（参考官方文档）
# 2. 修改 /etc/docker/daemon.json 配置默认 runtime 为 nvidia
# 3. 构建并运行容器
docker-compose up --build

若使用 Docker，请提前设置 .env 文件中的 TENSORBOARD_PORT、WORKDIR、LOCAL_WORKDIR 等变量。

基本使用

1. 下载预训练模型资源

从以下地址下载 MTCNN 权重文件并放入 workdir/face_detection/ 目录：

https://s3.amazonaws.com/giphy-public/models/celeb-detection/resources.tar.gz

解压后应包含：det1.npy, det2.npy, det3.npy

2. 准备实验目录结构

在 workdir/ 下创建你的实验目录（如 example_experiment/），结构如下：

workdir/
├── example_experiment/
│   ├── raw_dataset/
│   │   ├── Person1/
│   │   │   ├── image1.jpg
│   │   │   └── ...
│   │   └── Person2/
│   └── labels.csv
└── face_detection/
    ├── det1.npy
    ├── det2.npy
    └── det3.npy

labels.csv 格式示例：

Label,Index
Person1,0
Person2,1
Person3,2

3. 运行示例实验

# 复制并配置环境变量文件
cp .env.example .env

# 运行示例脚本（在项目根目录）
python experiments/example_experiment.py

模型默认支持识别 2300+ 明星，完整名单见 labels.csv