DeepDanbooru

DeepDanbooru 是一个用于动漫风格女孩图像标签估计的系统。您可以在我的在线演示站点 DeepDanbooru Web 上对您的图片进行标签估计。

需求

DeepDanbooru 使用 Python 3.11 编写。需要安装以下软件包：

• Click>=8.1.7
• numpy>=1.26.4
• requests>=2.32.3
• scikit-image>=0.24.0
• six>=1.16.0
• tensorflow>=2.17.0
• tensorflow-io>=0.31.0

或者直接使用 requirements.txt 文件：

> pip install -r requirements.txt

也可以通过 pip 安装。请注意，默认情况下不包含 TensorFlow。

如果要安装包含 TensorFlow 的版本，可以添加 tensorflow 附加包：

> # 默认安装
> pip install .
> # 包含 TensorFlow 的安装
> pip install .[tensorflow]

使用方法

1. 准备数据集。如果没有现成的数据集，可以使用 DanbooruDownloader 从 Danbooru 下载数据集。如果您想创建自己的数据集，请参阅“数据集结构”部分。
2. 创建训练项目文件夹。

> deepdanbooru create-project [your_project_folder]

3. 准备标签列表。如果想要使用最新的标签，可以运行以下命令，它会从 Danbooru 服务器下载标签。（需要 Danbooru 账号和 API 密钥）

> deepdanbooru download-tags [your_project_folder] --username [your_danbooru_account] --api-key [your_danbooru_api_key]

4. （可选）过滤数据集。如果希望使用特定标签（如评分和分数）进行训练，需要将其转换为系统标签。

> deepdanbooru make-training-database [your_dataset_sqlite_path] [your_filtered_sqlite_path]

5. 修改项目文件夹中的 project.json 文件。将 database_path 设置更改为实际的 SQLite 数据库文件路径。
6. 开始训练。

> deepdanbooru train-project [your_project_folder]

7. 享受成果。

> deepdanbooru evaluate [image_file_path or folder]... --project-path [your_project_folder] --allow-folder

数据集结构

DeepDanbooru 对输入数据集采用如下文件夹结构。SQLite 文件名可以任意，但必须与 images 文件夹位于同一目录下。所有图片文件都存放在以文件名前两位字符命名的子文件夹中。

MyDataset/
├── images/
│   ├── 00/
│   │   ├── 00000000000000000000000000000000.jpg
│   │   ├── ...
│   ├── 01/
│   │   ├── 01000000000000000000000000000000.jpg
│   │   ├── ...
│   └── ff/
│       ├── ff000000000000000000000000000000.jpg
│       ├── ...
└── my-dataset.sqlite

核心是 SQLite 数据库文件。该文件必须包含以下表结构：

posts
├── id (INTEGER)
├── md5 (TEXT)
├── file_ext (TEXT)
├── tag_string (TEXT)
└── tag_count_general (INTEGER)

图片的文件名应为 [md5].[file_ext]。如果您使用的是自有图片，md5 不必是真实的 MD5 哈希值。

tag_string 是用空格分隔的标签列表，例如 1girl ahoge long_hair。

tag_count_general 用于项目的 minimum_tag_count 设置。标签数量大于或等于此值的图片将被用于训练。

项目结构

项目是 DeepDanbooru 中进行训练的最小单位。您可以修改各种训练参数。

MyProject/
├── project.json
└── tags.txt

tags.txt 包含所有用于估计的标签。您可以自行创建标签列表，也可以从 Danbooru 服务器下载最新标签。这是一个简单的每行一个标签的文件，如下所示：

1girl
ahoge
...

DeepDanbooru 快速上手指南

DeepDanbooru 是一个基于深度学习的动漫风格图像标签估算系统，可自动识别图片中的角色、特征及属性标签。

环境准备

• 操作系统：支持 Windows、Linux 或 macOS。
• Python 版本：必须使用 Python 3.11。
• 核心依赖：系统主要依赖 TensorFlow 2.17+ 及相关科学计算库。
  • 建议国内用户使用清华源或阿里源加速安装过程。

安装步骤

方式一：通过源码安装（推荐）

克隆项目或直接下载源码后，在终端执行以下命令。

1. 安装基础依赖（不含 TensorFlow，适合已有 TF 环境的用户）：

pip install -r requirements.txt
# 或者使用国内镜像源
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 完整安装（包含 TensorFlow）： 若未安装 TensorFlow，建议使用以下命令一键安装所有必要组件：

pip install .[tensorflow] -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：通过 Pip 直接安装

# 默认安装
pip install .
# 包含 TensorFlow 的安装
pip install .[tensorflow]

基本使用

本指南介绍如何使用预训练模型对本地图片进行标签评估（无需重新训练）。

1. 准备项目文件夹

首先需要创建一个包含模型配置的项目文件夹。如果你已有训练好的项目文件夹，可跳过此步直接使用。

deepdanbooru create-project my_project

注：若要使用官方最新标签列表，需配置 Danbooru API Key 下载，否则可使用默认生成的 tags.txt。

2. 执行图像评估

使用 evaluate 命令对单张图片或整个文件夹进行分析。

评估单张图片：

deepdanbooru evaluate image.jpg --project-path my_project

评估文件夹内所有图片：

deepdanbooru evaluate ./images_folder --project-path my_project --allow-folder

输出示例： 系统将输出类似以下的标签及其置信度：

0.99 1girl
0.95 long_hair
0.88 blue_eyes
...

进阶：自定义数据集与训练（简述）

若需训练自己的模型，流程如下：

1. 准备数据：图片需按 images/xx/filename.ext 结构存放，并配套包含 posts 表的 SQLite 数据库。
2. 创建项目：deepdanbooru create-project [project_path]
3. 下载标签：deepdanbooru download-tags [project_path] --username [user] --api-key [key]
4. 配置路径：修改项目文件夹下的 project.json，将 database_path 指向你的 SQLite 文件。
5. 开始训练：deepdanbooru train-project [project_path]