ArtLine

您可以通过赞助支持我的开源工作 💖 赞助

该项目的主要目标是创作令人惊叹的线条艺术肖像。

令人兴奋的更新

ControlNet + ArtLine 用于肖像，快来 Colab 体验吧！！

ControlNet + ArtLine

该模型旨在接收一张肖像照片和相应的文字指令，并根据该指令调整图像的风格。

亮点

• 示例图片
• 卡通化
• 使用 ArtLine 创作的电影海报
• 技术细节

示例图片

《波西米亚狂想曲》电影，美国演员拉米·马雷克

来自 Pexels 的 Maxim 拍摄的照片

加拿大演员基努·里维斯。

来自 Pexels 的 Anastasiya Gepp 拍摄的照片

《星际穿越》

Pexels 肖像，模特

美国歌手碧昂丝

模型-(平滑)

模型-(高质量)

点击下方图片，了解更多关于 Colab 演示的信息，感谢 Bhavesh Bhatt 制作的精彩 YouTube 视频。

线条艺术

该模型所取得的惊人成果背后有一个秘诀。最初的模型无法产生我期望的效果，它在识别面部特征方面存在很大困难。尽管 (https://github.com/yiranran/APDrawingGAN) 生成了很好的结果，但它也有一些限制，比如需要正面、类似证件照的清晰面部照片，不能戴眼镜或留长刘海等。我希望突破这些限制，让模型能够识别任何姿势。要获得面部、眼睛、嘴唇和鼻子周围恰当的线条，取决于你提供给模型的数据。仅靠 APDrawing 数据集是不够的，所以我不得不结合动漫素描上色配对数据集中的精选照片。这种组合数据集帮助模型更好地学习线条。

使用 ArtLine 创作的电影海报。

这张电影海报是用 ArtLine 很快制作出来的，虽然效果还不够理想，但我毕竟不是艺术家。

技术细节

• 自注意力机制 (https://arxiv.org/abs/1805.08318)。生成器是一个预训练的 UNET，带有谱归一化和自注意力机制。这是我从 Jason Antic 的 DeOldify (https://github.com/jantic/DeOldify) 中学到的，这带来了巨大的改变，我突然开始在面部特征周围得到更清晰的细节。

• 渐进式缩放 (https://arxiv.org/abs/1710.10196),(https://arxiv.org/pdf/1707.02921.pdf)。渐进式缩放的理念是逐步增加图像尺寸。在这个项目中，图像尺寸被逐渐放大，同时调整学习率。感谢 fast.ai 向我介绍了渐进式缩放，这有助于模型在看到更多不同图像时更好地泛化。

• 生成器损失：基于 VGG16 的感知损失/特征损失。 (https://arxiv.org/pdf/1603.08155.pdf)。

惊喜！！没有判别器，也没有 GAN。GAN 并未带来显著效果，因此我决定不使用 GAN。

我们的使命是创建一种可以将任何个人照片转换为线条艺术的作品。初步的努力已经帮助模型识别线条，但模型在阴影和衣物的表现上仍有很大的提升空间。我所有的努力都是为了改进模型，让线条艺术触手可及。

数据集

APDrawing 数据集

动漫素描上色配对数据集

APDrawing 数据集主要包含近景肖像，因此模型在识别衣物、手部等方面会遇到困难。为此，我们使用了动漫素描上色配对数据集中的一些精选图像。

未来展望

希望我已经表达清楚了。未来我将继续改进模型，因为它仍然难以处理复杂的背景（我正在创建一个自定义数据集来解决这个问题）。

在可预见的未来，我会不断升级这个项目。

自己动手开始

最简单的方式就是在 Colab 上试一试：https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb

安装说明

该项目基于优秀的 Fast.AI 库构建。

• fastai==1.0.61（及其依赖项）。请不要安装更高版本
• PyTorch 1.6.0 请不要安装更高版本

局限性

• 获得优质输出取决于光线、背景、阴影以及照片的质量。初次尝试通常会有不错的效果，但也可能出现一些问题。目前模型仍需进一步优化，才能满足所有用户的需求。它可能对“AI 艺术家/能够对最终作品进行修改的艺术家”更有帮助。

• 模型有时会将阴影误认为头发，这也是我正在努力解决的问题。

• 对于低质量图像（低于 500 像素）表现不佳。

• 我并不是一名程序员，请谅解代码和文档可能存在的不足。我会在后续更新中不断改进。

更新信息

在 Twitter 上获取更多更新

请发送邮件至 vijishmadhavan@gmail.com

致谢

• 本代码受到 Fast.AI 第 7 课和 DeOldify (https://github.com/jantic/DeOldify) 的启发，请参阅该课程笔记 (https://github.com/fastai/course-v3/blob/master/nbs/dl1/lesson7-superres-gan.ipynb)。

• 感谢 (https://github.com/yiranran/APDrawingGAN) 提供的优秀数据集。

许可证

本仓库中的所有代码均遵循 LICENSE 文件中规定的 MIT 许可证。

ArtLine 快速上手指南

ArtLine 是一个基于深度学习的开源项目，旨在将人像照片转换为精美的线条画（Line Art）。本项目基于 Fast.AI 构建，支持通过 Colab 快速体验或本地部署。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2 或 Docker)
• Python 版本: 推荐 Python 3.6 - 3.8
• 核心依赖版本限制 (重要):
  • fastai 必须为 1.0.61 (更高版本可能导致兼容性问题)
  • PyTorch 必须为 1.6.0 (更高版本可能导致兼容性问题)
• 硬件建议: 推荐使用 NVIDIA GPU 以获得更快的推理速度；若无 GPU，CPU 亦可运行但速度较慢。

国内加速提示: 安装依赖时，建议使用清华源或阿里源以加快下载速度。 例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...

安装步骤

方法一：使用 Google Colab (推荐新手)

这是最简单的方式，无需配置本地环境即可直接运行。

1. 点击以下链接打开 Colab 笔记本： ArtLine Try it on Colab
2. 点击菜单栏的 代码执行程序 (Runtime) -> 全部运行 (Run all)。
3. 按照笔记本内的指引上传照片并生成结果。

方法二：本地安装

1. 创建虚拟环境 (可选但推荐):

   python -m venv artline_env
   source artline_env/bin/activate  # Windows 用户使用: artline_env\Scripts\activate
   

2. 安装指定版本的 PyTorch 和 Fast.AI: 请严格按照以下版本安装，不要安装更新版本。

   # 使用国内镜像源加速安装
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==1.6.0 torchvision==0.7.0
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple fastai==1.0.61
   

3. 克隆项目代码:

   git clone https://github.com/vijishmadhavan/ArtLine.git
   cd ArtLine
   

4. 下载模型权重: 项目通常需要预训练模型文件。请参考项目仓库中的 models 目录说明或 Colab 笔记本中的下载逻辑，将模型文件放置在正确目录（通常为 models/ 文件夹下）。

基本使用

1. 准备输入图片

准备一张清晰的人像照片。

• 建议: 光线充足、背景简单、面部特征清晰的照片效果最佳。
• 限制: 图片分辨率建议高于 500px；避免过重的阴影或复杂的发饰，否则模型可能将阴影误识别为头发。

2. 运行推理 (基于 Colab 或本地脚本逻辑)

如果您在本地运行，通常需要编写一个简单的 Python 脚本来加载模型并进行预测。以下是基于 Fast.AI v1 的核心逻辑示例：

from fastai.vision import *
from fastai.basic_train import load_learner
import torch

# 设置设备
defaults.device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

# 加载预训练模型 (假设模型文件名为 'export.pkl' 且位于 models 目录)
# 注意：具体路径需根据实际下载情况调整
learn = load_learner(path='models', file='export.pkl')

# 准备图片
img_path = 'path/to/your/portrait.jpg'
img = open_image(img_path)

# 进行预测
pred_img, pred_idx, outputs = learn.predict(img)

# 保存结果
pred_img.save('output_line_art.jpg')
print("线条画已生成：output_line_art.jpg")

3. 进阶功能：ControlNet + ArtLine

如果您希望结合文本指令调整风格，可以使用 ControlNet 集成版本。

• Colab 地址: ControlNet + ArtLine
• 用法: 上传人像图片并输入文字描述（如 "sketch style", "bold lines"），模型将根据指令调整输出风格。

---

注：本工具仍在持续迭代中，对于复杂背景、衣物细节及低质量图片的处理效果可能存在波动，建议艺术家或开发者对输出结果进行后期微调。