Awesome AIGC

一份精选的 AIGC（人工智能生成内容，Artificial Intelligence Generated Content）项目列表。

• 文本
  • 文本到文本
  • 文本到图像
  • 文本到视频
  • 文本到网格模型（Mesh）
  • 文本到语音
  • 文本到音乐
• 图像
  • 图像到文本
  • 图像到图像
  • 图像到网格模型（Mesh）
  • 图像到视频
• 增强技术

我们使用技术就绪等级（Technology Readiness Level, TRL）来评估每项技术的成熟度。该分级标准接近于 NASA 的 TRL 概念。TRL 等级从 1 到 9，9 表示技术最成熟。

1. 基本原理已发表
2. 技术概念和/或应用场景已提出
3. 关键功能已完成概念验证
4. 已有相关研究工作
5. 研究原型已通过验证
6. 原型由专业用户操作使用
7. 原型由最终用户操作使用
8. 实际产品已完成并经最终用户验证
9. 实际产品已被大量最终用户在日常场景中验证

本列表中的大多数技术应处于第 4 级或以上。

文本

此类别以文本作为输入。

文本到文本

名称	TRL	更多链接
Brad	5-6
ChatGPT	8-9	[API] [论文]
Claude	5-6	[论文]
Copilot（仅限代码）	8-9
GPT-4	7-8	[API] [论文]
LLaMA	6-7	[论文] [代码]
New Bing	7-8
StableLM	5-6	[代码]

文本到图像

名称	TRL	更多链接
DALL·E 2	7-8	[API] [论文]
MidJourney	8-9
Stable Diffusion	7-8	[论文] [代码]
TEXTure（仅限纹理）	4-5	[论文] [代码] [演示]

文本到视频

名称	TRL	更多链接
Fliki	8-9	[API]
Make-A-Video	4-5	[论文]
Phenaki	4-5	[论文]

文本到网格模型（Mesh）

名称	TRL	更多链接
DreamFusion	4-5	[论文] [第三方代码]
DreamFields	4-5	[论文] [代码]
Magic3D	4-5	[论文]
Text2Mesh	4-5	[论文] [代码]

文本到语音

名称	TRL	更多链接
Murf	7-8	[API]

文本到音乐

名称	TRL	更多链接
Mubert	8-9	[API]

图像

此类别以单张或多张图像作为输入。

图像到文本

名称	TRL	更多链接
BLIP-2	4-5	[论文] [代码]

图像到图像

名称	TRL	更多链接
img2img	6-7	[论文] [代码]

图像到网格模型（Mesh）

名称	TRL	更多链接
GET3D	4-5	[论文] [代码]
nvdiffrec	5-6	[论文] [代码]
pix2pix3D	5-6	[论文] [代码]

图像到视频

名称	TRL	更多链接
Make-A-Video	4-5	[论文]

增强技术

此类别包含用于增强其他 AIGC 能力的技术。

名称	TRL	更多链接
ControlNet	5-6	[论文]
GPTCache	5-6	[代码]

贡献指南

非常欢迎贡献！提交贡献时，请遵循 贡献指南。

awesome-aigc 快速上手指南

awesome-aigc 是一个精选的 AIGC（生成式人工智能）工具与项目清单，按输入模态（文本、图像等）和任务类型分类，并标注了技术成熟度（TRL 1–9）。本指南帮助开发者快速了解并使用其中开源项目。

---

环境准备

• 操作系统：Linux / macOS / Windows（推荐 Linux 或 macOS）
• Python 版本：≥ 3.8（多数项目要求）
• GPU 支持：建议配备 NVIDIA GPU（CUDA ≥ 11.6）以加速推理
• 依赖管理：推荐使用 conda 或 venv 创建隔离环境
• 国内加速：建议配置以下镜像源：
  • PyPI 镜像：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple
  • Hugging Face 镜像（如需）：设置环境变量 HF_ENDPOINT=https://hf-mirror.com

---

安装步骤

awesome-aigc 本身是一个资源列表，不需安装。但其中开源项目可单独部署。以下以几个代表性项目为例：

1. Stable Diffusion（文本生成图像）

git clone https://github.com/CompVis/stable-diffusion.git
cd stable-diffusion
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

⚠️ 需自行申请模型权重（参考官方 README）

2. LLaMA（本地大语言模型）

git clone https://github.com/facebookresearch/llama.git
cd llama
pip install -e .
# 按官方指引申请并下载模型权重

3. ControlNet（图像生成控制插件）

git clone https://github.com/lllyasviel/ControlNet.git
cd ControlNet
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

---

基本使用

示例 1：使用 Stable Diffusion 生成图像（命令行）

from diffusers import StableDiffusionPipeline
import torch

pipe = StableDiffusionPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    torch_dtype=torch.float16,
    use_auth_token="YOUR_HF_TOKEN"  # 需登录 Hugging Face
).to("cuda")

image = pipe("a photo of an astronaut riding a horse on mars").images[0]
image.save("astronaut.png")

示例 2：使用 BLIP-2 实现图像描述（Image-to-Text）

from PIL import Image
import requests
from transformers import Blip2Processor, Blip2ForConditionalGeneration

processor = Blip2Processor.from_pretrained("Salesforce/blip2-opt-2.7b")
model = Blip2ForConditionalGeneration.from_pretrained("Salesforce/blip2-opt-2.7b", torch_dtype=torch.float16).to("cuda")

url = "https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(images=image, return_tensors="pt").to("cuda", torch.float16)

generated_ids = model.generate(**inputs)
caption = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(caption)  # 输出图像描述文本

💡 提示：首次运行会自动下载模型，建议在国内使用 HF_ENDPOINT=https://hf-mirror.com 加速。

---

更多项目使用方式请参考各工具对应的 Paper / Code / Demo 链接。