SinGAN
SinGAN 是一个基于深度学习的图像生成与处理工具，其核心能力是仅凭一张自然图像就能训练出一个生成模型。这意味着用户不需要庞大的数据集，只需要一张照片，就能让模型学习这张图像的纹理、结构和分布特征，进而生成多样化的新样本。
传统生成模型（如GAN）通常需要数千甚至数万张图像进行训练，而 SinGAN 打破了这一限制。它通过多尺度对抗训练策略，让模型逐层学习从粗糙到精细的图像特征，从而实现单样本学习。
SinGAN 的应用场景非常丰富：可以生成随机样本、调整图像尺寸、创建短视频动画，还能进行图像编辑、物体融合（协调化）等操作。例如，设计师可以将一个物体自然地“粘贴”到另一张图片中，使其光照和纹理与背景融为一体。
这个工具特别适合计算机视觉研究人员、深度学习开发者以及需要快速原型设计的创意工作者。需要注意的是，目前官方版本仅支持 PyTorch 1.4 及更早版本，对环境有一定要求。
使用场景
场景背景：某电商团队的设计师小李负责为新品发布会制作一系列营销海报，需要多张风格统一但细节不同的背景纹理图，用于不同尺寸的社交媒体配图。
没有 SinGAN 时
- 设计师需要手动在 Photoshop 中逐张绘制或修改背景，工作量巨大且难以保证风格完全一致
- 使用网络图片存在版权风险，付费购买素材库会员成本较高，单张图片费用从几十到几百元不等
- 传统图像拼接或滤镜效果生成的纹理显得生硬、不自然，无法达到高端海报的视觉要求
- 每次需要新尺寸的纹理时，都需要重新设计或调整，无法快速生成任意尺寸的变体
- 团队沟通成本高，设计师需要反复根据需求修改，难以在短时间内提供多个版本供选择
使用 SinGAN 后
- 只需准备一张高质量的背景纹理图，SinGAN 即可自动学习图像的分布特征，生成无限数量的风格一致变体
- 生成的图像属于原创内容，完全规避版权风险，无需额外付费即可商用
- 生成结果保留原图的视觉特征和纹理细节，自然度高，看起来如同真实拍摄的不同场景
- 支持生成任意尺寸的图像，水平/垂直缩放比例灵活可调，满足不同平台的海报需求
- 可快速生成多个版本供团队挑选，极大缩短设计周期，从数小时缩短至几分钟
SinGAN 让设计师能够以极低的成本获得大量风格统一且合法的图像变体，显著提升创意工作效率。
运行环境要求
- 未说明
需要 NVIDIA GPU（支持 CUDA），未说明具体型号和显存要求
未说明
快速开始
SinGAN
Project | Arxiv | CVF | Supplementary materials | [Talk (ICCV`19)](https://youtu.be/mdAcPe74tZI?t=3191)
论文"SinGAN: Learning a Generative Model from a Single Natural Image"的官方 PyTorch 实现
ICCV 2019 最佳论文奖（Marr 奖）
来自单张图像的随机样本
使用 SinGAN，你可以从单张自然图像训练生成模型，然后从给定图像生成随机样本，例如：
SinGAN 的应用
SinGAN 还可以用于一系列图像处理任务，例如：
这是通过将图像注入已训练的模型来实现的。更多详细信息请参阅论文第 4 节。
引用
如果您在研究中使用此代码，请引用我们的论文：
@inproceedings{rottshaham2019singan,
title={SinGAN: Learning a Generative Model from a Single Natural Image},
author={Rott Shaham, Tamar and Dekel, Tali and Michaeli, Tomer},
booktitle={Computer Vision (ICCV), IEEE International Conference on},
year={2019}
}
代码
安装依赖
python -m pip install -r requirements.txt
此代码已在 python 3.6、torch 1.4 上测试
请注意：由于优化方案的限制，该代码目前仅支持 torch 1.4 或更早版本。
对于更新版本的 torch，您可以尝试此仓库：https://github.com/kligvasser/SinGAN（结果可能与官方实现不完全相同）。
训练
要训练您自己的图像的 SinGAN 模型，请将所需的训练图像放在 Input/Images 下，然后运行
python main_train.py --input_name <input_file_name>
这还将使用生成的训练模型从最粗尺度（n=0）开始生成随机样本。
要在 CPU 机器上运行此代码，请在调用 main_train.py 时指定 --not_cuda
随机样本
要生成从任何起始生成尺度的随机样本，请首先在所需图像上训练 SinGAN 模型（如上所述），然后运行
python random_samples.py --input_name <training_image_file_name> --mode random_samples --gen_start_scale <generation start scale number>
请注意：要使用完整模型，请将生成起始尺度指定为 0，要从第二尺度开始生成，请将其指定为 1，依此类推。
任意尺寸的随机样本
要生成任意尺寸的随机样本，请首先在所需图像上训练 SinGAN 模型（如上所述），然后运行
python random_samples.py --input_name <training_image_file_name> --mode random_samples_arbitrary_sizes --scale_h <horizontal scaling factor> --scale_v <vertical scaling factor>
从单张图像生成动画
要从单张图像生成短动画，请运行
python animation.py --input_name <input_file_name>
这将自动启动一个新的训练阶段，使用噪声填充模式。
协调
要将粘贴的对象协调到图像中（请参阅论文图 13 中的示例），请首先在所需的背景图像上训练 SinGAN 模型（如上所述），然后将简单粘贴的参考图像及其二进制掩码保存到"Input/Harmonization"中（请参阅保存的图像作为示例）。运行命令
python harmonization.py --input_name <training_image_file_name> --ref_name <naively_pasted_reference_image_file_name> --harmonization_start_scale <scale to inject>
请注意，不同的注入尺度会产生不同的协调效果。最粗的注入尺度等于 1。
编辑
要编辑图像（请参阅论文图 12 中的示例），请首先在所需的未编辑图像上训练 SinGAN 模型（如上所述），然后将简单编辑保存为"Input/Editing"下的参考图像，并附上相应的二进制映射（请参阅保存的图像作为示例）。运行命令
python editing.py --input_name <training_image_file_name> --ref_name <edited_image_file_name> --editing_start_scale <scale to inject>
带掩码和不带掩码的输出都将被保存。同样，不同的注入尺度会产生不同的编辑效果。最粗的注入尺度等于 1。
绘画转图像
要将绘画转换为逼真的图像（请参阅论文图 11 中的示例），请首先在所需图像上训练 SinGAN 模型（如上所述），然后将您的绘画保存到"Input/Paint"，并运行命令
python paint2image.py --input_name <training_image_file_name> --ref_name <paint_image_file_name> --paint_start_scale <scale to inject>
同样，不同的注入尺度会产生不同的编辑效果。最粗的注入尺度等于 1。
高级选项：将 quantization_flag 指定为 True，仅重新训练模型的注入级别，以获得上一尺度上采样生成图像的颜色量化版本。对于某些图像，这可能会产生更逼真的结果。
超分辨率
要超分辨率处理图像，请运行：
python SR.py --input_name <LR_image_file_name>
这将自动训练一个对应于 4 倍上采样因子的 SinGAN 模型（如果尚不存在）。
对于不同的 SR 因子，请在调用函数时使用参数 --sr_factor 指定。
SinGAN 在 BSD100 数据集上的结果可以从"Downloads"文件夹下载。
附加数据和功能
单图像 Fréchet Inception Distance（SIFID 分数）
要计算真实图像与其对应的伪造样本之间的 SIFID，请运行：
python SIFID/sifid_score.py --path2real <real images path> --path2fake <fake images path>
请确保每个伪造图像的文件名与其对应的真实图像的文件名相同。图像应以 .jpg 格式保存。
超分辨率结果
SinGAN 在 BSD100 数据集上的 SR 结果可以从"Downloads"文件夹下载。
用户研究
用户研究中使用的数据可以在 Downloads 文件夹中找到。
real 文件夹：50 张真实图像，从 places 数据库 中随机选取
fake_high_variance 文件夹：从 n=N 开始的每个真实图像的随机样本
fake_mid_variance 文件夹：从 n=N-1 开始的每个真实图像的随机样本
更多详细信息请参阅论文第 3.1 节
常见问题
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。
PaddleOCR
PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。 面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。
tesseract
Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。 在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。 Tesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中