[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-zideliu--StyleDrop-PyTorch":3,"tool-zideliu--StyleDrop-PyTorch":64},[4,17,26,40,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,2,"2026-04-03T11:11:01",[13,14,15],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":23,"last_commit_at":32,"category_tags":33,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,34,35,36,15,37,38,13,39],"数据工具","视频","插件","其他","语言模型","音频",{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":10,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,38,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":10,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[38,14,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":23,"last_commit_at":62,"category_tags":63,"status":16},2471,"tesseract","tesseract-ocr\u002Ftesseract","Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。\n\n在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。\n\nTesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中",73286,"2026-04-03T01:56:45",[13,14],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":82,"owner_website":83,"owner_url":84,"languages":85,"stars":94,"forks":95,"last_commit_at":96,"license":97,"difficulty_score":98,"env_os":99,"env_gpu":100,"env_ram":101,"env_deps":102,"category_tags":116,"github_topics":82,"view_count":23,"oss_zip_url":82,"oss_zip_packed_at":82,"status":16,"created_at":117,"updated_at":118,"faqs":119,"releases":155},3234,"zideliu\u002FStyleDrop-PyTorch","StyleDrop-PyTorch","Unoffical implement for [StyleDrop](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.00983)","StyleDrop-PyTorch 是一个基于 PyTorch 框架的非官方开源项目，旨在复现谷歌提出的 StyleDrop 算法。它的核心功能是让 AI 能够学习并模仿特定的艺术风格，用户只需提供少量参考图片，模型就能掌握该风格的精髓，进而根据文字描述生成具有同样画风的全新图像。\n\n这一工具主要解决了传统文生图模型难以精准锁定并保持特定小众风格或自定义画风的痛点。以往用户往往需要大量数据训练或复杂的提示词工程才能接近目标效果，而 StyleDrop-PyTorch 通过高效的微调机制，实现了“少样本”甚至“单样本”的风格迁移，极大地降低了定制化创作的门槛。\n\n该项目特别适合 AI 研究人员、开发者以及需要高度定制化视觉内容的设计师使用。由于目前代码库侧重于训练脚本、参数配置及环境部署，普通用户若想体验，建议优先尝试其关联的在线 Demo，而技术人员则可利用它进行二次开发或学术探索。\n\n在技术亮点方面，该项目对原始论文中的超参数进行了优化调整（如调整损失函数权重和投影维度），在实际测试中表现出更佳的生成稳定性与风格还原度。此外，项目提供了完整的训练流程、本地 Gradio 交互界面支持","StyleDrop-PyTorch 是一个基于 PyTorch 框架的非官方开源项目，旨在复现谷歌提出的 StyleDrop 算法。它的核心功能是让 AI 能够学习并模仿特定的艺术风格，用户只需提供少量参考图片，模型就能掌握该风格的精髓，进而根据文字描述生成具有同样画风的全新图像。\n\n这一工具主要解决了传统文生图模型难以精准锁定并保持特定小众风格或自定义画风的痛点。以往用户往往需要大量数据训练或复杂的提示词工程才能接近目标效果，而 StyleDrop-PyTorch 通过高效的微调机制，实现了“少样本”甚至“单样本”的风格迁移，极大地降低了定制化创作的门槛。\n\n该项目特别适合 AI 研究人员、开发者以及需要高度定制化视觉内容的设计师使用。由于目前代码库侧重于训练脚本、参数配置及环境部署，普通用户若想体验，建议优先尝试其关联的在线 Demo，而技术人员则可利用它进行二次开发或学术探索。\n\n在技术亮点方面，该项目对原始论文中的超参数进行了优化调整（如调整损失函数权重和投影维度），在实际测试中表现出更佳的生成稳定性与风格还原度。此外，项目提供了完整的训练流程、本地 Gradio 交互界面支持以及详细的预训练权重下载指南，方便社区成员快速上手并复现高质量的风格化图像生成效果。","# StyleDrop\n\n\u003Cp align=\"left\">\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fzideliu\u002Fstyledrop\">\u003Cimg alt=\"Huggingface\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-StyleDrop-orange\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Freplicate.com\u002Fcjwbw\u002Fstyledrop\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzideliu_StyleDrop-PyTorch_readme_7dacf1cc5d87.png\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fneild0\u002FStyleDrop-PyTorch-Interactive\u002Fblob\u002Fmain\u002Fstyledrop_colab.ipynb\">\u003Cimg src=\"https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg\">\u003C\u002Fa>\n\u003C\u002Fp>\n\nThe code of StyleDrop-PyTorch has been moved to [**aim-uofa\u002FStyleDrop-PyTorch**](https:\u002F\u002Fgithub.com\u002Faim-uofa\u002FStyleDrop-PyTorch). Please try it and have fun!\n\nThis is an unofficial PyTorch implementation of [StyleDrop: Text-to-Image Generation in Any Style](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.00983).\n\n\n\nUnlike the parameters in the paper in (Round 1), we set $\\lambda_A=2.0$, $\\lambda_B=5.0$ and `d_prj=32`, `is_shared=False`, which we found work better, these hyperparameters can be seen in `configs\u002Fcustom.py`.\n\nwe release them to facilitate community research.\n\n\n![result1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzideliu_StyleDrop-PyTorch_readme_130273087dbc.png)\n\u003Cbr\u002F>\u003Cbr\u002F>\n![result2](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzideliu_StyleDrop-PyTorch_readme_03ff96ec6d52.png)\n\u003Cbr\u002F>\u003Cbr\u002F>\n![result3](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzideliu_StyleDrop-PyTorch_readme_00af7d3e693d.png)\n\u003Cbr\u002F>\u003Cbr\u002F>\n![result4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzideliu_StyleDrop-PyTorch_readme_d3f9d768d24f.png)\n\u003Cbr\u002F>\u003Cbr\u002F>\n![result5](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzideliu_StyleDrop-PyTorch_readme_88c5eea5aa3c.png)\n\n## News\n- [07\u002F11\u002F2023] The code of StyleDrop-PyTorch has been moved to [**aim-uofa\u002FStyleDrop-PyTorch**](https:\u002F\u002Fgithub.com\u002Faim-uofa\u002FStyleDrop-PyTorch). Please try it and have fun!\n- [07\u002F06\u002F2023] Online Gradio Demo is available [here](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fzideliu\u002Fstyledrop)\n\n## Todo List\n- [x] Release the code.\n- [x] Add gradio inference demo (runs in local).\n- [ ] Add iterative training (Round 2).\n\n## Data & Weights Preparation\nFirst, download VQGAN from this [link](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F13S_unB87n6KKuuMdyMnyExW0G1kplTbP\u002Fview) (from [MAGE](https:\u002F\u002Fgithub.com\u002FLTH14\u002Fmage), thanks!), and put the downloaded VQGAN in `assets\u002Fvqgan_jax_strongaug.ckpt`.\n\nThen, download the pre-trained checkpoints from this [link](https:\u002F\u002Fhuggingface.co\u002Fnzl-thu\u002FMUSE\u002Ftree\u002Fmain\u002Fassets\u002Fckpts) to `assets\u002Fckpts` for evaluation or to continue training for more iterations.\n\nfinally, prepare empty_feature by runnig command `python extract_empty_feature.py`\n\nAnd the final directory structure is as follows:\n```\n.\n├── assets\n│   ├── ckpts\n│   │   ├── cc3m-285000.ckpt\n│   │   │   ├── lr_scheduler.pth\n│   │   │   ├── nnet_ema.pth\n│   │   │   ├── nnet.pth\n│   │   │   ├── optimizer.pth\n│   │   │   └── step.pth\n│   │   └── imagenet256-450000.ckpt\n│   │       ├── lr_scheduler.pth\n│   │       ├── nnet_ema.pth\n│   │       ├── nnet.pth\n│   │       ├── optimizer.pth\n│   │       └── step.pth\n│   ├── fid_stats\n│   │   ├── fid_stats_cc3m_val.npz\n│   │   └── fid_stats_imagenet256_guided_diffusion.npz\n│   ├── pipeline.png\n|   ├── contexts\n│   │   └── empty_context.npy\n└── └── vqgan_jax_strongaug.ckpt\n\n```\n\n\n## Dependencies\nSame as [MUSE-PyTorch](https:\u002F\u002Fgithub.com\u002Fbaaivision\u002FMUSE-Pytorch).\n```\nconda install pytorch torchvision torchaudio cudatoolkit=11.3\npip install accelerate==0.12.0 absl-py ml_collections einops wandb ftfy==6.1.1 transformers==4.23.1 loguru webdataset==0.2.5 gradio\n```\n\n## Train\nAll style data in the paper are placed in the data directory\n\n1. Modify `data\u002Fone_style.json` (It should be noted that `one_style.json` and `style data` must be in the same directory), The format is `file_name:[object,style]`\n\n```json\n{\"image_03_05.jpg\":[\"A bear\",\"in kid crayon drawing style\"]}\n```\n2. Training script as follows.\n```shell\n#!\u002Fbin\u002Fbash\nunset EVAL_CKPT\nunset ADAPTER\nexport OUTPUT_DIR=\"output_dir\u002Ffor\u002Fthis\u002Fexperiment\"\naccelerate launch --num_processes 8 --mixed_precision fp16 train_t2i_custom_v2.py --config=configs\u002Fcustom.py\n```\n\n\n## Inference\n\nThe pretrained style_adapter weights can be downloaded from [🤗 Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fzideliu\u002FStyleDrop\u002Ftree\u002Fmain).\n```shell\n#!\u002Fbin\u002Fbash\nexport EVAL_CKPT=\"assets\u002Fckpts\u002Fcc3m-285000.ckpt\" \nexport ADAPTER=\"path\u002Fto\u002Fyour\u002Fstyle_adapter\"\n\nexport OUTPUT_DIR=\"output\u002Ffor\u002Fthis\u002Fexperiment\"\n\naccelerate launch --num_processes 8 --mixed_precision fp16 train_t2i_custom_v2.py --config=configs\u002Fcustom.py\n```\n\n\n## Gradio Demo\nPut the [style_adapter weights](https:\u002F\u002Fhuggingface.co\u002Fzideliu\u002FStyleDrop\u002Ftree\u002Fmain) in `.\u002Fstyle_adapter` folder and run the following command will launch the demo:\n\n```shell\npython gradio_demo.py\n```\n\nThe demo is also hosted on [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fzideliu\u002Fstyledrop).\n\n## Citation\n```bibtex\n@article{sohn2023styledrop,\n  title={StyleDrop: Text-to-Image Generation in Any Style},\n  author={Sohn, Kihyuk and Ruiz, Nataniel and Lee, Kimin and Chin, Daniel Castro and Blok, Irina and Chang, Huiwen and Barber, Jarred and Jiang, Lu and Entis, Glenn and Li, Yuanzhen and others},\n  journal={arXiv preprint arXiv:2306.00983},\n  year={2023}\n}\n```\n\n\n## Acknowlegment\n\n* The implementation is based on [MUSE-PyTorch](https:\u002F\u002Fgithub.com\u002Fbaaivision\u002FMUSE-Pytorch)\n* Many thanks for the generous help from [Zanlin Ni](https:\u002F\u002Fgithub.com\u002Fnzl-thu)\n\n## Star History\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzideliu_StyleDrop-PyTorch_readme_f09bbf2a6057.png\">\n","# StyleDrop\n\n\u003Cp align=\"left\">\n  \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fzideliu\u002Fstyledrop\">\u003Cimg alt=\"Huggingface\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-StyleDrop-orange\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Freplicate.com\u002Fcjwbw\u002Fstyledrop\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzideliu_StyleDrop-PyTorch_readme_7dacf1cc5d87.png\">\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fneild0\u002FStyleDrop-PyTorch-Interactive\u002Fblob\u002Fmain\u002Fstyledrop_colab.ipynb\">\u003Cimg src=\"https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg\">\u003C\u002Fa>\n\u003C\u002Fp>\n\nStyleDrop-PyTorch 的代码已迁移至 [**aim-uofa\u002FStyleDrop-PyTorch**](https:\u002F\u002Fgithub.com\u002Faim-uofa\u002FStyleDrop-PyTorch)。欢迎大家尝试并享受其中的乐趣！\n\n这是对 [StyleDrop: Text-to-Image Generation in Any Style](https:\u002F\u002Farxiv.org\u002Fabs\u002F2306.00983) 的非官方 PyTorch 实现。\n\n\n\n与论文中的参数（第一轮）不同，我们设置了 $\\lambda_A=2.0$、$\\lambda_B=5.0$，以及 `d_prj=32` 和 `is_shared=False`，这些超参数经我们测试后表现更好，具体可在 `configs\u002Fcustom.py` 中查看。\n我们将其公开，以促进社区研究。\n\n\n![result1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzideliu_StyleDrop-PyTorch_readme_130273087dbc.png)\n\u003Cbr\u002F>\u003Cbr\u002F>\n![result2](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzideliu_StyleDrop-PyTorch_readme_03ff96ec6d52.png)\n\u003Cbr\u002F>\u003Cbr\u002F>\n![result3](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzideliu_StyleDrop-PyTorch_readme_00af7d3e693d.png)\n\u003Cbr\u002F>\u003Cbr\u002F>\n![result4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzideliu_StyleDrop-PyTorch_readme_d3f9d768d24f.png)\n\u003Cbr\u002F>\u003Cbr\u002F>\n![result5](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzideliu_StyleDrop-PyTorch_readme_88c5eea5aa3c.png)\n\n## 最新消息\n- [2023年7月11日] StyleDrop-PyTorch 的代码已迁移至 [**aim-uofa\u002FStyleDrop-PyTorch**](https:\u002F\u002Fgithub.com\u002Faim-uofa\u002FStyleDrop-PyTorch)。欢迎大家尝试并享受其中的乐趣！\n- [2023年7月6日] 在线 Gradio 演示现已上线，访问地址为 [这里](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fzideliu\u002Fstyledrop)\n\n## 待办事项\n- [x] 发布代码。\n- [x] 添加本地运行的 Gradio 推理演示。\n- [ ] 添加迭代训练（第二轮）。\n\n## 数据与权重准备\n首先，请从该 [链接](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F13S_unB87n6KKuuMdyMnyExW0G1kplTbP\u002Fview) 下载 VQGAN（来自 [MAGE](https:\u002F\u002Fgithub.com\u002FLTH14\u002Fmage)，感谢！），并将下载的 VQGAN 放入 `assets\u002Fvqgan_jax_strongaug.ckpt`。\n\n然后，从该 [链接](https:\u002F\u002Fhuggingface.co\u002Fnzl-thu\u002FMUSE\u002Ftree\u002Fmain\u002Fassets\u002Fckpts) 下载预训练检查点，并将其放置在 `assets\u002Fckpts` 目录下，用于评估或继续训练更多轮次。\n\n最后，通过运行命令 `python extract_empty_feature.py` 准备空特征。\n\n最终的目录结构如下：\n```\n.\n├── assets\n│   ├── ckpts\n│   │   ├── cc3m-285000.ckpt\n│   │   │   ├── lr_scheduler.pth\n│   │   │   ├── nnet_ema.pth\n│   │   │   ├── nnet.pth\n│   │   │   ├── optimizer.pth\n│   │   │   └── step.pth\n│   │   └── imagenet256-450000.ckpt\n│   │       ├── lr_scheduler.pth\n│   │       ├── nnet_ema.pth\n│   │       ├── nnet.pth\n│   │       ├── optimizer.pth\n│   │       └── step.pth\n│   ├── fid_stats\n│   │   ├── fid_stats_cc3m_val.npz\n│   │   └── fid_stats_imagenet256_guided_diffusion.npz\n│   ├── pipeline.png\n|   ├── contexts\n│   │   └── empty_context.npy\n└── └── vqgan_jax_strongaug.ckpt\n\n```\n\n\n## 依赖项\n与 [MUSE-PyTorch](https:\u002F\u002Fgithub.com\u002Fbaaivision\u002FMUSE-Pytorch) 相同。\n```\nconda install pytorch torchvision torchaudio cudatoolkit=11.3\npip install accelerate==0.12.0 absl-py ml_collections einops wandb ftfy==6.1.1 transformers==4.23.1 loguru webdataset==0.2.5 gradio\n```\n\n## 训练\n论文中所有风格数据均放置在 data 目录中。\n\n1. 修改 `data\u002Fone_style.json` 文件（需要注意的是，`one_style.json` 和风格数据必须位于同一目录），格式为 `file_name:[object,style]`。\n\n```json\n{\"image_03_05.jpg\":[\"一只熊\",\"儿童蜡笔画风格\"]}\n```\n2. 训练脚本如下。\n```shell\n#!\u002Fbin\u002Fbash\nunset EVAL_CKPT\nunset ADAPTER\nexport OUTPUT_DIR=\"output_dir\u002Ffor\u002Fthis\u002Fexperiment\"\naccelerate launch --num_processes 8 --mixed_precision fp16 train_t2i_custom_v2.py --config=configs\u002Fcustom.py\n```\n\n\n## 推理\n\n预训练的 style_adapter 权重可从 [🤗 Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fzideliu\u002FStyleDrop\u002Ftree\u002Fmain) 下载。\n```shell\n#!\u002Fbin\u002Fbash\nexport EVAL_CKPT=\"assets\u002Fckpts\u002Fcc3m-285000.ckpt\" \nexport ADAPTER=\"path\u002Fto\u002Fyour\u002Fstyle_adapter\"\n\nexport OUTPUT_DIR=\"output\u002Ffor\u002Fthis\u002Fexperiment\"\n\naccelerate launch --num_processes 8 --mixed_precision fp16 train_t2i_custom_v2.py --config=configs\u002Fcustom.py\n```\n\n\n## Gradio 演示\n将 [style_adapter 权重](https:\u002F\u002Fhuggingface.co\u002Fzideliu\u002FStyleDrop\u002Ftree\u002Fmain) 放入 `.\u002Fstyle_adapter` 文件夹，并运行以下命令即可启动演示：\n\n```shell\npython gradio_demo.py\n```\n\n该演示也在 [HuggingFace](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fzideliu\u002Fstyledrop) 上提供。\n\n## 引用\n```bibtex\n@article{sohn2023styledrop,\n  title={StyleDrop: Text-to-Image Generation in Any Style},\n  author={Sohn, Kihyuk and Ruiz, Nataniel and Lee, Kimin and Chin, Daniel Castro and Blok, Irina and Chang, Huiwen and Barber, Jarred and Jiang, Lu and Entis, Glenn and Li, Yuanzhen and others},\n  journal={arXiv preprint arXiv:2306.00983},\n  year={2023}\n}\n```\n\n\n## 致谢\n\n* 本实现基于 [MUSE-PyTorch](https:\u002F\u002Fgithub.com\u002Fbaaivision\u002FMUSE-Pytorch)。\n* 非常感谢 [Zanlin Ni](https:\u002F\u002Fgithub.com\u002Fnzl-thu) 的慷慨帮助。\n\n## 星标历史\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzideliu_StyleDrop-PyTorch_readme_f09bbf2a6057.png\">","# StyleDrop-PyTorch 快速上手指南\n\nStyleDrop 是一个基于 PyTorch 的非官方实现，旨在实现“任意风格的文本到图像生成”。本指南将帮助你快速搭建环境并运行模型。\n\n## 1. 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐)\n- **Python**: 3.8+\n- **GPU**: 支持 CUDA 的 NVIDIA 显卡 (建议显存 16GB 以上以进行训练)\n- **CUDA Toolkit**: 11.3\n\n### 前置依赖\n本项目依赖 `MUSE-PyTorch` 的环境配置。请确保已安装 `conda`。\n\n## 2. 安装步骤\n\n### 2.1 创建虚拟环境并安装基础包\n```bash\nconda create -n styledrop python=3.9 -y\nconda activate styledrop\n\n# 安装 PyTorch (CUDA 11.3)\nconda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch\n\n# 安装其他 Python 依赖\npip install accelerate==0.12.0 absl-py ml_collections einops wandb ftfy==6.1.1 transformers==4.23.1 loguru webdataset==0.2.5 gradio\n```\n\n### 2.2 下载模型权重与数据\n项目需要 VQGAN 权重、预训练检查点以及空特征文件。请按以下步骤操作：\n\n1. **下载 VQGAN 权重**：\n   从 [Google Drive](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F13S_unB87n6KKuuMdyMnyExW0G1kplTbP\u002Fview) 下载 `vqgan_jax_strongaug.ckpt`，并将其放入 `assets\u002F` 目录下。\n\n2. **下载预训练检查点**：\n   从 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fnzl-thu\u002FMUSE\u002Ftree\u002Fmain\u002Fassets\u002Fckpts) 下载所需检查点（如 `cc3m-285000.ckpt` 或 `imagenet256-450000.ckpt`），放入 `assets\u002Fckpts\u002F` 目录。\n   *注：国内用户若访问 Hugging Face 困难，可使用镜像站 `hf-mirror.com` 或寻找国内网盘搬运资源。*\n\n3. **生成空特征文件**：\n   在项目根目录运行以下命令：\n   ```bash\n   python extract_empty_feature.py\n   ```\n\n### 2.3 目录结构确认\n完成后，你的目录结构应如下所示：\n```text\n.\n├── assets\n│   ├── ckpts\n│   │   ├── cc3m-285000.ckpt\u002F...\n│   │   └── imagenet256-450000.ckpt\u002F...\n│   ├── fid_stats\u002F...\n│   ├── contexts\n│   │   └── empty_context.npy\n│   └── vqgan_jax_strongaug.ckpt\n└── ... (其他代码文件)\n```\n\n## 3. 基本使用\n\n### 3.1 准备风格数据\n在 `data\u002F` 目录下创建或修改 `one_style.json` 文件。\n**注意**：该 JSON 文件必须与风格图片位于同一目录。\n格式示例 (`file_name`: `[物体描述`, `风格描述`]`)：\n```json\n{\"image_03_05.jpg\":[\"A bear\",\"in kid crayon drawing style\"]}\n```\n请将你的风格参考图（如 `image_03_05.jpg`）放在 `data\u002F` 目录中。\n\n### 3.2 开始训练\n修改 `configs\u002Fcustom.py` 可调整超参数（默认已优化为 $\\lambda_A=2.0$, $\\lambda_B=5.0$ 等）。\n运行以下脚本启动训练（示例使用 8 卡混合精度训练）：\n\n```bash\n#!\u002Fbin\u002Fbash\nunset EVAL_CKPT\nunset ADAPTER\nexport OUTPUT_DIR=\"output_dir\u002Ffor\u002Fthis\u002Fexperiment\"\naccelerate launch --num_processes 8 --mixed_precision fp16 train_t2i_custom_v2.py --config=configs\u002Fcustom.py\n```\n\n### 3.3 推理与演示 (Gradio)\n如果你已有训练好的 `style_adapter` 权重（可从 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fzideliu\u002FStyleDrop\u002Ftree\u002Fmain) 下载），可将其放入 `.\u002Fstyle_adapter` 文件夹，然后启动本地 Gradio 演示界面：\n\n```bash\npython gradio_demo.py\n```\n启动后，浏览器会自动打开界面，你可以输入提示词并选择风格进行图像生成测试。\n\n---\n*注：最新代码已迁移至 [aim-uofa\u002FStyleDrop-PyTorch](https:\u002F\u002Fgithub.com\u002Faim-uofa\u002FStyleDrop-PyTorch)，如需迭代训练（Round 2）等高级功能，建议前往新仓库查看。*","一家独立游戏工作室的美术团队需要为一款手绘风格冒险游戏快速生成大量保持统一“儿童蜡笔画”质感的场景素材，以应对紧迫的上线工期。\n\n### 没有 StyleDrop-PyTorch 时\n- **风格一致性难以维持**：美术师手动绘制或使用通用模型生成时，每张图的笔触粗细、色彩饱和度波动大，导致游戏画面割裂，后期修图耗时极长。\n- **定制训练门槛过高**：若要微调模型适配特定画风，需准备数千张标注数据并调整复杂参数，小团队缺乏算力资源与算法专家支持。\n- **迭代反馈周期漫长**：修改风格细节（如调整蜡笔纹理的粗糙度）往往需要重新训练整个模型，等待数小时甚至数天才能看到效果。\n- **创意试错成本高昂**：因生成结果不可控，团队不敢轻易尝试新的视觉方案，只能保守复用旧素材，限制了艺术表现力。\n\n### 使用 StyleDrop-PyTorch 后\n- **精准锁定独特画风**：仅需提供少量参考图（如一张熊的蜡笔画），StyleDrop-PyTorch 即可通过自适应适配器完美复刻笔触与色调，确保成百上千张素材风格高度统一。\n- **低资源快速落地**：利用官方预训练的权重和简化的配置文件（如 `configs\u002Fcustom.py`），团队在单卡环境下即可完成微调，无需从头构建大规模数据集。\n- **实时交互式调整**：通过调整超参数（如 $\\lambda_A$、$\\lambda_B$）或更换参考图，几分钟内即可重新生成不同变体，大幅缩短从创意到验证的闭环时间。\n- **释放艺术创造力**：低成本的风格迁移能力让策划与美术能大胆测试多种视觉方案，快速确定最佳艺术方向，显著提升游戏整体质感。\n\nStyleDrop-PyTorch 将原本高不可攀的定制化风格生成转化为轻量级工作流，让小团队也能以极低代价实现专业级的艺术风格批量生产。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzideliu_StyleDrop-PyTorch_03ff96ec.png","zideliu","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fzideliu_92820998.jpg","Lucky!","Zhejiang University","Hangzhou","zideliu@zju.edu.cn",null,"www.zju.edu.cn\u002Fenglish","https:\u002F\u002Fgithub.com\u002Fzideliu",[86,90],{"name":87,"color":88,"percentage":89},"Python","#3572A5",99.1,{"name":91,"color":92,"percentage":93},"Jupyter Notebook","#DA5B0B",0.9,586,28,"2026-03-11T15:25:08","MIT",4,"Linux","必需 NVIDIA GPU，README 指定安装命令包含 'cudatoolkit=11.3'，训练脚本示例使用 '--num_processes 8' 和 '--mixed_precision fp16'，暗示需要多卡或大显存环境（建议 16GB+ 以支持批量训练）","未说明",{"notes":103,"python":104,"dependencies":105},"1. 该项目是非官方实现，代码已迁移至新仓库 'aim-uofa\u002FStyleDrop-PyTorch'。2. 运行前需手动下载 VQGAN 权重文件、MUSE 预训练检查点以及生成 empty_feature 文件。3. 训练和推理均使用 accelerate 启动，示例命令默认开启 8 进程混合精度训练。4. 依赖库版本较为固定（如 transformers==4.23.1），直接安装最新版可能导致兼容性问题。","未说明 (隐含需兼容 PyTorch 和 CUDA 11.3 的版本)",[106,107,108,109,110,111,112,113,114,115],"pytorch","torchvision","torchaudio","cudatoolkit=11.3","accelerate==0.12.0","transformers==4.23.1","gradio","einops","webdataset==0.2.5","ftfy==6.1.1",[14],"2026-03-27T02:49:30.150509","2026-04-06T06:44:03.768190",[120,125,130,135,140,145,150],{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},14893,"是否有可用的在线演示（Demo）？","有的，Gradio 演示已部署在 HuggingFace Space 上，您可以直接在此处访问和使用：https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fzideliu\u002Fstyledrop","https:\u002F\u002Fgithub.com\u002Fzideliu\u002FStyleDrop-PyTorch\u002Fissues\u002F1",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},14894,"在 Google Colab 上运行时遇到 'SIGKILL: 9' 错误或内存不足问题怎么办？","这通常是因为免费版的 Colab 内存（RAM）或显存（VRAM）不足。模型加载需要约 10.2GB 内存，免费版无法承载。解决方案是升级到 Colab Pro 版本，或者直接在本地运行，也可以使用作者提供的 HuggingFace 在线演示。","https:\u002F\u002Fgithub.com\u002Fzideliu\u002FStyleDrop-PyTorch\u002Fissues\u002F2",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},14895,"如何训练自己的风格？需要多少张图片？","根据论文，针对一种特定风格，通常只需要一张图片即可进行微调。若要训练自己的风格，请修改 `data\u002Fone_style.json` 文件，将其中的路径指向您的风格图片。如果您想自定义训练过程中的采样提示词，可以编辑 `custom\u002Fcustom_dataset.py` 中的 `test_custom_dataset` 和 `Discriptor` 部分。","https:\u002F\u002Fgithub.com\u002Fzideliu\u002FStyleDrop-PyTorch\u002Fissues\u002F25",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},14896,"运行脚本时提示 'ModuleNotFoundError: No module named torch' 如何解决？","这表明您尚未安装必要的 Python 依赖包。请先按照项目文档中的依赖安装步骤进行操作（通常在 README 的 Dependencies 部分），确保安装了 torch 及其他必要库后再运行脚本。","https:\u002F\u002Fgithub.com\u002Fzideliu\u002FStyleDrop-PyTorch\u002Fissues\u002F15",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},14897,"在 Gradio 界面中放置 style_adapter 权重后无法显示或效果不对怎么办？","这可能是由于代码中的风格后缀映射未更新。请检查并编辑 `gradio_demo.py` 文件中的 `style_postfix` 字典，确保其中的键（如 \"0102\"）与您放置权重的文件夹名称一致，并且值包含正确的风格描述（例如 \"in watercolor painting style\"）。示例代码如下：\nstyle_postfix ={\n    \"None\":\"\",\n    \"0102\":\" in watercolor painting style\",\n    \"0103\":\" in watercolor painting style\",\n    \"0106\":\" in line drawing style\",\n    ...\n}","https:\u002F\u002Fgithub.com\u002Fzideliu\u002FStyleDrop-PyTorch\u002Fissues\u002F19",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},14898,"如何获取或使用自定义的提示词（Prompts\u002FCaptions）？","项目中使用的提示词（Captions）通常是手动标注的。如果您想使用自己的数据，需要按照项目要求的格式手动编写或生成对应的描述文本。在训练时，可以通过修改 `custom\u002Fcustom_dataset.py` 来调整用于采样的提示词逻辑。","https:\u002F\u002Fgithub.com\u002Fzideliu\u002FStyleDrop-PyTorch\u002Fissues\u002F14",{"id":151,"question_zh":152,"answer_zh":153,"source_url":154},14899,"如何在本地正确配置 gradio_demo 所需的预训练文件？","请遵循 README 中 'Gradio Demo' 部分的步骤，将预训练文件（pre-training files）放置在项目根目录下的 `.\u002Fstyle_adapter` 文件夹中。确保文件结构与代码预期一致，这样 Gradio 界面才能正确加载模型权重。","https:\u002F\u002Fgithub.com\u002Fzideliu\u002FStyleDrop-PyTorch\u002Fissues\u002F11",[]]