[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-SHI-Labs--Versatile-Diffusion":3,"tool-SHI-Labs--Versatile-Diffusion":62},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,2,"2026-04-08T11:23:26",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[43,15,13,14],"语言模型",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,52],"视频",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":59,"last_commit_at":60,"category_tags":61,"status":17},5646,"opencv","opencv\u002Fopencv","OpenCV 是一个功能强大的开源计算机视觉库，被誉为机器视觉领域的“瑞士军刀”。它主要解决让计算机“看懂”图像和视频的核心难题，提供了从基础的图像读取、色彩转换、边缘检测，到复杂的人脸识别、物体追踪、3D 重建及深度学习模型部署等全方位算法支持。无论是处理静态图片还是分析实时视频流，OpenCV 都能高效完成特征提取与模式识别任务。\n\n这款工具特别适合计算机视觉开发者、人工智能研究人员以及机器人工程师使用。对于希望将视觉感知能力集成到应用中的软件工程师，或是需要快速验证算法原型的学术研究者，OpenCV 都是不可或缺的基础设施。虽然普通用户通常不会直接操作代码，但日常生活中使用的扫码支付、美颜相机和自动驾驶系统，背后往往都有它的身影。\n\nOpenCV 的独特亮点在于其卓越的性能与广泛的兼容性。它采用 C++ 编写以确保高速运算，同时提供 Python、Java 等多种语言接口，极大降低了开发门槛。库中内置了数千种优化算法，并支持跨平台运行，能够无缝对接各类硬件加速器。作为社区驱动的项目，OpenCV 拥有活跃的生态系统和丰富的学习资源，持续推动着视觉技术的前沿发展。",86988,1,"2026-04-08T16:06:22",[14,15],{"id":63,"github_repo":64,"name":65,"description_en":66,"description_zh":67,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":77,"owner_twitter":78,"owner_website":79,"owner_url":80,"languages":81,"stars":86,"forks":87,"last_commit_at":88,"license":89,"difficulty_score":10,"env_os":90,"env_gpu":91,"env_ram":90,"env_deps":92,"category_tags":99,"github_topics":77,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":101,"updated_at":102,"faqs":103,"releases":134},5747,"SHI-Labs\u002FVersatile-Diffusion","Versatile-Diffusion","Versatile Diffusion: Text, Images and Variations All in One Diffusion Model, arXiv 2022 \u002F ICCV 2023","Versatile-Diffusion 是一款旨在迈向“通用生成式 AI\"的统一多模态扩散模型框架。它突破了传统模型功能单一的局限，将文生图、图生文、图像变体生成及文本变体生成等多种任务整合进同一个模型中。这意味着用户无需切换不同模型，即可在一个系统内实现跨模态的双向生成与编辑，有效解决了多任务场景下模型冗余和协作困难的问题。\n\n该工具的核心技术亮点在于其创新的“多流多模态”架构。通过共享全局层并灵活交换数据层与上下文层，Versatile-Diffusion 能够根据输入类型动态调整网络结构，在保持高效的同时支持未来扩展至语音、视频及 3D 等更多模态。此外，它还支持语义风格解耦和潜空间编辑等高级应用。\n\nVersatile-Diffusion 非常适合 AI 研究人员探索多模态统一建模理论，也适合开发者构建多功能生成应用。对于设计师而言，其提供的 WebUI 界面让复杂的跨模态创作变得触手可及。作为基于 PyTorch 的开源项目，它拥有清晰的代码结构和活跃的社区支持，是理解下一代生成式 AI 架构的优秀范例。","# Versatile Diffusion\n\n[![Huggingface space](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Huggingface%20Space-cyan.svg)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fshi-labs\u002FVersatile-Diffusion)\n[![Framework: PyTorch](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FFramework-PyTorch-orange.svg)](https:\u002F\u002Fpytorch.org\u002F)\n[![License: MIT](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-MIT-yellow.svg)](https:\u002F\u002Fopensource.org\u002Flicenses\u002FMIT)\n\nThis repo hosts the official implementary of:\n\n[Xingqian Xu](https:\u002F\u002Fifp-uiuc.github.io\u002F), Atlas Wang, Eric Zhang, Kai Wang, and [Humphrey Shi](https:\u002F\u002Fwww.humphreyshi.com\u002Fhome), **Versatile Diffusion: Text, Images and Variations All in One Diffusion Model**, [Paper arXiv Link](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.08332).\n\n## News\n\n- **[2023.02.07]: Our new demo is up and running on [🤗Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fshi-labs\u002FVersatile-Diffusion)!**\n- **[2023.02.07]: A major update on Versatile Diffusion's code in which model codes are better structured, and all applications are supported in a convenience WebUI.**\n- [Previous]: Please see the deprecated [README](https:\u002F\u002Fgithub.com\u002FSHI-Labs\u002FVersatile-Diffusion\u002Fblob\u002Fmaster\u002FREADME_deprecated.md).\n\n## Introduction\n\nWe built **Versatile Diffusion (VD), the first unified multi-flow multimodal diffusion framework**, as a step towards **Universal Generative AI**. Versatile Diffusion can natively support image-to-text, image-variation, text-to-image, and text-variation, and can be further extended to other applications such as semantic-style disentanglement, image-text dual-guided generation, latent image-to-text-to-image editing, and more. Future versions will support more modalities such as speech, music, video and 3D.\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_6d7002109edb.png\" width=\"99%\">\n\u003C\u002Fp>\n\n## Network and Framework\n\nOne single flow of Versatile Diffusion contains a VAE, a diffuser, and a context encoder,  and thus handles one task (e.g., text-to-image) under one data type (e.g., image) and one context type (e.g., text). The multi-flow structure of Versatile Diffusion shows in the following diagram:\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_bd907c245696.png\" width=\"99%\">\n\u003C\u002Fp>\n\nAccording to Versatile Diffusion, we further proposed a generalized multi-flow multimodal framework with VAEs, context encoders, and diffusers containing three layers (i.e., global, data, and context layers). To involve a new multimodal task in this framework, we bring out the following requirements:\n\n* The design of the core diffuser should contain shared global layers, swappable data, and context layers that will be correspondingly activated based on data and context types.\n* The choice of VAEs should smoothly map data onto highly interpretable latent spaces.\n* The choice of context encoders should jointly minimize the cross-modal statistical distance on all supported content types.\n\n\n## Performance\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_487c92499d18.png\" width=\"99%\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_5b538cf88d98.png\" width=\"99%\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_42bfa8350313.png\" width=\"99%\">\n\u003C\u002Fp>\n\n## Data\n\nWe use Laion2B-en with customized data filters as our main dataset. Since Laion2B is very large and typical training is less than one epoch, we usually do not need to download the complete dataset for training. Same story for VDs.\n\nDirectory of Laion2B for our code:\n\n```\n├── data\n│   └── laion2b\n│       └── data\n│           └── 00000.tar\n│           └── 00000.parquet\n│           └── 00000_stats.jsom_\n│           └── 00001.tar\n│           └── ...\n```\n\nThese compressed data are generated with img2dataset API [official github link](https:\u002F\u002Fgithub.com\u002From1504\u002Fimg2dataset).\n\n## Setup\n\n```\nconda create -n versatile-diffusion python=3.8\nconda activate versatile-diffusion\nconda install pytorch==1.12.1 torchvision=0.13.1 -c pytorch\n[Alternatively] pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu113\npip install -r requirements.txt\n```\n\n## Pretrained models\n\nAll pretrained models can be downloaded from Hugging Face [link](https:\u002F\u002Fhuggingface.co\u002Fshi-labs\u002Fversatile-diffusion\u002Ftree\u002Fmain\u002Fpretrained_pth). The pretrained folder should include the following files:\n\n```\n├── pretrained\n│   └── kl-f8.pth\n│   └── optimus-vae.pth\n│   └── vd-four-flow-v1-0.pth\n│   └── vd-four-flow-v1-0-fp16.pth\n```\n\nModel named with **-fp16** are models with float16 parameters, which is half size of the float32 models.\n\n## Inference\n\nWe now provide a convenience WebUI ```app.py``` that supports all applications. Start the WebUI with the following command:\n\n```\npython app.py\n```\n\nThe WebUI contains the following new features:\n\n- Improved and enhanced Image-Variation\n- New Triple-Context Image Blender (support two images with optional masks + text)\n- New Multi-Context Image Blender (support up to four images with optional masks + text)\n\nThe following old features have been temporarily disabled:\n\n- I2T2I is offline. We are seeking a better way of image editing.\n\n## Gallery\n\nText-to-Image\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_2fc3cdf2f0fe.png\" width=\"80%\">\n\u003C\u002Fp>\n\nImage-Variation\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_35a55625b082.png\" width=\"80%\">\n\u003C\u002Fp>\n\nImage-Variation with Semantic Focus\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_637a23de1ebf.png\" width=\"80%\">\n\u003C\u002Fp>\n\nDual-guided\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_cca19e4fb138.png\" width=\"80%\">\n\u003C\u002Fp>\n\n## Citation\n\n```\n@article{xu2022versatile,\n\ttitle        = {Versatile Diffusion: Text, Images and Variations All in One Diffusion Model},\n\tauthor       = {Xingqian Xu, Zhangyang Wang, Eric Zhang, Kai Wang, Humphrey Shi},\n\tyear         = 2022,\n\turl          = {https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.08332},\n\teprint       = {2211.08332},\n\tarchiveprefix = {arXiv},\n\tprimaryclass = {cs.CV}\n}\n```\n\n## Acknowledgement\n\nPart of the codes reorganizes\u002Freimplements code from the following repositories: [LDM official Github](https:\u002F\u002Fgithub.com\u002FCompVis\u002Flatent-diffusion), which also oriented from [DDPM official Github](https:\u002F\u002Fgithub.com\u002Flucidrains\u002Fdenoising-diffusion-pytorch).\n","# 多功能扩散模型\n\n[![Huggingface space](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-Huggingface%20Space-cyan.svg)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fshi-labs\u002FVersatile-Diffusion)\n[![框架：PyTorch](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FFramework-PyTorch-orange.svg)](https:\u002F\u002Fpytorch.org\u002F)\n[![许可证：MIT](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FLicense-MIT-yellow.svg)](https:\u002F\u002Fopensource.org\u002Flicenses\u002FMIT)\n\n本仓库托管了以下工作的官方实现：\n\n[Xingqian Xu](https:\u002F\u002Fifp-uiuc.github.io\u002F)、Atlas Wang、Eric Zhang、Kai Wang 和 [Humphrey Shi](https:\u002F\u002Fwww.humphreyshi.com\u002Fhome)，**多功能扩散模型：文本、图像及变体一体化扩散模型**，[论文 arXiv 链接](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.08332)。\n\n## 最新消息\n\n- **[2023.02.07]：我们的全新演示已在 [🤗Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fshi-labs\u002FVersatile-Diffusion) 上线运行！**\n- **[2023.02.07]：多功能扩散模型代码的重大更新，优化了模型代码结构，并在便捷的 WebUI 中支持所有应用。**\n- [之前]：请参阅已弃用的 [README](https:\u002F\u002Fgithub.com\u002FSHI-Labs\u002FVersatile-Diffusion\u002Fblob\u002Fmaster\u002FREADME_deprecated.md)。\n\n## 简介\n\n我们构建了**多功能扩散模型（VD），这是首个统一的多流多模态扩散框架**，旨在迈向**通用生成式人工智能**。多功能扩散模型原生支持图像到文本、图像变体、文本到图像以及文本变体，并可进一步扩展至语义风格解耦、图文双引导生成、潜在空间中的图像-文本-图像编辑等更多应用。未来版本还将支持语音、音乐、视频和 3D 等更多模态。\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_6d7002109edb.png\" width=\"99%\">\n\u003C\u002Fp>\n\n## 网络与框架\n\n多功能扩散模型的一个单一流程包含一个 VAE、一个扩散器和一个上下文编码器，因此它在一个数据类型（如图像）和一种上下文类型（如文本）下处理一项任务（如文本到图像）。多功能扩散模型的多流结构如下图所示：\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_bd907c245696.png\" width=\"99%\">\n\u003C\u002Fp>\n\n基于多功能扩散模型，我们进一步提出了一种广义的多流多模态框架，该框架包含 VAE、上下文编码器和扩散器，每个组件都由三层组成（即全局层、数据层和上下文层）。为了将新的多模态任务纳入该框架，我们需要满足以下要求：\n\n* 核心扩散器的设计应包含共享的全局层，以及可根据数据和上下文类型相应激活的可交换的数据层和上下文层。\n* VAE 的选择应能将数据平滑地映射到高度可解释的潜在空间中。\n* 上下文编码器的选择应联合最小化所有支持内容类型的跨模态统计距离。\n\n## 性能\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_487c92499d18.png\" width=\"99%\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_5b538cf88d98.png\" width=\"99%\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_42bfa8350313.png\" width=\"99%\">\n\u003C\u002Fp>\n\n## 数据\n\n我们以 Laion2B-en 数据集为基础，并结合自定义数据过滤器作为主要数据集。由于 Laion2B 数据量非常庞大，而典型的训练过程通常不足一个 epoch，因此我们通常无需下载完整的数据集进行训练。多功能扩散模型也是如此。\n\n我们代码中 Laion2B 数据的目录结构如下：\n\n```\n├── data\n│   └── laion2b\n│       └── data\n│           └── 00000.tar\n│           └── 00000.parquet\n│           └── 00000_stats.jsom_\n│           └── 00001.tar\n│           └── ...\n```\n\n这些压缩数据是通过 img2dataset API 生成的，[官方 GitHub 链接](https:\u002F\u002Fgithub.com\u002From1504\u002Fimg2dataset)。\n\n## 环境搭建\n\n```\nconda create -n versatile-diffusion python=3.8\nconda activate versatile-diffusion\nconda install pytorch==1.12.1 torchvision=0.13.1 -c pytorch\n[或者] pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu113\npip install -r requirements.txt\n```\n\n## 预训练模型\n\n所有预训练模型均可从 Hugging Face 下载，[链接](https:\u002F\u002Fhuggingface.co\u002Fshi-labs\u002Fversatile-diffusion\u002Ftree\u002Fmain\u002Fpretrained_pth)。预训练文件夹应包含以下文件：\n\n```\n├── pretrained\n│   └── kl-f8.pth\n│   └── optimus-vae.pth\n│   └── vd-four-flow-v1-0.pth\n│   └── vd-four-flow-v1-0-fp16.pth\n```\n\n名称带 **-fp16** 的模型为使用 float16 参数的模型，其大小仅为 float32 模型的一半。\n\n## 推理\n\n我们现在提供了一个便捷的 WebUI ```app.py```，支持所有应用。可通过以下命令启动 WebUI：\n\n```\npython app.py\n```\n\nWebUI 包含以下新特性：\n\n- 改进并增强了图像变体功能\n- 新增三重上下文图像混合器（支持两张带有可选掩码的图像 + 文本）\n- 新增多上下文图像混合器（支持最多四张带有可选掩码的图像 + 文本）\n\n以下旧功能已被暂时禁用：\n\n- I2T2I 已下线。我们正在寻找更好的图像编辑方法。\n\n## 作品展示\n\n文本到图像\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_2fc3cdf2f0fe.png\" width=\"80%\">\n\u003C\u002Fp>\n\n图像变体\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_35a55625b082.png\" width=\"80%\">\n\u003C\u002Fp>\n\n具有语义聚焦的图像变体\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_637a23de1ebf.png\" width=\"80%\">\n\u003C\u002Fp>\n\n双引导\n\n\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_readme_cca19e4fb138.png\" width=\"80%\">\n\u003C\u002Fp>\n\n## 引用\n\n```\n@article{xu2022versatile,\n\ttitle        = {Versatile Diffusion: Text, Images and Variations All in One Diffusion Model},\n\tauthor       = {Xingqian Xu, Zhangyang Wang, Eric Zhang, Kai Wang, Humphrey Shi},\n\tyear         = 2022,\n\turl          = {https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.08332},\n\teprint       = {2211.08332},\n\tarchiveprefix = {arXiv},\n\tprimaryclass = {cs.CV}\n}\n```\n\n## 致谢\n\n部分代码重新组织或实现了来自以下仓库的代码：[LDM 官方 GitHub](https:\u002F\u002Fgithub.com\u002FCompVis\u002Flatent-diffusion)，该仓库同样源自 [DDPM 官方 GitHub](https:\u002F\u002Fgithub.com\u002Flucidrains\u002Fdenoising-diffusion-pytorch)。","# Versatile Diffusion 快速上手指南\n\nVersatile Diffusion (VD) 是首个统一的多流多模态扩散框架，支持文生图、图生文、图像变体生成及文本变体等多种任务。本指南将帮助你快速在本地部署并运行该模型。\n\n## 环境准备\n\n*   **操作系统**: Linux (推荐) 或 macOS\n*   **Python 版本**: 3.8\n*   **深度学习框架**: PyTorch 1.12.1 + CUDA 11.3 (或其他兼容版本)\n*   **硬件要求**: 建议配备 NVIDIA GPU (显存建议 8GB 以上，使用 fp16 模型可降低显存需求)\n\n## 安装步骤\n\n### 1. 创建并激活虚拟环境\n推荐使用 Conda 管理环境：\n\n```bash\nconda create -n versatile-diffusion python=3.8\nconda activate versatile-diffusion\n```\n\n### 2. 安装 PyTorch\n**方案 A：官方源安装 (CUDA 11.3)**\n```bash\nconda install pytorch==1.12.1 torchvision=0.13.1 -c pytorch\n```\n\n**方案 B：国内镜像源加速 (清华大学镜像站)**\n如果下载速度较慢，推荐使用清华源安装指定版本：\n```bash\npip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu113\n```\n\n### 3. 安装项目依赖\n克隆仓库后进入目录，安装 `requirements.txt`：\n```bash\npip install -r requirements.txt\n```\n*(注：若 pip 下载慢，可添加 `-i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple` 参数)*\n\n### 4. 下载预训练模型\n所有预训练模型可从 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fshi-labs\u002Fversatile-diffusion\u002Ftree\u002Fmain\u002Fpretrained_pth) 下载。\n请将以下文件下载到项目根目录下的 `pretrained` 文件夹中（需手动创建该文件夹）：\n\n*   `kl-f8.pth`\n*   `optimus-vae.pth`\n*   `vd-four-flow-v1-0.pth` (浮点 32 位完整版)\n*   `vd-four-flow-v1-0-fp16.pth` (浮点 16 位精简版，推荐显存有限的用户使用)\n\n目录结构应如下所示：\n```text\n├── pretrained\n│   ├── kl-f8.pth\n│   ├── optimus-vae.pth\n│   ├── vd-four-flow-v1-0.pth\n│   └── vd-four-flow-v1-0-fp16.pth\n```\n\n## 基本使用\n\n项目提供了一个功能完善的 WebUI (`app.py`)，支持所有核心功能（包括增强的图像变体生成、三重上下文图像混合器等）。\n\n### 启动 WebUI\n在项目根目录下运行以下命令：\n\n```bash\npython app.py\n```\n\n启动成功后，终端会显示本地访问地址（通常为 `http:\u002F\u002F127.0.0.1:7860`）。在浏览器中打开该地址即可使用图形界面进行以下操作：\n*   **Text-to-Image**: 文生图\n*   **Image-Variation**: 图像变体生成（支持语义聚焦）\n*   **Multi-Context Image Blender**: 多图像混合（支持最多 4 张图像 + 掩码 + 文本提示）\n*   **Dual-guided**: 双引导生成\n\n> **注意**: 目前 \"I2T2I\" (Image-to-Text-to-Image) 编辑功能暂时离线，开发团队正在重构更优的图像编辑方案。","某电商设计团队需要在短时间内为同一款新品生成多风格营销素材，并配套撰写适配不同视觉风格的社交媒体文案。\n\n### 没有 Versatile-Diffusion 时\n- **工具链割裂**：设计师需分别使用 Stable Diffusion 生成图片、CLIP 提取特征、再调用独立的文本模型写文案，数据在不同模型间流转繁琐且易丢失细节。\n- **风格一致性难保**：生成的变体图（如将白底图转为节日风）往往需要重新编写复杂提示词，难以精准控制保留商品主体特征，导致“货不对板”。\n- **图文匹配度低**：后期撰写的文案常与最终选定的图片风格脱节，缺乏统一的语义空间支撑，人工反复调整耗时耗力。\n- **算力资源浪费**：维护多个专用模型占用大量显存，推理时需频繁加载卸载，严重影响批量生产效率和响应速度。\n\n### 使用 Versatile-Diffusion 后\n- **全流程统一**：利用其多流多模态架构，在一个模型内即可完成“文生图、图生文、图生变体”的全套操作，无需切换上下文或中间格式。\n- **精准可控变体**：通过原生的图像变体功能，仅上传商品白底图即可一键生成多种风格海报，同时完美锁定商品细节，确保主体一致。\n- **语义深度对齐**：基于共享的全局层和潜在空间，模型生成的文案能天然理解图片的风格语义，实现“图变文亦变”的高度协同。\n- **部署高效轻量**：单一模型替代多个专用模型，显著降低显存占用，支持在单卡上快速并发处理大量图文生成任务。\n\nVersatile-Diffusion 通过构建统一的生成式 AI 框架，彻底打破了图文生成任务间的壁垒，实现了真正的多模态协同创作。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FSHI-Labs_Versatile-Diffusion_6d700210.png","SHI-Labs","SHI Labs","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FSHI-Labs_896df7d2.jpg","Computer Vision, Machine Learning, and AI Systems & Applications",null,"humphrey_shi","https:\u002F\u002Fwww.shi-labs.com","https:\u002F\u002Fgithub.com\u002FSHI-Labs",[82],{"name":83,"color":84,"percentage":85},"Python","#3572A5",100,1336,84,"2026-04-04T02:15:58","MIT","未说明","需要 NVIDIA GPU (基于 PyTorch CUDA 版本)，指定安装命令包含 cu113 (CUDA 11.3)，提供 fp16 模型以节省显存",{"notes":93,"python":94,"dependencies":95},"建议使用 conda 创建名为 'versatile-diffusion' 的环境。需从 Hugging Face 下载预训练模型文件（包括 VAE 和扩散模型，提供 float32 和半精度 float16 版本）。主要数据集为 Laion2B-en，但训练通常不需要下载完整数据集。推理可通过运行 app.py 启动 WebUI 进行。","3.8",[96,97,98],"torch==1.12.1","torchvision==0.13.1","torchaudio==0.12.1",[15,100],"其他","2026-03-27T02:49:30.150509","2026-04-09T10:30:04.920206",[104,109,114,119,124,129],{"id":105,"question_zh":106,"answer_zh":107,"source_url":108},26082,"项目是否包含训练代码？何时开源？","目前训练代码尚未发布。团队正在对主要代码进行更新，以重新检查并规范化模型和训练流程，从而提升性能。此外，还需要与教授进行内部讨论才能决定发布事宜。一旦训练代码准备好，团队会在新闻（News）板块发布公告，请持续关注。","https:\u002F\u002Fgithub.com\u002FSHI-Labs\u002FVersatile-Diffusion\u002Fissues\u002F22",{"id":110,"question_zh":111,"answer_zh":112,"source_url":113},26083,"运行时报错 'integer division or modulo by zero' 或 CUDA 设备计数为 0 怎么办？","该错误通常是因为 PyTorch 无法检测到 CUDA 设备（即 torch.cuda.device_count() 返回 0），导致除以零错误。这往往是因为安装了未启用 CUDA 支持的 PyTorch 版本，或者环境变量配置错误（例如在单卡机器上设置了错误的 CUDA_VISIBLE_DEVICES）。解决方法是确保安装了对应 GPU 架构的正确 CUDA 版本 PyTorch，并检查环境变量设置。","https:\u002F\u002Fgithub.com\u002FSHI-Labs\u002FVersatile-Diffusion\u002Fissues\u002F17",{"id":115,"question_zh":116,"answer_zh":117,"source_url":118},26084,"生成的图像颜色过亮或与原图不匹配，如何调整？","Demo 中提供的简单颜色校准（匹配各通道的均值和标准差）效果可能不理想。建议尝试以下方法：1. 使用带有语义聚焦（semantic focus）的图像变分功能，这有助于减少风格影响并更好地校准颜色；2. 手动应用更高级的颜色校正算法，例如直方图均衡化（histogram equalizer）。","https:\u002F\u002Fgithub.com\u002FSHI-Labs\u002FVersatile-Diffusion\u002Fissues\u002F19",{"id":120,"question_zh":121,"answer_zh":122,"source_url":123},26085,"为什么找不到文本生成图像任务的 Zero-Shot FID 评估结果？","团队目前仍在完善这部分工作。同时，团队认为 MSCOCO 数据集上的 FID 分数对于评估文本生成图像模型只是一个临时方案，因为扩散模型在该指标上的得分往往较低，不能真实反映模型的实际生成性能和视觉效果。","https:\u002F\u002Fgithub.com\u002FSHI-Labs\u002FVersatile-Diffusion\u002Fissues\u002F20",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},26086,"如何只使用基础模型（VD-Basic）而不需要其他功能？","新版代码库已支持模块化使用。用户可以轻松分离出所需的单一流程模型（例如 VD-basic）。此外，虽然社区有非官方的 Colab 演示，但官方正在并行开发包含所有支持功能的官方 Colab 演示和 HuggingFace 空间，敬请期待。","https:\u002F\u002Fgithub.com\u002FSHI-Labs\u002FVersatile-Diffusion\u002Fissues\u002F3",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},26087,"代码库现在可以直接运行吗？","是的，该仓库目前是可运行的。官方已经发布了评估代码以及用于单卡或多卡运行的 Shell 命令脚本。具体的运行方法请参考仓库文档中的 'Evaluation'（评估）部分。","https:\u002F\u002Fgithub.com\u002FSHI-Labs\u002FVersatile-Diffusion\u002Fissues\u002F2",[]]