[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-omerbt--MultiDiffusion":3,"tool-omerbt--MultiDiffusion":64},[4,17,26,40,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,2,"2026-04-03T11:11:01",[13,14,15],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":23,"last_commit_at":32,"category_tags":33,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,34,35,36,15,37,38,13,39],"数据工具","视频","插件","其他","语言模型","音频",{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":10,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,38,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":10,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[38,14,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":23,"last_commit_at":62,"category_tags":63,"status":16},2471,"tesseract","tesseract-ocr\u002Ftesseract","Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。\n\n在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。\n\nTesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中",73286,"2026-04-03T01:56:45",[13,14],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":78,"owner_email":80,"owner_twitter":81,"owner_website":82,"owner_url":83,"languages":84,"stars":93,"forks":94,"last_commit_at":95,"license":78,"difficulty_score":10,"env_os":96,"env_gpu":97,"env_ram":96,"env_deps":98,"category_tags":105,"github_topics":106,"view_count":23,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":114,"updated_at":115,"faqs":116,"releases":137},3884,"omerbt\u002FMultiDiffusion","MultiDiffusion","Official Pytorch Implementation for \"MultiDiffusion: Fusing Diffusion Paths for Controlled Image Generation\" presenting \"MultiDiffusion\" (ICML 2023)","MultiDiffusion 是一个基于预训练扩散模型的图像生成框架，旨在让用户无需额外训练或微调，即可灵活、可控地创作高质量图像。它主要解决了当前 AI 绘图领域用户难以精准控制生成内容（如特定比例、局部细节）以及适应新任务成本高昂的痛点。\n\n该工具的核心亮点在于其独特的“多路径融合”技术：通过优化算法将多个扩散生成过程绑定在一起，共享参数或约束条件。这使得用户能够轻松实现全景图生成、基于分割掩码或边界框的局部编辑等复杂需求，甚至能添加烟雾、火焰等半透明特效，同时保持画面整体的一致性。\n\nMultiDiffusion 非常适合研究人员探索可控生成机制，也适合开发者将其集成到应用中（已支持 Hugging Face Diffusers 库）。对于设计师和普通创作者而言，它提供了强大的空间控制能力，让创意落地更加精准高效。项目不仅开源了 PyTorch 代码，还提供了便捷的 Gradio 网页演示和 Colab 示例，方便不同背景的用户快速上手体验。","# MultiDiffusion: Fusing Diffusion Paths for Controlled Image Generation (ICML 2023)\n## [\u003Ca href=\"https:\u002F\u002Fmultidiffusion.github.io\u002F\" target=\"_blank\">Project Page\u003C\u002Fa>]\n\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-MultiDiffusion-b31b1b.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.08113)\n![Pytorch](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPyTorch->=1.10.0-Red?logo=pytorch)\n[![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fweizmannscience\u002FMultiDiffusion)\n[![Replicate](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomerbt_MultiDiffusion_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Fcjwbw\u002Fmultidiffusion)\n\n[\u002F\u002F]: # ([![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fweizmannscience\u002Ftext2live))\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomerbt_MultiDiffusion_readme_128dc63a9eb7.jpg)\n\n**MultiDiffusion** is a unified framework that enables versatile and controllable image generation, using a pre-trained text-to-image diffusion model, without any further training or finetuning, as described in \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.08113\" target=\"_blank\">(link to paper)\u003C\u002Fa>.\n\n[\u002F\u002F]: # (. It can be used for localized and global edits that change the texture of existing objects or augment the scene with semi-transparent effects (e.g. smoke, fire, snow).)\n\n[\u002F\u002F]: # (### Abstract)\n>Recent advances in text-to-image generation with diffusion models present transformative capabilities in image quality. However, user controllability of the generated image, and fast adaptation to new tasks still remains an open challenge, currently mostly addressed by costly and long re-training and fine-tuning or ad-hoc adaptations to specific image generation tasks. In this work, we present MultiDiffusion, a unified framework that enables versatile and controllable image generation, using a pre-trained text-to-image diffusion model, without any further training or finetuning. At the center of our approach is a new generation process, based on an optimization task that binds together multiple diffusion generation processes with a shared set of parameters or constraints. We show that MultiDiffusion can be readily applied to generate high quality and diverse images that adhere to user-provided controls, such as desired aspect ratio (e.g., panorama), and spatial guiding signals, ranging from tight segmentation masks to bounding boxes.\n\nFor more see the [project webpage](https:\u002F\u002Fmultidiffusion.github.io).\n\n## Diffusers Integration [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fomerbt\u002FMultiDiffusion\u002Fblob\u002Fmaster\u002FMultiDiffusion_Panorama.ipynb)\nMultiDiffusion Text2Panorama is integrated into [diffusers](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Fdiffusers\u002Fmain\u002Fen\u002Fapi\u002Fpipelines\u002Fstable_diffusion\u002Fpanorama), and can be run as follows:\n```\nimport torch\nfrom diffusers import StableDiffusionPanoramaPipeline, DDIMScheduler\n\nmodel_ckpt = \"stabilityai\u002Fstable-diffusion-2-base\"\nscheduler = DDIMScheduler.from_pretrained(model_ckpt, subfolder=\"scheduler\")\npipe = StableDiffusionPanoramaPipeline.from_pretrained(\n     model_ckpt, scheduler=scheduler, torch_dtype=torch.float16\n)\n\npipe = pipe.to(\"cuda\")\n\nprompt = \"a photo of the dolomites\"\nimage = pipe(prompt).images[0]\n```\n\n## Gradio Demo \nWe provide a gradio UI for our method. Running the following command in a terminal will launch the demo:\n```\npython app_gradio.py\n```\nThis demo is also hosted on HuggingFace [here](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fweizmannscience\u002FMultiDiffusion)\n\n## Spatial controls\n\nA web demo for the spatial controls is hosted on HuggingFace [here](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fweizmannscience\u002Fmultidiffusion-region-based).\n\n## Citation\n```\n@article{bar2023multidiffusion,\n  title={MultiDiffusion: Fusing Diffusion Paths for Controlled Image Generation},\n  author={Bar-Tal, Omer and Yariv, Lior and Lipman, Yaron and Dekel, Tali},\n  journal={arXiv preprint arXiv:2302.08113},\n  year={2023}\n}\n```\n","# MultiDiffusion：融合扩散路径实现可控图像生成（ICML 2023）\n## [\u003Ca href=\"https:\u002F\u002Fmultidiffusion.github.io\u002F\" target=\"_blank\">项目页面\u003C\u002Fa>]\n\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-MultiDiffusion-b31b1b.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.08113)\n![Pytorch](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPyTorch->=1.10.0-Red?logo=pytorch)\n[![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fweizmannscience\u002FMultiDiffusion)\n[![Replicate](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomerbt_MultiDiffusion_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Fcjwbw\u002Fmultidiffusion)\n\n[\u002F\u002F]: # ([![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fweizmannscience\u002Ftext2live))\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomerbt_MultiDiffusion_readme_128dc63a9eb7.jpg)\n\n**MultiDiffusion** 是一个统一的框架，能够在不进行任何额外训练或微调的情况下，利用预训练的文本到图像扩散模型实现多样化且可控的图像生成，具体描述见 \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.08113\" target=\"_blank\">(论文链接)\u003C\u002Fa>。\n\n[\u002F\u002F]: # (. 它可用于局部和全局编辑，改变现有物体的纹理，或通过半透明效果（如烟雾、火焰、雪）增强场景。)\n\n[\u002F\u002F]: # (### 摘要)\n> 近年来，基于扩散模型的文本到图像生成技术在图像质量方面取得了突破性进展。然而，用户对生成图像的可控性以及快速适应新任务的能力仍然是一个尚未解决的挑战，目前主要依赖于成本高昂且耗时的重新训练和微调，或者针对特定图像生成任务的临时性调整。在本工作中，我们提出了 MultiDiffusion，这是一个统一的框架，能够在不进行任何进一步训练或微调的情况下，利用预训练的文本到图像扩散模型实现多样化且可控的图像生成。我们的方法核心是一种新的生成过程，基于优化任务，将多个扩散生成过程通过共享的参数或约束联系在一起。我们证明，MultiDiffusion 可以轻松应用于生成高质量、多样化的图像，同时满足用户提供的控制要求，例如所需的宽高比（如全景图）以及从精细分割掩码到边界框等空间引导信号。\n\n更多信息请访问 [项目主页](https:\u002F\u002Fmultidiffusion.github.io)。\n\n## Diffusers 集成 [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fomerbt\u002FMultiDiffusion\u002Fblob\u002Fmaster\u002FMultiDiffusion_Panorama.ipynb)\nMultiDiffusion Text2Panorama 已集成到 [diffusers](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Fdiffusers\u002Fmain\u002Fen\u002Fapi\u002Fpipelines\u002Fstable_diffusion\u002Fpanorama) 中，运行方式如下：\n```\nimport torch\nfrom diffusers import StableDiffusionPanoramaPipeline, DDIMScheduler\n\nmodel_ckpt = \"stabilityai\u002Fstable-diffusion-2-base\"\nscheduler = DDIMScheduler.from_pretrained(model_ckpt, subfolder=\"scheduler\")\npipe = StableDiffusionPanoramaPipeline.from_pretrained(\n     model_ckpt, scheduler=scheduler, torch_dtype=torch.float16\n)\n\npipe = pipe.to(\"cuda\")\n\nprompt = \"a photo of the dolomites\"\nimage = pipe(prompt).images[0]\n```\n\n## Gradio 演示 \n我们为该方法提供了一个 Gradio 用户界面。在终端中运行以下命令即可启动演示：\n```\npython app_gradio.py\n```\n该演示也在 HuggingFace 上托管，地址为 [这里](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fweizmannscience\u002FMultiDiffusion)。\n\n## 空间控制 \n空间控制功能的网页演示已在 HuggingFace 上托管，地址为 [这里](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fweizmannscience\u002Fmultidiffusion-region-based)。\n\n## 引用 \n```\n@article{bar2023multidiffusion,\n  title={MultiDiffusion: Fusing Diffusion Paths for Controlled Image Generation},\n  author={Bar-Tal, Omer and Yariv, Lior and Lipman, Yaron and Dekel, Tali},\n  journal={arXiv preprint arXiv:2302.08113},\n  year={2023}\n}\n```","# MultiDiffusion 快速上手指南\n\nMultiDiffusion 是一个统一的框架，能够利用预训练的文本到图像扩散模型，在无需额外训练或微调的情况下，实现多样化且可控的图像生成（如全景图生成、区域控制等）。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux 或 macOS (Windows 需配置 WSL2 或兼容环境)\n*   **Python**: 3.8 或更高版本\n*   **GPU**: 推荐 NVIDIA GPU (显存建议 8GB 以上)，并安装对应的 CUDA 驱动\n*   **PyTorch**: 版本 >= 1.10.0\n*   **依赖库**: `diffusers`, `transformers`, `accelerate`, `gradio` (如需运行本地 Demo)\n\n> **国内加速建议**：\n> 建议使用国内镜像源安装 Python 依赖，以提升下载速度：\n> ```bash\n> pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n> 拉取 Hugging Face 模型时，可设置环境变量使用镜像：\n> ```bash\n> export HF_ENDPOINT=https:\u002F\u002Fhf-mirror.com\n> ```\n\n## 安装步骤\n\n您可以选择直接通过 `pip` 安装核心依赖库（推荐用于开发集成），或克隆仓库运行完整 Demo。\n\n### 方式一：安装核心依赖 (推荐)\n\n如果您只想在代码中使用 MultiDiffusion 的功能（如全景生成）：\n\n```bash\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\npip install diffusers transformers accelerate gradio -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n### 方式二：克隆仓库运行完整项目\n\n如果您希望运行官方提供的 Gradio 界面或示例脚本：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fomerbt\u002FMultiDiffusion.git\ncd MultiDiffusion\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 基本使用\n\nMultiDiffusion 已集成至 `diffusers` 库中。以下是最简单的使用示例，展示如何生成一张全景图片。\n\n### 代码示例：生成全景图\n\n```python\nimport torch\nfrom diffusers import StableDiffusionPanoramaPipeline, DDIMScheduler\n\n# 指定模型检查点\nmodel_ckpt = \"stabilityai\u002Fstable-diffusion-2-base\"\n\n# 初始化调度器和管道\nscheduler = DDIMScheduler.from_pretrained(model_ckpt, subfolder=\"scheduler\")\npipe = StableDiffusionPanoramaPipeline.from_pretrained(\n     model_ckpt, scheduler=scheduler, torch_dtype=torch.float16\n)\n\n# 将管道移动到 GPU\npipe = pipe.to(\"cuda\")\n\n# 定义提示词并生成图像\nprompt = \"a photo of the dolomites\"\nimage = pipe(prompt).images[0]\n\n# 保存结果\nimage.save(\"panorama_output.png\")\n```\n\n### 运行本地 Gradio 演示\n\n如果您克隆了完整仓库，可以通过以下命令启动本地 Web UI，体验包括空间控制（Spatial Controls）在内的更多功能：\n\n```bash\npython app_gradio.py\n```\n\n启动后，终端会显示本地访问地址（通常为 `http:\u002F\u002F127.0.0.1:7860`），在浏览器中打开即可使用。","一位旅游博主需要为文章生成一张包含“多洛米蒂山脉”全景的高清配图，要求画面中左侧是雪山，右侧是湖泊，且必须严格符合宽幅比例。\n\n### 没有 MultiDiffusion 时\n- **全景拼接困难**：普通文生图模型难以直接生成高质量宽幅全景图，强行拉伸会导致画面变形或细节模糊，通常需生成多张图再手动拼接，接缝处痕迹明显。\n- **空间控制缺失**：无法精确指定“左山右水”的布局，模型随机性大，往往需要反复抽卡几十次才能偶然得到构图满意的图片。\n- **修改成本高昂**：若需调整局部内容（如把湖泊换成森林），传统方法需重新训练模型或使用复杂的 Inpainting 流程，耗时且容易破坏整体风格一致性。\n- **资源消耗巨大**：为了实现可控生成，往往需要昂贵的微调（Fine-tuning）过程，对显存和计算时间要求极高，不适合快速迭代。\n\n### 使用 MultiDiffusion 后\n- **原生全景生成**：利用其融合的扩散路径技术，直接通过优化任务生成无缝衔接的高清全景图，无需后期拼接，画面自然流畅。\n- **精准空间引导**：支持通过简单的边界框或分割掩码作为约束，轻松实现“左侧生成雪山、右侧生成湖泊”的精确布局，一次即成。\n- **灵活局部编辑**：无需任何额外训练或微调，即可在保持整体风格统一的前提下，自由修改场景中的特定区域（如增减烟雾、替换植被）。\n- **零样本高效运行**：直接复用预训练的 Stable Diffusion 模型，大幅降低算力门槛，让开发者能在几秒钟内完成复杂可控的图像创作。\n\nMultiDiffusion 的核心价值在于无需重新训练即可将通用文生图模型转化为具备高精度空间控制和全景生成能力的专业工具。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fomerbt_MultiDiffusion_128dc63a.jpg","omerbt","Omer Bar Tal","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fomerbt_66fbd24d.jpg",null,"Runway","omer234@gmail.com","omerbartal","https:\u002F\u002Fomerbt.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fomerbt",[85,89],{"name":86,"color":87,"percentage":88},"Jupyter Notebook","#DA5B0B",97.3,{"name":90,"color":91,"percentage":92},"Python","#3572A5",2.7,1055,64,"2026-03-31T09:00:31","未说明","需要 NVIDIA GPU (代码示例显示使用 'cuda')，显存需求未说明 (建议使用 float16 以节省显存)，CUDA 版本未说明",{"notes":99,"python":96,"dependencies":100},"该工具基于预训练的文本到图像扩散模型（如 Stable Diffusion），无需额外训练或微调。代码示例中指定使用 'stabilityai\u002Fstable-diffusion-2-base' 模型。支持全景生成和空间控制功能。建议在使用时根据显卡显存大小选择是否启用 torch.float16 精度。",[101,102,103,104],"torch>=1.10.0","diffusers","transformers","gradio",[14],[107,108,109,110,111,112,113],"diffusion-models","generative-model","image-generation","stable-diffusion","text-to-image","multidiffusion","icml","2026-03-27T02:49:30.150509","2026-04-06T05:15:20.406202",[117,122,127,132],{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},17770,"FTD 这个缩写在论文中代表什么含义？","FTD 代表 \"Follow The Diffusion\"（跟随扩散）。MultiDiffusion 过程旨在“跟随扩散路径”，即寻找一个尽可能接近每个去噪建议的解决方案。","https:\u002F\u002Fgithub.com\u002Fomerbt\u002FMultiDiffusion\u002Fissues\u002F22",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},17771,"在全景图（Panorama）生成用例中，论文中的公式 4 是如何具体实现的？与最小二乘法公式有何关联？","全景图生成是公式 4 的一个特例。具体来说，Fi 将全景图映射为方形裁剪区域，权重 Wi 设置为 1（参考论文公式 7）。在代码实现层面，确实在每个去噪步骤中对重叠区域的像素值取平均值。代码中的 'count' 参数对应于论文公式 5 中的分母，用于归一化重叠区域的平均计算。","https:\u002F\u002Fgithub.com\u002Fomerbt\u002FMultiDiffusion\u002Fissues\u002F7",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},17772,"当多个掩码（Masks）大量重叠时（例如整个潜在空间被多个裁剪覆盖），生成的图像是否会变得模糊？原理是什么？"," averaging（平均化）是在生成过程中进行的，本质上是对增量扩散更新进行平均。直观上，模型会收敛到一条路径，使得每个去噪方向与平均方向的距离变得非常小（即满足所有约束）。如果不同的去噪建议在整个生成过程中指向极端不同的方向，结果质量确实会受到影响。但在实际应用中，模型通常能经验性地收敛到有意义的去噪轨迹。作者曾在 Deep-Floyd 模型上尝试过全景生成，结果与 SD 类似，但该模型因需要级联所有模型而消耗大量显存，限制了测试规模。","https:\u002F\u002Fgithub.com\u002Fomerbt\u002FMultiDiffusion\u002Fissues\u002F10",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},17773,"get_views 函数在处理小于 512 的数值时返回负数索引，这是 Bug 吗？","这不是 Bug。该函数预期输入的是非潜在空间（non-latent space）的尺寸，该尺寸必须始终大于或等于 512。如果传入如 256 这样的潜在空间尺寸，会导致计算出的块数量为负数，这是因为输入参数不符合函数的设计前提。","https:\u002F\u002Fgithub.com\u002Fomerbt\u002FMultiDiffusion\u002Fissues\u002F11",[]]