[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-HVision-NKU--StoryDiffusion":3,"tool-HVision-NKU--StoryDiffusion":64},[4,17,26,40,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,2,"2026-04-03T11:11:01",[13,14,15],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":23,"last_commit_at":32,"category_tags":33,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,34,35,36,15,37,38,13,39],"数据工具","视频","插件","其他","语言模型","音频",{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":10,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,38,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":10,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[38,14,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":23,"last_commit_at":62,"category_tags":63,"status":16},2471,"tesseract","tesseract-ocr\u002Ftesseract","Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。\n\n在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。\n\nTesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中",73286,"2026-04-03T01:56:45",[13,14],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":75,"owner_avatar_url":76,"owner_bio":77,"owner_company":77,"owner_location":77,"owner_email":77,"owner_twitter":77,"owner_website":77,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":10,"env_os":92,"env_gpu":93,"env_ram":94,"env_deps":95,"category_tags":104,"github_topics":77,"view_count":105,"oss_zip_url":77,"oss_zip_packed_at":77,"status":16,"created_at":106,"updated_at":107,"faqs":108,"releases":138},1152,"HVision-NKU\u002FStoryDiffusion","StoryDiffusion","Accepted as [NeurIPS 2024] Spotlight Presentation Paper","StoryDiffusion是一款专注于生成连贯图像和视频的AI工具，特别适合需要创作长序列内容的用户。它通过独特的自注意力机制确保角色和场景在多张图片或视频中保持一致，解决了传统方法在长序列生成中容易出现的不连贯问题。同时配备的运动预测器能精准捕捉图像间的动态变化，生成更流畅的视频过渡效果。开发者可将其模块灵活接入现有扩散模型，设计师能快速制作漫画分镜，研究人员可探索长序列生成技术。工具支持通过文本提示或条件图像生成内容，兼容主流模型且提供高质量输出，尤其适合需要制作动画、长视频或连贯视觉叙事的用户群体。","\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_ee0710b20699.png\" height=100>\n\u003C\u002Fp>\n\n\u003Cdiv align=\"center\">\n  \n## StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation  [![Paper page](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhuggingface\u002Fbadges\u002Fresolve\u002Fmain\u002Fpaper-page-md-dark.svg)]()\n\n[[Paper](https:\u002F\u002Farxiv.org\u002Fabs\u002F2405.01434)]   [[Project Page](https:\u002F\u002Fstorydiffusion.github.io\u002F)]    [[Jittor Version](https:\u002F\u002Fgithub.com\u002FJittorCV\u002Fjittordiffusion\u002Ftree\u002Fmaster)]  [[🤗 Comic Generation Demo ](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FYupengZhou\u002FStoryDiffusion)] [![Replicate](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Fcjwbw\u002FStoryDiffusion) [![Run Comics Demo in Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHVision-NKU\u002FStoryDiffusion\u002Fblob\u002Fmain\u002FComic_Generation.ipynb) \u003Cbr>\n\u003C\u002Fdiv>\n\n\n---\n\nOfficial implementation of **[StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation]()**.\n\n### **Demo Video**\n\nhttps:\u002F\u002Fgithub.com\u002FHVision-NKU\u002FStoryDiffusion\u002Fassets\u002F49511209\u002Fd5b80f8f-09b0-48cd-8b10-daff46d422af\n\n\n### Update History\n\n***You can visit [here](update.md) to visit update history.***\n\n### 🌠  **Key Features:**\nStoryDiffusion can create a magic story by generating consistent images and videos. Our work mainly has two parts: \n1. Consistent self-attention for character-consistent image generation over long-range sequences. It is hot-pluggable and compatible with all SD1.5 and SDXL-based image diffusion models. For the current implementation, the user needs to provide at least 3 text prompts for the consistent self-attention module. We recommend at least 5 - 6 text prompts for better layout arrangement.\n2. Motion predictor for long-range video generation, which predicts motion between Condition Images in a compressed image semantic space, achieving larger motion prediction. \n\n\n\n## 🔥 **Examples**\n\n\n### Comics generation \n\n\n![1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_4ae6abeedf8a.png)\n\n\n\n### Image-to-Video generation （Results are HIGHLY compressed for speed）\nLeveraging the images produced through our Consistent Self-Attention mechanism, we can extend the process to create videos by seamlessly transitioning between these images. This can be considered as a two-stage long video generation approach.\n\nNote: results are **highly compressed** for speed, you can visit [our website](https:\u002F\u002Fstorydiffusion.github.io\u002F) for the high-quality version.\n#### Two-stage Long Videos Generation (New Update)\nCombining the two parts, we can generate very long and high-quality AIGC videos.\n| Video1 | Video2  | Video3  |\n| --- | --- | --- |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_a9aee68f253c.png\" width=224>  | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_4572174dbcbd.png\" width=224> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_2aca19c791ae.png\" width=224>  |\n\n\n#### Long Video Results using Condition Images\nOur Image-to-Video model can generate a video by providing a sequence of user-input condition images.\n| Video1 | Video2  | Video3  |\n| --- | --- | --- |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_b38ecc020ffd.png\" width=224>  | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_dd411e5c9164.png\" width=224> |  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_4c96a0d9adfb.png\" width=224>  |\n\n| Video4 | Video5  | Video6  |\n| --- | --- | --- |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_4abd8e335760.png\" width=224>  | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_0986764d7dde.png\" width=224> |  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_8ce522749aa9.png\" width=224>  |\n\n\n\n\n#### Short Videos \n\n| Video1 | Video2  | Video3  |\n| --- | --- | --- |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_e1c545df7792.png\" width=224>  | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_46b2304a6eb1.png\" width=224> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_48905e67354e.png\" width=224>  |\n\n\n\n| Video4 | Video5  | Video6  |\n| --- | --- | --- |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_2a92a52d2bdc.png\" width=224>  | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_20d1bc8ee38a.png\" width=224> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_825b628835b9.png\" width=224>  |\n\n\n\n\n## 🚩 **TODO\u002FUpdates**\n- [x] Comic Results of StoryDiffusion.\n- [x] Video Results of StoryDiffusion.\n- [x] Source code of Comic Generation\n- [x] Source code of gradio demo\n- [ ] Source code of Video Generation Model\n- [ ] Pretrained weight of Video Generation Model\n---\n\n# 🔧 Dependencies and Installation\n\n- Python >= 3.8 (Recommend to use [Anaconda](https:\u002F\u002Fwww.anaconda.com\u002Fdownload\u002F#linux) or [Miniconda](https:\u002F\u002Fdocs.conda.io\u002Fen\u002Flatest\u002Fminiconda.html))\n- [PyTorch >= 2.0.0](https:\u002F\u002Fpytorch.org\u002F)\n```bash\nconda create --name storydiffusion python=3.10\nconda activate storydiffusion\npip install -U pip\n\n# Install requirements\npip install -r requirements.txt\n```\n# How to use\n\nCurrently, we provide two ways for you to generate comics.\n\n## Use the jupyter notebook\n\nYou can open the `Comic_Generation.ipynb` and run the code.\n\n## Start a local gradio demo\nRun the following command:\n\n\n**(Recommend)** We provide a low GPU Memory cost version, it was tested on a machine with 24GB GPU-memory(Tesla A10) and 30GB RAM, and expected to work well with >20 G GPU-memory.\n\n```python\npython gradio_app_sdxl_specific_id_low_vram.py\n```\n\n\n## Contact\nIf you have any questions, you are very welcome to email ypzhousdu@gmail.com and zhoudaquan21@gmail.com\n\n   \n\n\n# Disclaimer\nThis project strives to impact the domain of AI-driven image and video generation positively. Users are granted the freedom to create images and videos using this tool, but they are expected to comply with local laws and utilize it responsibly. The developers do not assume any responsibility for potential misuse by users.\n\n# Related Resources\nFollowing are some third-party implementations of StoryDiffusion.\n\n\n## API\n\n- [runpod.io serverless worker](https:\u002F\u002Fgithub.com\u002Fbes-dev\u002Fstory-diffusion-runpod-serverless-worker) provided by [BeS](https:\u002F\u002Fgithub.com\u002Fbes-dev).\n- [Replicate worker](https:\u002F\u002Fgithub.com\u002Fcamenduru\u002FStoryDiffusion-replicate) provided by [camenduru](https:\u002F\u002Fgithub.com\u002Fcamenduru).\n\n\n\n\n# BibTeX\nIf you find StoryDiffusion useful for your research and applications, please cite using this BibTeX:\n\n```BibTeX\n@article{zhou2024storydiffusion,\n  title={StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation},\n  author={Zhou, Yupeng and Zhou, Daquan and Cheng, Ming-Ming and Feng, Jiashi and Hou, Qibin},\n  journal={NeurIPS 2024},\n  year={2024}\n}\n","\u003Cp align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_ee0710b20699.png\" height=100>\n\u003C\u002Fp>\n\n\u003Cdiv align=\"center\">\n  \n## StoryDiffusion：用于长序列图像和视频生成的一致性自注意力机制  [![论文页面](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fhuggingface\u002Fbadges\u002Fresolve\u002Fmain\u002Fpaper-page-md-dark.svg)]()\n\n[[论文](https:\u002F\u002Farxiv.org\u002Fabs\u002F2405.01434)]   [[项目主页](https:\u002F\u002Fstorydiffusion.github.io\u002F)]    [[Jittor版本](https:\u002F\u002Fgithub.com\u002FJittorCV\u002Fjittordiffusion\u002Ftree\u002Fmaster)]  [[🤗 漫画生成演示 ](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FYupengZhou\u002FStoryDiffusion)] [![Replicate](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Fcjwbw\u002FStoryDiffusion) [![在Colab中运行漫画演示](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002FHVision-NKU\u002FStoryDiffusion\u002Fblob\u002Fmain\u002FComic_Generation.ipynb) \u003Cbr>\n\u003C\u002Fdiv>\n\n\n---\n\n**[StoryDiffusion：用于长序列图像和视频生成的一致性自注意力机制]()** 的官方实现。\n\n### **演示视频**\n\nhttps:\u002F\u002Fgithub.com\u002FHVision-NKU\u002FStoryDiffusion\u002Fassets\u002F49511209\u002Fd5b80f8f-09b0-48cd-8b10-daff46d422af\n\n\n### 更新历史\n\n***您可以访问[这里](update.md)查看更新历史。***\n\n### 🌠  **核心特性：**\nStoryDiffusion 可以通过生成连贯的图像和视频来创作精彩的故事情节。我们的工作主要包含两部分：\n1. 用于长序列中角色一致性图像生成的一致性自注意力机制。该机制可热插拔，兼容所有基于 SD1.5 和 SDXL 的图像扩散模型。对于当前实现，用户需要为一致性自注意力模块提供至少 3 个文本提示。我们建议使用至少 5–6 个文本提示，以获得更好的布局效果。\n2. 用于长序列视频生成的运动预测器，它在压缩的图像语义空间中预测条件图像之间的运动，从而实现更大范围的运动预测。\n\n\n\n## 🔥 **示例**\n\n\n### 漫画生成 \n\n\n![1](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_4ae6abeedf8a.png)\n\n\n\n### 图像转视频生成 （结果为提高速度进行了高度压缩）\n借助我们的一致性自注意力机制生成的图像，我们可以进一步将其无缝衔接，制作成视频。这可以看作是一种两阶段的长视频生成方法。\n\n注意：为了加快速度，结果被**高度压缩**了，您可以访问[我们的网站](https:\u002F\u002Fstorydiffusion.github.io\u002F)获取高质量版本。\n#### 两阶段长视频生成（新更新）\n结合上述两部分，我们可以生成非常长且高质量的 AIGC 视频。\n| 视频1 | 视频2  | 视频3  |\n| --- | --- | --- |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_a9aee68f253c.png\" width=224>  | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_4572174dbcbd.png\" width=224> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_2aca19c791ae.png\" width=224>  |\n\n\n#### 使用条件图像生成的长视频结果\n我们的图像转视频模型可以通过用户提供的一系列条件图像来生成视频。\n| 视频1 | 视频2  | 视频3  |\n| --- | --- | --- |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_b38ecc020ffd.png\" width=224>  | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_dd411e5c9164.png\" width=224> |  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_4c96a0d9adfb.png\" width=224>  |\n\n| 视频4 | 视频5  | 视频6  |\n| --- | --- | --- |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_4abd8e335760.png\" width=224>  | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_0986764d7dde.png\" width=224> |  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_8ce522749aa9.png\" width=224>  |\n\n\n\n\n#### 短视频 \n\n| 视频1 | 视频2  | 视频3  |\n| --- | --- | --- |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_e1c545df7792.png\" width=224>  | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_46b2304a6eb1.png\" width=224> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_48905e67354e.png\" width=224>  |\n\n\n\n| 视频4 | 视频5  | 视频6  |\n| --- | --- | --- |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_2a92a52d2bdc.png\" width=224>  | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_20d1bc8ee38a.png\" width=224> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_readme_825b628835b9.png\" width=224>  |\n\n\n\n\n## 🚩 **待办事项\u002F更新**\n- [x] StoryDiffusion 的漫画生成结果。\n- [x] StoryDiffusion 的视频生成结果。\n- [x] 漫画生成的源代码。\n- [x] Gradio 演示的源代码。\n- [ ] 视频生成模型的源代码。\n- [ ] 视频生成模型的预训练权重。\n---\n\n# 🔧 依赖与安装\n\n- Python >= 3.8（推荐使用 [Anaconda](https:\u002F\u002Fwww.anaconda.com\u002Fdownload\u002F#linux) 或 [Miniconda](https:\u002F\u002Fdocs.conda.io\u002Fen\u002Flatest\u002Fminiconda.html)）\n- [PyTorch >= 2.0.0](https:\u002F\u002Fpytorch.org\u002F)\n```bash\nconda create --name storydiffusion python=3.10\nconda activate storydiffusion\npip install -U pip\n\n# 安装依赖\npip install -r requirements.txt\n```\n# 使用方法\n\n目前，我们提供了两种生成漫画的方式。\n\n## 使用 Jupyter Notebook\n\n您可以打开 `Comic_Generation.ipynb` 并运行代码。\n\n## 启动本地 Gradio 演示\n运行以下命令：\n\n\n**(推荐)** 我们提供了一个低显存消耗的版本，该版本已在配备 24GB 显存（Tesla A10）和 30GB 内存的机器上测试过，预计在显存大于 20GB 的设备上也能良好运行。\n\n```python\npython gradio_app_sdxl_specific_id_low_vram.py\n```\n\n\n## 联系方式\n如果您有任何问题，欢迎发送邮件至 ypzhousdu@gmail.com 和 zhoudaquan21@gmail.com。\n\n   \n\n\n# 免责声明\n本项目致力于对 AI 驱动的图像和视频生成领域产生积极影响。用户可以自由地使用此工具创建图像和视频，但应遵守当地法律法规，并负责任地使用。开发者不对用户的任何潜在滥用行为承担责任。\n\n# 相关资源\n以下是一些第三方对 StoryDiffusion 的实现。\n\n## API\n\n- [runpod.io 无服务器工作器](https:\u002F\u002Fgithub.com\u002Fbes-dev\u002Fstory-diffusion-runpod-serverless-worker)，由 [BeS](https:\u002F\u002Fgithub.com\u002Fbes-dev) 提供。\n- [Replicate 工作器](https:\u002F\u002Fgithub.com\u002Fcamenduru\u002FStoryDiffusion-replicate)，由 [camenduru](https:\u002F\u002Fgithub.com\u002Fcamenduru) 提供。\n\n\n\n\n# BibTeX\n如果您在研究和应用中发现 StoryDiffusion 有用，请使用以下 BibTeX 格式引用：\n\n```BibTeX\n@article{zhou2024storydiffusion,\n  title={StoryDiffusion：用于长距离图像和视频生成的一致性自注意力机制},\n  author={Zhou, Yupeng 和 Zhou, Daquan 和 Cheng, Ming-Ming 和 Feng, Jiashi 和 Hou, Qibin},\n  journal={NeurIPS 2024},\n  year={2024}\n}","# StoryDiffusion 快速上手指南\n\n## 🧰 环境准备\n**系统要求**  \n- Python 3.8+（推荐使用 [Anaconda](https:\u002F\u002Fwww.anaconda.com\u002Fdownload\u002F#linux) 或 [Miniconda](https:\u002F\u002Fdocs.conda.io\u002Fen\u002Flatest\u002Fminiconda.html)）  \n- PyTorch 2.0.0+  \n\n**依赖库**  \n- 项目依赖库已列在 `requirements.txt` 中  \n\n---\n\n## 🛠 安装步骤\n```bash\n# 创建虚拟环境并激活\nconda create --name storydiffusion python=3.10\nconda activate storydiffusion\n\n# 升级 pip 工具\npip install -U pip\n\n# 安装依赖（建议使用国内镜像加速）\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n---\n\n## 🚀 基本使用\n### 方式 1：Jupyter Notebook\n1. 打开 `Comic_Generation.ipynb` 文件  \n2. 依次运行代码单元格进行漫画生成  \n\n### 方式 2：本地 Gradio 演示\n```python\n# 运行低显存优化版本（需 20GB+ 显存）\npython gradio_app_sdxl_specific_id_low_vram.py\n```\n\n> 注意：该工具支持长序列图像和视频生成，需提供至少 3 个文本提示（推荐 5-6 个以获得更好布局）。","一位独立漫画创作者小李正为儿童绘本《森林小精灵的奇妙旅程》制作插画，需生成12张连贯的漫画图像序列，并将其中3张转换为流畅的短动画视频，用于线上故事会推广。\n\n### 没有 StoryDiffusion 时\n- 每张图像需单独调整提示词以维持角色一致性（如小精灵的帽子颜色、服饰细节），平均耗时2小时\u002F张，12张图像总耗时24小时以上。\n- 生成视频时帧间动作生硬（如角色跳跃变形），需反复用后期软件修复，导致动画质量不达标。\n- 长序列叙事难以连贯，例如第5张图像中角色位置突变，需手动重绘，反复迭代耗时3天。\n- 依赖多个工具链（提示词优化+图像生成+视频编辑），流程割裂，团队协作效率低下。\n\n### 使用 StoryDiffusion 后\n- 仅需提供5个关键场景文本提示（如“小精灵在蘑菇屋吃早餐”“穿越彩虹桥”），自动保持角色特征一致，12张图像生成时间压缩至1小时。\n- 通过motion predictor模块，直接将条件图像序列转为流畅视频，帧间动作自然（如角色奔跑轨迹平滑），无需后期修复。\n- 长序列叙事自动优化，确保角色位置、动作逻辑连贯，避免了手动修正，节省30%制作时间。\n- 一键式工作流整合图像生成与视频扩展，创作者专注创意脚本，而非技术调试。\n\nStoryDiffusion让内容创作者从繁琐的技术操作中解放，高效产出高质量、叙事连贯的长序列视觉内容。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FHVision-NKU_StoryDiffusion_4ae6abee.jpg","HVision-NKU","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FHVision-NKU_23952f8f.png",null,"https:\u002F\u002Fgithub.com\u002FHVision-NKU",[80,84],{"name":81,"color":82,"percentage":83},"Jupyter Notebook","#DA5B0B",98.6,{"name":85,"color":86,"percentage":87},"Python","#3572A5",1.4,6398,646,"2026-04-04T19:57:32","Apache-2.0","Linux, macOS, Windows","需要 NVIDIA GPU，显存 24GB+，CUDA 11.7+","30GB+",{"notes":96,"python":97,"dependencies":98},"建议使用 conda 管理环境，首次运行需下载约 5GB 模型文件","3.8+",[99,100,101,102,103],"torch>=2.0","transformers>=4.30","accelerate","diffusers","torchvision",[14,35],9,"2026-03-27T02:49:30.150509","2026-04-06T05:32:28.479336",[109,114,119,123,128,133],{"id":110,"question_zh":111,"answer_zh":112,"source_url":113},5203,"如何解决CUDA显存不足的问题？","尝试设置环境变量调整显存分配，例如：os.environ[\"PYTORCH_CUDA_ALLOC_CONF\"] = \"max_split_size_mb:128\"，同时减小batch_size。若仍失败，可尝试设置max_split_size_mb参数或参考PyTorch文档优化内存管理。","https:\u002F\u002Fgithub.com\u002FHVision-NKU\u002FStoryDiffusion\u002Fissues\u002F37",{"id":115,"question_zh":116,"answer_zh":117,"source_url":118},5204,"运行时报NameError: name 'pipe' is not defined如何解决？","此问题与gradio版本相关。升级至4.29.0后出现该错误，需回退到指定版本4.22.0以解决。确保requirements文件中指定的版本与实际安装一致。","https:\u002F\u002Fgithub.com\u002FHVision-NKU\u002FStoryDiffusion\u002Fissues\u002F24",{"id":120,"question_zh":121,"answer_zh":122,"source_url":113},5205,"使用Juggernaut模型时出现显存不足如何处理？","维护者确认该问题已通过代码更新修复。建议使用最新版本代码，并检查模型加载配置。若问题持续，可尝试其他模型如RealVision或Unstable。",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},5206,"Mac M3芯片运行需要多少内存？","实测峰值内存占用达45.7GB，16GB内存可能无法正常运行。建议使用更高配置的设备，或调整模型参数以降低内存需求。","https:\u002F\u002Fgithub.com\u002FHVision-NKU\u002FStoryDiffusion\u002Fissues\u002F42",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},5207,"运行Python脚本时出现UnicodeDecodeError如何解决？","该问题可能与文件编码相关。尝试修改环境编码设置，或检查脚本文件是否包含非UTF-8字符。维护者建议更新代码库至最新版本以获取兼容性修复。","https:\u002F\u002Fgithub.com\u002FHVision-NKU\u002FStoryDiffusion\u002Fissues\u002F21",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},5208,"模型生成结果不一致如何优化？","维护者确认此问题已通过代码更新修复。请确保使用最新版本，并检查模型选择及参数配置。若仍存在问题，可尝试调整提示词或使用更稳定的模型版本。","https:\u002F\u002Fgithub.com\u002FHVision-NKU\u002FStoryDiffusion\u002Fissues\u002F103",[]]