[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-360CVGroup--FancyVideo":3,"tool-360CVGroup--FancyVideo":64},[4,17,26,40,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,2,"2026-04-03T11:11:01",[13,14,15],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":23,"last_commit_at":32,"category_tags":33,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,34,35,36,15,37,38,13,39],"数据工具","视频","插件","其他","语言模型","音频",{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":10,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,38,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":10,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74939,"2026-04-05T23:16:38",[38,14,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":23,"last_commit_at":62,"category_tags":63,"status":16},2471,"tesseract","tesseract-ocr\u002Ftesseract","Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。\n\n在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。\n\nTesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中",73286,"2026-04-03T01:56:45",[13,14],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":79,"owner_email":79,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":87,"forks":88,"last_commit_at":89,"license":79,"difficulty_score":10,"env_os":90,"env_gpu":91,"env_ram":92,"env_deps":93,"category_tags":107,"github_topics":108,"view_count":112,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":113,"updated_at":114,"faqs":115,"releases":145},1190,"360CVGroup\u002FFancyVideo","FancyVideo","Video generation from text&image, 1st-gen","FancyVideo 是一款基于文本和图像生成视频的开源工具，能够根据文字描述或图片内容创作出动态、连贯的视频。它解决了传统视频生成中画面不连贯、动态效果差等问题，尤其适合需要从静态内容生成高质量视频的场景。FancyVideo 适合开发者、研究人员以及内容创作者使用，尤其在影视制作、广告设计等领域有较大应用潜力。其技术亮点包括跨帧文本引导机制，结合了多种先进模型的优势，提升了视频生成的稳定性和表现力。","# FancyVideo\n\nThis repository is the official implementation of [FancyVideo](https:\u002F\u002F360cvgroup.github.io\u002FFancyVideo\u002F).\n\n**[FancyVideo: Towards Dynamic and Consistent Video Generation via Cross-frame Textual Guidance](https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.08189)** \n\u003C\u002Fbr>\nJiasong Feng*, Ao Ma*†, Jing Wang*, Bo Cheng, Xiaodan Liang, Dawei Leng‡, Yuhui Yin(*Equal Contribution, †Project Lead, ‡Corresponding Authors)\n\u003C\u002Fbr>\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2408.08189-b31b1b.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.08189)\n[![Project Page](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Website-green)](https:\u002F\u002F360cvgroup.github.io\u002FFancyVideo\u002F)\n[![weixin](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-WeChat@机器之心-000000?logo=wechat&logoColor=07C160)](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002F_Njlo7D1YogSpr8nK_p_Jg)\n[![ComfyUI](https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label=App&message=ComfyUI&&color=green)](https:\u002F\u002Fgithub.com\u002FAIFSH\u002FFancyVideo-ComfyUI)\n\n\nOur code builds upon [AnimateDiff](https:\u002F\u002Fgithub.com\u002Fguoyww\u002FAnimateDiff), and we also incorporate insights from [CV-VAE](https:\u002F\u002Fgithub.com\u002FAILab-CVC\u002FCV-VAE), [Res-Adapter](https:\u002F\u002Fgithub.com\u002Fbytedance\u002Fres-adapter), and [Long-CLIP](https:\u002F\u002Fgithub.com\u002Fbeichenzbc\u002FLong-CLIP) to enhance our project. We appreciate the open-source contributions of these works.\n\n\n## 🔥 News\n- **[2024\u002F10\u002F10]** 🔥 We released the 125-frame model, along with the video extending model and the video backtracking model, all developed from the 61-frame model. The model has been uploaded to [huggingface](https:\u002F\u002Fhuggingface.co\u002Fqihoo360\u002FFancyVideo).\n- **[2024\u002F09\u002F05]** We are thrilled to present our latest research: [Qihoo-T2X](https:\u002F\u002F360cvgroup.github.io\u002FQihoo-T2X\u002F), a pioneering DiT architecture paradigm designed for Text-to-Any tasks.\n- **[2024\u002F08\u002F19]** We initialized this github repository and released the inference code and 61-frame model.\n- **[2024\u002F08\u002F15]** We released the paper of [FancyVideo](https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.08189).\n\n\n## 🕓 Schedules\n- **[In early October 2024]** We plan to release the 125-frame model of FancyVideo, along with the video extending model and the video backtracking model. [√]\n- **[In early November 2024]** We plan to release the training code of FancyVideo.\n- **[Temporary uncertainty]** We plan to release the 16-channel 3D Video VAEs and corresponding model of FancyVideo.\n\n\n## Quick Demos\nVideo demos can be found in the [webpage](https:\u002F\u002F360cvgroup.github.io\u002FFancyVideo\u002F). Some of them are contributed by the community. You can customize your own videos using the following reasoning code.\n\n\n## Quick Start\n### 0. Experimental environment\nWe tested our inference code on a machine with a 24GB 3090 GPU and CUDA environment version 12.1.\n\n### 1. Setup repository and environment\n```\ngit clone https:\u002F\u002Fgithub.com\u002F360CVGroup\u002FFancyVideo.git\ncd FancyVideo\n\nconda create -n fancyvideo python=3.10\nconda activate fancyvideo\npip install -r requirements.txt\n```\n\n### 2. Prepare the models\n```\n# fancyvideo-ckpts & cv-vae & res-adapter & longclip & sdv1.5-base-models\ngit lfs install\ngit clone https:\u002F\u002Fhuggingface.co\u002Fqihoo360\u002FFancyVideo\nmv FancyVideo\u002Fresources\u002Fmodels resources \n\n\n# stable-diffusion-v1-5\ngit clone https:\u002F\u002Fhuggingface.co\u002Frunwayml\u002Fstable-diffusion-v1-5 resources\u002Fmodels\n```\nAfter download models, your resources folder is like:\n```\n📦 resources\u002F\n├── 📂 models\u002F\n│   └── 📂 fancyvideo_ckpts\u002F\n│       └── 📂 vae_3d_61_frames\u002F\n│       └── 📂 vae_3d_125_frames\u002F\n│       └── 📂 video_extending\u002F\n│       └── 📂 video_backtracking\u002F\n│   └── 📂 CV-VAE\u002F\n│   └── 📂 res-adapter\u002F\n│   └── 📂 LongCLIP-L\u002F\n│   └── 📂 sd_v1-5_base_models\u002F\n│   └── 📂 stable-diffusion-v1-5\u002F\n├── 📂 demos\u002F\n│   └── 📂 reference_images\u002F\n│   └── 📂 reference_videos\u002F\n│   └── 📂 test_prompts\u002F\n```\n\n### 3. Customize your own videos\n#### 3.1 Image to Video\nDue to the limited image generation capabilities of the SD1.5 model, we recommend generating the initial frame using a more advanced T2I model, such as SDXL, and then using our model's I2V capabilities to create the video.\n```\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Fi2v.yaml\n```\n#### 3.2 Text to Video with different base models\nOur model features universal T2V capabilities and can be customized with the SD1.5 community base model.\n```\n# use the base model of pixars\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Ft2v_pixars.yaml\n\n# use the base model of realcartoon3d\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Ft2v_realcartoon3d.yaml\n\n# use the base model of toonyou\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Ft2v_toonyou.yaml\n```\n#### 3.3 Image to Video with 125-Frame Model\nSimilar to 3.1, section 3.2 can also utilize this model.\n```\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Fi2v_125_frames.yaml\n```\n#### 3.4 Video Extending\nYou can expand your 61 frames of video to 125 frames by increasing the latent space from 16 to 32.\n```\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Fvideo_extending.yaml\n```\n#### 3.5 Video Backtracking\nYou can downscale your 61 frames of video to 125 frames by adjusting the latent space from 16 to 32.\n```\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Fvideo_backtracking.yaml\n```\n\n\n## Reference\n- Animatediff: https:\u002F\u002Fgithub.com\u002Fguoyww\u002FAnimateDiff\n- CV-VAE: https:\u002F\u002Fgithub.com\u002FAILab-CVC\u002FCV-VAE\n- Res-Adapter: https:\u002F\u002Fgithub.com\u002Fbytedance\u002Fres-adapter\n- Long-CLIP: https:\u002F\u002Fgithub.com\u002Fbeichenzbc\u002FLong-CLIP\n\n\n## BibTeX\n```\n@misc{feng2024fancyvideodynamicconsistentvideo,\n        title={FancyVideo: Towards Dynamic and Consistent Video Generation via Cross-frame Textual Guidance}, \n        author={Jiasong Feng and Ao Ma and Jing Wang and Bo Cheng and Xiaodan Liang and Dawei Leng and Yuhui Yin},\n        year={2024},\n        eprint={2408.08189},\n        archivePrefix={arXiv},\n        primaryClass={cs.CV},\n        url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.08189}, \n}\n```\n\n\n## License\nThis project is licensed under the [Apache License (Version 2.0)](https:\u002F\u002Fgithub.com\u002Fmodelscope\u002Fmodelscope\u002Fblob\u002Fmaster\u002FLICENSE).\n","# FancyVideo\n\n本仓库是 [FancyVideo](https:\u002F\u002F360cvgroup.github.io\u002FFancyVideo\u002F) 的官方实现。\n\n**[FancyVideo：通过跨帧文本引导实现动态且一致的视频生成](https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.08189)** \n\u003C\u002Fbr>\n冯嘉松*、马翱*†、王晶*、程博、梁晓丹、冷大伟‡、殷宇辉(*贡献相等，†项目负责人，‡通讯作者)\n\u003C\u002Fbr>\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2408.08189-b31b1b.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.08189)\n[![项目主页](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Website-green)](https:\u002F\u002F360cvgroup.github.io\u002FFancyVideo\u002F)\n[![微信](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F-WeChat@机器之心-000000?logo=wechat&logoColor=07C160)](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002F_Njlo7D1YogSpr8nK_p_Jg)\n[![ComfyUI](https:\u002F\u002Fimg.shields.io\u002Fstatic\u002Fv1?label=App&message=ComfyUI&&color=green)](https:\u002F\u002Fgithub.com\u002FAIFSH\u002FFancyVideo-ComfyUI)\n\n\n我们的代码基于 [AnimateDiff](https:\u002F\u002Fgithub.com\u002Fguoyww\u002FAnimateDiff)，同时借鉴了 [CV-VAE](https:\u002F\u002Fgithub.com\u002FAILab-CVC\u002FCV-VAE)、[Res-Adapter](https:\u002F\u002Fgithub.com\u002Fbytedance\u002Fres-adapter) 和 [Long-CLIP](https:\u002F\u002Fgithub.com\u002Fbeichenzbc\u002FLong-CLIP) 的思想来进一步优化项目。我们对这些开源项目的贡献表示感谢。\n\n\n## 🔥 最新消息\n- **[2024\u002F10\u002F10]** 🔥 我们发布了125帧模型，以及基于61帧模型开发的视频扩展模型和视频回溯模型。该模型已上传至 [huggingface](https:\u002F\u002Fhuggingface.co\u002Fqihoo360\u002FFancyVideo)。\n- **[2024\u002F09\u002F05]** 我们很高兴地推出最新研究成果：[Qihoo-T2X](https:\u002F\u002F360cvgroup.github.io\u002FQihoo-T2X\u002F)，这是一种专为“文本到任意”任务设计的开创性DiT架构范式。\n- **[2024\u002F08\u002F19]** 我们初始化了这个GitHub仓库，并发布了推理代码和61帧模型。\n- **[2024\u002F08\u002F15]** 我们发表了 [FancyVideo](https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.08189) 的论文。\n\n\n## 🕓 时间安排\n- **[2024年10月初]** 我们计划发布FancyVideo的125帧模型，以及视频扩展模型和视频回溯模型。[√]\n- **[2024年11月初]** 我们计划发布FancyVideo的训练代码。\n- **[暂不确定]** 我们计划发布FancyVideo的16通道3D Video VAE及其配套模型。\n\n\n## 快速演示\n视频演示可在 [网页](https:\u002F\u002F360cvgroup.github.io\u002FFancyVideo\u002F) 上找到。其中部分由社区贡献。您也可以使用以下推理代码自定义自己的视频。\n\n\n## 快速入门\n### 0. 实验环境\n我们已在配备24GB 3090显卡及CUDA 12.1环境的机器上测试了推理代码。\n\n### 1. 克隆仓库并搭建环境\n```\ngit clone https:\u002F\u002Fgithub.com\u002F360CVGroup\u002FFancyVideo.git\ncd FancyVideo\n\nconda create -n fancyvideo python=3.10\nconda activate fancyvideo\npip install -r requirements.txt\n```\n\n### 2. 准备模型\n```\n# fancyvideo-ckpts & cv-vae & res-adapter & longclip & sdv1.5-base-models\ngit lfs install\ngit clone https:\u002F\u002Fhuggingface.co\u002Fqihoo360\u002FFancyVideo\nmv FancyVideo\u002Fresources\u002Fmodels resources \n\n\n# stable-diffusion-v1-5\ngit clone https:\u002F\u002Fhuggingface.co\u002Frunwayml\u002Fstable-diffusion-v1-5 resources\u002Fmodels\n```\n下载完成后，您的resources文件夹结构如下：\n```\n📦 resources\u002F\n├── 📂 models\u002F\n│   └── 📂 fancyvideo_ckpts\u002F\n│       └── 📂 vae_3d_61_frames\u002F\n│       └── 📂 vae_3d_125_frames\u002F\n│       └── 📂 video_extending\u002F\n│       └── 📂 video_backtracking\u002F\n│   └── 📂 CV-VAE\u002F\n│   └── 📂 res-adapter\u002F\n│   └── 📂 LongCLIP-L\u002F\n│   └── 📂 sd_v1-5_base_models\u002F\n│   └── 📂 stable-diffusion-v1-5\u002F\n├── 📂 demos\u002F\n│   └── 📂 reference_images\u002F\n│   └── 📂 reference_videos\u002F\n│   └── 📂 test_prompts\u002F\n```\n\n### 3. 自定义您的视频\n#### 3.1 图片转视频\n由于SD1.5模型的图像生成能力有限，我们建议先使用更先进的T2I模型（如SDXL）生成初始帧，再利用我们的I2V功能制作视频。\n```\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Fi2v.yaml\n```\n\n#### 3.2 文本转视频（不同基础模型）\n我们的模型具备通用的T2V能力，可与SD1.5社区提供的基础模型结合使用。\n```\n# 使用pixars的基础模型\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Ft2v_pixars.yaml\n\n# 使用realcartoon3d的基础模型\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Ft2v_realcartoon3d.yaml\n\n# 使用toonyou的基础模型\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Ft2v_toonyou.yaml\n```\n\n#### 3.3 125帧模型的图片转视频\n与3.1类似，3.2部分同样可以使用此模型。\n```\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Fi2v_125_frames.yaml\n```\n\n#### 3.4 视频扩展\n您可以将61帧的视频扩展到125帧，只需将潜在空间从16增大到32即可。\n```\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Fvideo_extending.yaml\n```\n\n#### 3.5 视频回溯\n您也可以将61帧的视频缩小回125帧，方法是调整潜在空间大小，从32降至16。\n```\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Fvideo_backtracking.yaml\n```\n\n\n## 参考文献\n- Animatediff: https:\u002F\u002Fgithub.com\u002Fguoyww\u002FAnimateDiff\n- CV-VAE: https:\u002F\u002Fgithub.com\u002FAILab-CVC\u002FCV-VAE\n- Res-Adapter: https:\u002F\u002Fgithub.com\u002Fbytedance\u002Fres-adapter\n- Long-CLIP: https:\u002F\u002Fgithub.com\u002Fbeichenzbc\u002FLong-CLIP\n\n\n## BibTeX\n```\n@misc{feng2024fancyvideodynamicconsistentvideo,\n        title={FancyVideo: Towards Dynamic and Consistent Video Generation via Cross-frame Textual Guidance}, \n        author={Jiasong Feng and Ao Ma and Jing Wang and Bo Cheng and Xiaodan Liang and Dawei Leng and Yuhui Yin},\n        year={2024},\n        eprint={2408.08189},\n        archivePrefix={arXiv},\n        primaryClass={cs.CV},\n        url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2408.08189}, \n}\n```\n\n\n## 许可证\n本项目采用 [Apache License (Version 2.0)](https:\u002F\u002Fgithub.com\u002Fmodelscope\u002Fmodelscope\u002Fblob\u002Fmaster\u002FLICENSE) 许可协议。","# FancyVideo 快速上手指南\n\n## 环境准备\n\n### 系统要求\n- 操作系统：Linux 或 macOS（推荐使用 Ubuntu 20.04 或更高版本）\n- 显卡：至少 24GB 显存的 GPU（如 NVIDIA 3090）\n- CUDA 版本：12.1（建议使用官方驱动）\n\n### 前置依赖\n- Python 3.10\n- Conda（用于创建虚拟环境）\n- Git\n- Git LFS（用于下载大文件）\n\n---\n\n## 安装步骤\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002F360CVGroup\u002FFancyVideo.git\ncd FancyVideo\n\nconda create -n fancyvideo python=3.10\nconda activate fancyvideo\npip install -r requirements.txt\n```\n\n---\n\n## 基本使用\n\n### 准备模型\n\n```bash\n# 安装 Git LFS\ngit lfs install\n\n# 下载模型资源\ngit clone https:\u002F\u002Fhuggingface.co\u002Fqihoo360\u002FFancyVideo\nmv FancyVideo\u002Fresources\u002Fmodels resources\n\n# 下载 Stable Diffusion 1.5 模型\ngit clone https:\u002F\u002Fhuggingface.co\u002Frunwayml\u002Fstable-diffusion-v1-5 resources\u002Fmodels\n```\n\n### 生成视频示例\n\n#### 图像转视频（推荐使用 SDXL 生成初始帧）\n\n```bash\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Fi2v.yaml\n```\n\n#### 文本转视频（使用不同基础模型）\n\n```bash\n# 使用 pixars 基础模型\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Ft2v_pixars.yaml\n\n# 使用 realcartoon3d 基础模型\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Ft2v_realcartoon3d.yaml\n\n# 使用 toonyou 基础模型\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Ft2v_toonyou.yaml\n```\n\n#### 使用 125 帧模型生成视频\n\n```bash\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Fi2v_125_frames.yaml\n```\n\n#### 视频扩展（61 帧 → 125 帧）\n\n```bash\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Fvideo_extending.yaml\n```\n\n#### 视频回溯（125 帧 → 61 帧）\n\n```bash\nCUDA_VISIBLE_DEVICES=0 PYTHONPATH=.\u002F python scripts\u002Fdemo.py --config configs\u002Finference\u002Fvideo_backtracking.yaml\n```","一位短视频内容创作者正在为一个品牌制作系列广告视频，需要根据文字描述生成一系列动态视频内容，以展示产品在不同场景下的使用效果。\n\n### 没有 FancyVideo 时  \n- 需要手动拍摄或寻找大量素材，耗时耗力且成本高  \n- 无法快速根据文字描述生成符合要求的视频内容，创意实现效率低  \n- 视频风格不一致，难以保持品牌统一性  \n- 缺乏对长视频的控制能力，无法进行扩展或回溯调整  \n\n### 使用 FancyVideo 后  \n- 可直接通过文字描述生成高质量视频，大幅提升创作效率  \n- 支持跨帧文本引导，确保视频内容与描述高度一致  \n- 提供视频扩展和回溯功能，灵活调整视频长度与结构  \n- 保持视频风格统一，增强品牌视觉一致性  \n\nFancyVideo 有效解决了从创意到落地的视频生成难题，显著提升了内容创作的效率与质量。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002F360CVGroup_FancyVideo_017c065e.png","360CVGroup","360 AI Research","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002F360CVGroup_5478fc26.png","360人工智能研究院",null,"https:\u002F\u002Fresearch.360.cn","https:\u002F\u002Fgithub.com\u002F360CVGroup",[83],{"name":84,"color":85,"percentage":86},"Python","#3572A5",100,920,52,"2026-02-25T16:53:28","Linux, macOS, Windows","需要 NVIDIA GPU，显存 24GB+，CUDA 12.1","未说明",{"notes":94,"python":95,"dependencies":96},"建议使用 conda 管理环境，首次运行需下载约 5GB 模型文件","3.10",[97,98,99,100,101,102,103,104,105,106],"torch","transformers","accelerate","diffusers","omegaconf","pyyaml","numpy","pillow","scikit-image","tqdm",[14,35],[109,110,111],"image-to-video","text-to-video","video-generation",5,"2026-03-27T02:49:30.150509","2026-04-06T08:08:40.274114",[116,121,126,131,136,141],{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},5419,"如何解决 'No module named 'diffusers.modeling_utils' 的错误？","请使用 Python 3.10 或通过 conda 创建 3.10 环境。具体步骤如下：\n```\ngit clone https:\u002F\u002Fgithub.com\u002F360CVGroup\u002FFancyVideo.git\ncd FancyVideo\nconda create -n fancyvideo python=3.10 conda\nactivate fancyvideo\npip install -r requirements.txt\n```\n或使用虚拟环境：\n```\ngit clone https:\u002F\u002Fgithub.com\u002F360CVGroup\u002FFancyVideo.git\ncd FancyVideo\nc:\\users\\ben\\appdata\\local\\programs\\python\\python310\\python.exe -m venv myenv\nmyenv\\Scripts\\activate\n```\n（请将 'ben' 替换为您的用户名）","https:\u002F\u002Fgithub.com\u002F360CVGroup\u002FFancyVideo\u002Fissues\u002F22",{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},5420,"是否可以将 base model 替换为任意基于 UNet 的模型？","目前该模型仅支持 SD 1.5 版本，不确定是否兼容其他版本如 XL 或 Kolors。如果无法替换，请关注是否有开放训练代码的计划。","https:\u002F\u002Fgithub.com\u002F360CVGroup\u002FFancyVideo\u002Fissues\u002F15",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},5421,"如何减少 VRAM 使用量以避免 OOM 错误？","可以尝试使用 FP16 模型来降低显存占用。但需注意，直接修改代码加载 FP16 模型时可能会遇到文件缺失的问题。例如，尝试以下代码：\n```\nvae_2d = AutoencoderKL.from_pretrained(pretrained_model_path, subfolder=\"vae\", torch_dtype=torch.float16)\n```\n如果仍然报错，可能是模型文件未正确下载或路径不正确。","https:\u002F\u002Fgithub.com\u002F360CVGroup\u002FFancyVideo\u002Fissues\u002F26",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},5422,"如何解决 'ModuleNotFoundError: No module named 'fancyvideo' 的错误？","可以通过将 pipelines 目录移动到 demo.py 所在目录来解决此问题。","https:\u002F\u002Fgithub.com\u002F360CVGroup\u002FFancyVideo\u002Fissues\u002F3",{"id":137,"question_zh":138,"answer_zh":139,"source_url":140},5423,"如何将模型上传到 Hugging Face？","可以按照以下步骤操作：\n1. 将模型上传至 Hugging Face。\n2. 在模型卡片中添加标签 \"pipeline_tag: text-to-video\"。\n3. 使用 [hf_hub_download](https:\u002F\u002Fhuggingface.co\u002Fdocs\u002Fhuggingface_hub\u002Fv0.24.5\u002Fen\u002Fguides\u002Fdownload#download-a-single-file) 方法下载模型。\n示例模型地址：https:\u002F\u002Fhuggingface.co\u002Fqihoo360\u002FFancyVideo","https:\u002F\u002Fgithub.com\u002F360CVGroup\u002FFancyVideo\u002Fissues\u002F4",{"id":142,"question_zh":143,"answer_zh":144,"source_url":120},5424,"如何在 ComfyUI 中使用 FancyVideo？","确保使用 Python 3.10 或通过 conda 创建 3.10 环境，并安装依赖项。具体命令如下：\n```\ngit clone https:\u002F\u002Fgithub.com\u002F360CVGroup\u002FFancyVideo.git\ncd FancyVideo\nconda create -n fancyvideo python=3.10 conda\nactivate fancyvideo\npip install -r requirements.txt\n```\n或使用虚拟环境：\n```\ngit clone https:\u002F\u002Fgithub.com\u002F360CVGroup\u002FFancyVideo.git\ncd FancyVideo\nc:\\users\\ben\\appdata\\local\\programs\\python\\python310\\python.exe -m venv myenv\nmyenv\\Scripts\\activate\n```\n（请将 'ben' 替换为您的用户名）",[]]