[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ali-vilab--videocomposer":3,"tool-ali-vilab--videocomposer":64},[4,17,26,40,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,2,"2026-04-03T11:11:01",[13,14,15],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":23,"last_commit_at":32,"category_tags":33,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,34,35,36,15,37,38,13,39],"数据工具","视频","插件","其他","语言模型","音频",{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":10,"last_commit_at":46,"category_tags":47,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,38,37],{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":10,"last_commit_at":54,"category_tags":55,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[38,14,13,37],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":23,"last_commit_at":62,"category_tags":63,"status":16},2471,"tesseract","tesseract-ocr\u002Ftesseract","Tesseract 是一款历史悠久且备受推崇的开源光学字符识别（OCR）引擎，最初由惠普实验室开发，后由 Google 维护，目前由全球社区共同贡献。它的核心功能是将图片中的文字转化为可编辑、可搜索的文本数据，有效解决了从扫描件、照片或 PDF 文档中提取文字信息的难题，是数字化归档和信息自动化的重要基础工具。\n\n在技术层面，Tesseract 展现了强大的适应能力。从版本 4 开始，它引入了基于长短期记忆网络（LSTM）的神经网络 OCR 引擎，显著提升了行识别的准确率；同时，为了兼顾旧有需求，它依然支持传统的字符模式识别引擎。Tesseract 原生支持 UTF-8 编码，开箱即用即可识别超过 100 种语言，并兼容 PNG、JPEG、TIFF 等多种常见图像格式。输出方面，它灵活支持纯文本、hOCR、PDF、TSV 等多种格式，方便后续数据处理。\n\nTesseract 主要面向开发者、研究人员以及需要构建文档处理流程的企业用户。由于它本身是一个命令行工具和库（libtesseract），不包含图形用户界面（GUI），因此最适合具备一定编程能力的技术人员集成到自动化脚本或应用程序中",73286,"2026-04-03T01:56:45",[13,14],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":76,"owner_company":78,"owner_location":78,"owner_email":78,"owner_twitter":78,"owner_website":78,"owner_url":79,"languages":80,"stars":89,"forks":90,"last_commit_at":91,"license":92,"difficulty_score":93,"env_os":94,"env_gpu":95,"env_ram":94,"env_deps":96,"category_tags":110,"github_topics":111,"view_count":10,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":115,"updated_at":116,"faqs":117,"releases":148},1125,"ali-vilab\u002Fvideocomposer","videocomposer","Official repo for VideoComposer: Compositional Video Synthesis with Motion Controllability","VideoComposer是一款专注于视频生成与编辑的开源工具，基于扩散模型技术打造，能通过文本描述、草图序列、参考视频等多种输入方式，灵活控制视频中物体的运动轨迹与场景变化。它解决了传统视频生成工具在时空连贯性与细节控制上的不足，特别适合需要精细调整画面元素运动规律的场景，例如让月亮在夜空中移动时保持水面倒影的自然波动。\n\n这款工具主要面向开发者、研究人员和创意设计师，尤其适合需要将抽象构思转化为具象视频内容的创作者。通过集成Motion Vector Extraction等技术模块，它实现了对复杂运动模式的精准捕捉与迁移，同时支持与Stable Diffusion等主流模型的权重兼容，降低了二次开发门槛。\n\n技术层面，VideoComposer采用分层架构设计，既能处理单帧图像到视频的转换，也可实现跨视频的动作迁移。最新版本已开放无水印模型权重，并提供网页端交互界面，普通用户也能通过预设参数快速生成高质量视频。对于专业用户，其代码架构清晰，依赖项明确，便于根据具体需求调整模型训练策略或扩展功能模块。","# VideoComposer\n\nOfficial repo for [VideoComposer: Compositional Video Synthesis with Motion Controllability](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.02018.pdf)\n\nPlease see [Project Page](https:\u002F\u002Fvideocomposer.github.io\u002F) for more examples.\n\nWe are searching for talented, motivated, and imaginative researchers to join our team. If you are interested, please don't hesitate to send us your resume via email yingya.zyy@alibaba-inc.com\n\n![figure1](source\u002Ffig01.jpg \"figure1\")\n\n\nVideoComposer is a controllable video diffusion model, which allows users to flexibly control the spatial and temporal patterns simultaneously within a synthesized video in various forms, such as text description, sketch sequence, reference video, or even simply handcrafted motions and handrawings.\n\n\n## 🔥News!!!\n\n- __[2023.10]__ We release a high-quality I2VGen-XL model, please refer to the [Webpage](https:\u002F\u002Fi2vgen-xl.github.io)\n- __[2023.08]__ We release the Gradio UI on [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fdamo\u002FVideoComposer-Demo\u002Fsummary)\n- __[2023.07]__ We release the pretrained model without watermark, please refer to the [ModelCard](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fdamo\u002FVideoComposer\u002Ffiles)\n\n\n\n## TODO\n- [x] Release our technical papers and webpage.\n- [x] Release code and pretrained model.\n- [x] Release Gradio UI on [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fdamo\u002FVideoComposer-Demo\u002Fsummary) and Hugging Face.\n- [x] Release pretrained model that can generate 8s videos without watermark on [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fdamo\u002FVideoComposer\u002Ffiles)\n\n\n## Method\n\n![method](source\u002Ffig02_framwork.jpg \"method\")\n\n\n## Running by Yourself\n\n### 1. Installation \n\nRequirements:\n- Python==3.8\n- ffmpeg (for motion vector extraction)\n- torch==1.12.0+cu113\n- torchvision==0.13.0+cu113\n- open-clip-torch==2.0.2\n- transformers==4.18.0\n- flash-attn==0.2 \n- xformers==0.0.13\n- motion-vector-extractor==1.0.6 (for motion vector extraction)\n\nYou also can create the same environment as ours with the following command:\n```\nconda env create -f environment.yaml\n```\n\n### 2. Download model weights\n\nDownload all the [model weights](https:\u002F\u002Fwww.modelscope.cn\u002Fmodels\u002Fdamo\u002FVideoComposer\u002Fsummary) via the following command:\n\n```\n!pip install modelscope\nfrom modelscope.hub.snapshot_download import snapshot_download\nmodel_dir = snapshot_download('damo\u002FVideoComposer', cache_dir='model_weights\u002F', revision='v1.0.0')\n```\n\nNext, place these models in the `model_weights` folder following the file structure shown below.\n\n\n```\n|--model_weights\u002F\n|    |--non_ema_228000.pth\n|    |--midas_v3_dpt_large.pth \n|    |--open_clip_pytorch_model.bin\n|    |--sketch_simplification_gan.pth\n|    |--table5_pidinet.pth\n|    |--v2-1_512-ema-pruned.ckpt\n```\n\nYou can also download some of them from their original project: \n- \"midas_v3_dpt_large.pth\" in [MiDaS](https:\u002F\u002Fgithub.com\u002Fisl-org\u002FMiDaS)\n- \"open_clip_pytorch_model.bin\" in [Open Clip](https:\u002F\u002Fgithub.com\u002Fmlfoundations\u002Fopen_clip) \n- \"sketch_simplification_gan.pth\" and \"table5_pidinet.pth\" in [Pidinet](https:\u002F\u002Fgithub.com\u002Fzhuoinoulu\u002Fpidinet)\n- \"v2-1_512-ema-pruned.ckpt\" in [Stable Diffusion](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-diffusion-2-1-base\u002Fblob\u002Fmain\u002Fv2-1_512-ema-pruned.ckpt).\n\nFor convenience, we provide a download link in this repo.\n\n\n### 3. Running\n\nIn this project, we provide two implementations that can help you better understand our method.\n\n\n#### 3.1 Inference with Customized Inputs\n\nYou can run the code with the following command:\n\n```\npython run_net.py\\\n    --cfg configs\u002Fexp02_motion_transfer.yaml\\\n    --seed 9999\\\n    --input_video \"demo_video\u002Fmotion_transfer.mp4\"\\\n    --image_path \"demo_video\u002Fmoon_on_water.jpg\"\\\n    --input_text_desc \"A beautiful big moon on the water at night\"\n```\nThe results are saved in the `outputs\u002Fexp02_motion_transfer-S09999` folder:\n\n![case1](source\u002Fresults\u002Fexp02_motion_transfer-S00009.gif \"case2\")\n![case2](source\u002Fresults\u002Fexp02_motion_transfer-S09999.gif \"case2\")\n\n\nIn some cases, if you notice a significant change in color difference, you can use the style condition to adjust the color distribution with the following command. This can be helpful in certain cases.\n\n\n```\npython run_net.py\\\n    --cfg configs\u002Fexp02_motion_transfer_vs_style.yaml\\\n    --seed 9999\\\n    --input_video \"demo_video\u002Fmotion_transfer.mp4\"\\\n    --image_path \"demo_video\u002Fmoon_on_water.jpg\"\\\n    --style_image \"demo_video\u002Fmoon_on_water.jpg\"\\\n    --input_text_desc \"A beautiful big moon on the water at night\"\n```\n\n\n```\npython run_net.py\\\n    --cfg configs\u002Fexp03_sketch2video_style.yaml\\\n    --seed 8888\\\n    --sketch_path \"demo_video\u002Fsrc_single_sketch.png\"\\\n    --style_image \"demo_video\u002Fstyle\u002Fqibaishi_01.png\"\\\n    --input_text_desc \"Red-backed Shrike lanius collurio\"\n```\n![case2](source\u002Fresults\u002Fexp03_sketch2video_style-S09999.gif \"case2\")\n\n\n\n```\npython run_net.py\\\n    --cfg configs\u002Fexp04_sketch2video_wo_style.yaml\\\n    --seed 144\\\n    --sketch_path \"demo_video\u002Fsrc_single_sketch.png\"\\\n    --input_text_desc \"A Red-backed Shrike lanius collurio is on the branch\"\n```\n![case2](source\u002Fresults\u002Fexp04_sketch2video_wo_style-S00144.gif \"case2\")\n![case2](source\u002Fresults\u002Fexp04_sketch2video_wo_style-S00144-1.gif \"case2\")\n\n\n\n```\npython run_net.py\\\n    --cfg configs\u002Fexp05_text_depths_wo_style.yaml\\\n    --seed 9999\\\n    --input_video demo_video\u002Fvideo_8800.mp4\\\n    --input_text_desc \"A glittering and translucent fish swimming in a small glass bowl with multicolored piece of stone, like a glass fish\"\n```\n![case2](source\u002Fresults\u002Fexp05_text_depths_wo_style-S09999-0.gif \"case2\")\n![case2](source\u002Fresults\u002Fexp05_text_depths_wo_style-S09999-2.gif \"case2\")\n\n```\npython run_net.py\\\n    --cfg configs\u002Fexp06_text_depths_vs_style.yaml\\\n    --seed 9999\\\n    --input_video demo_video\u002Fvideo_8800.mp4\\\n    --style_image \"demo_video\u002Fstyle\u002Fqibaishi_01.png\"\\\n    --input_text_desc \"A glittering and translucent fish swimming in a small glass bowl with multicolored piece of stone, like a glass fish\"\n```\n\n![case2](source\u002Fresults\u002Fexp06_text_depths_vs_style-S09999-0.gif \"case2\")\n![case2](source\u002Fresults\u002Fexp06_text_depths_vs_style-S09999-1.gif \"case2\")\n\n\n#### 3.2 Inference on a Video\n\nYou can just run the code with the following command:\n```\npython run_net.py \\\n    --cfg configs\u002Fexp01_vidcomposer_full.yaml \\\n    --input_video \"demo_video\u002Fblackswan.mp4\" \\\n    --input_text_desc \"A black swan swam in the water\" \\\n    --seed 9999\n```\n\nThis command will extract the different conditions, e.g., depth, sketch, and motion vectors, of the input video for the following video generation, which are saved in the `outputs` folder. The task list are predefined in \u003Cfont style=\"color: rgb(128,128,255)\">inference_multi.py\u003C\u002Ffont>. \n\n\n\nIn addition to the above use cases, you can explore further possibilities with this code and model. Please note that due to the diversity of generated samples by the diffusion model, you can explore different seeds to generate better results. \n\nWe hope you enjoy using it! 😀 \n\n\n\n## BibTeX\n\nIf this repo is useful to you, please cite our technical paper.\n```bibtex\n@article{2023videocomposer,\n  title={VideoComposer: Compositional Video Synthesis with Motion Controllability},\n  author={Wang, Xiang* and Yuan, Hangjie* and Zhang, Shiwei* and Chen, Dayou* and Wang, Jiuniu, and Zhang, Yingya, and Shen, Yujun, and Zhao, Deli and Zhou, Jingren},\n  booktitle={arXiv preprint arXiv:2306.02018},\n  year={2023}\n}\n```\n\n\n## Acknowledgement\n\nWe would like to express our gratitude for the contributions of several previous works to the development of VideoComposer. This includes, but is not limited to [Composer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.09778), [ModelScopeT2V](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fdamo\u002Ftext-to-video-synthesis\u002Fsummary), [Stable Diffusion](https:\u002F\u002Fgithub.com\u002FStability-AI\u002Fstablediffusion), [OpenCLIP](https:\u002F\u002Fgithub.com\u002Fmlfoundations\u002Fopen_clip), [WebVid-10M](https:\u002F\u002Fm-bain.github.io\u002Fwebvid-dataset\u002F), [LAION-400M](https:\u002F\u002Flaion.ai\u002Fblog\u002Flaion-400-open-dataset\u002F), [Pidinet](https:\u002F\u002Fgithub.com\u002Fzhuoinoulu\u002Fpidinet) and [MiDaS](https:\u002F\u002Fgithub.com\u002Fisl-org\u002FMiDaS). We are committed to building upon these foundations in a way that respects their original contributions.\n\n\n## Disclaimer\n\nThis open-source model is trained on the [WebVid-10M](https:\u002F\u002Fm-bain.github.io\u002Fwebvid-dataset\u002F) and [LAION-400M](https:\u002F\u002Flaion.ai\u002Fblog\u002Flaion-400-open-dataset\u002F) datasets and is intended for \u003Cstrong>RESEARCH\u002FNON-COMMERCIAL USE ONLY\u003C\u002Fstrong>. We have also trained more powerful models using internal video data, which can be used in the future.\n","# VideoComposer\n\n[VideoComposer：具有运动可控性的组合式视频合成](https:\u002F\u002Farxiv.org\u002Fpdf\u002F2306.02018.pdf) 的官方仓库\n\n更多示例请参见 [项目页面](https:\u002F\u002Fvideocomposer.github.io\u002F)。\n\n我们正在寻找才华横溢、积极进取且富有想象力的研究人员加入我们的团队。如果您感兴趣，请随时通过电子邮件 yingya.zyy@alibaba-inc.com 向我们发送您的简历。\n\n![figure1](source\u002Ffig01.jpg \"figure1\")\n\n\nVideoComposer 是一种可控制的视频扩散模型，它允许用户以多种形式（如文本描述、草图序列、参考视频，甚至简单的手工动作和手绘）同时灵活地控制合成视频中的空间和时间模式。\n\n\n## 🔥新闻!!!\n\n- __[2023.10]__ 我们发布了高质量的 I2VGen-XL 模型，请参阅 [网页](https:\u002F\u002Fi2vgen-xl.github.io)\n- __[2023.08]__ 我们在 [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fdamo\u002FVideoComposer-Demo\u002Fsummary) 上发布了 Gradio UI\n- __[2023.07]__ 我们发布了无水印的预训练模型，请参阅 [ModelCard](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fdamo\u002FVideoComposer\u002Ffiles)\n\n\n\n## 待办事项\n- [x] 发布我们的技术论文和网页。\n- [x] 发布代码和预训练模型。\n- [x] 在 [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fstudios\u002Fdamo\u002FVideoComposer-Demo\u002Fsummary) 和 Hugging Face 上发布 Gradio UI。\n- [x] 在 [ModelScope](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fdamo\u002FVideoComposer\u002Ffiles) 上发布可生成 8 秒无水印视频的预训练模型。\n\n\n## 方法\n\n![method](source\u002Ffig02_framwork.jpg \"method\")\n\n\n## 自行运行\n\n### 1. 安装 \n\n要求：\n- Python==3.8\n- ffmpeg（用于提取运动向量）\n- torch==1.12.0+cu113\n- torchvision==0.13.0+cu113\n- open-clip-torch==2.0.2\n- transformers==4.18.0\n- flash-attn==0.2 \n- xformers==0.0.13\n- motion-vector-extractor==1.0.6（用于运动向量提取）\n\n您也可以使用以下命令创建与我们相同的环境：\n```\nconda env create -f environment.yaml\n```\n\n### 2. 下载模型权重\n\n通过以下命令下载所有 [模型权重](https:\u002F\u002Fwww.modelscope.cn\u002Fmodels\u002Fdamo\u002FVideoComposer\u002Fsummary)：\n\n```\n!pip install modelscope\nfrom modelscope.hub.snapshot_download import snapshot_download\nmodel_dir = snapshot_download('damo\u002FVideoComposer', cache_dir='model_weights\u002F', revision='v1.0.0')\n```\n\n接下来，请按照下面显示的文件结构将这些模型放置在 `model_weights` 文件夹中。\n\n\n```\n|--model_weights\u002F\n|    |--non_ema_228000.pth\n|    |--midas_v3_dpt_large.pth \n|    |--open_clip_pytorch_model.bin\n|    |--sketch_simplification_gan.pth\n|    |--table5_pidinet.pth\n|    |--v2-1_512-ema-pruned.ckpt\n```\n\n您也可以从它们的原始项目中下载其中一些：\n- “midas_v3_dpt_large.pth” 来自 [MiDaS](https:\u002F\u002Fgithub.com\u002Fisl-org\u002FMiDaS)\n- “open_clip_pytorch_model.bin” 来自 [Open Clip](https:\u002F\u002Fgithub.com\u002Fmlfoundations\u002Fopen_clip) \n- “sketch_simplification_gan.pth” 和 “table5_pidinet.pth” 来自 [Pidinet](https:\u002F\u002Fgithub.com\u002Fzhuoinoulu\u002Fpidinet)\n- “v2-1_512-ema-pruned.ckpt” 来自 [Stable Diffusion](https:\u002F\u002Fhuggingface.co\u002Fstabilityai\u002Fstable-diffusion-2-1-base\u002Fblob\u002Fmain\u002Fv2-1_512-ema-pruned.ckpt)。\n\n为了方便起见，我们在本仓库中提供了下载链接。\n\n\n### 3. 运行\n\n在这个项目中，我们提供了两种实现方式，可以帮助您更好地理解我们的方法。\n\n\n#### 3.1 使用自定义输入进行推理\n\n您可以使用以下命令运行代码：\n\n```\npython run_net.py\\\n    --cfg configs\u002Fexp02_motion_transfer.yaml\\\n    --seed 9999\\\n    --input_video \"demo_video\u002Fmotion_transfer.mp4\"\\\n    --image_path \"demo_video\u002Fmoon_on_water.jpg\"\\\n    --input_text_desc \"夜晚水面上的一轮美丽的明月\"\n```\n结果保存在 `outputs\u002Fexp02_motion_transfer-S09999` 文件夹中：\n\n![case1](source\u002Fresults\u002Fexp02_motion_transfer-S00009.gif \"case2\")\n![case2](source\u002Fresults\u002Fexp02_motion_transfer-S09999.gif \"case2\")\n\n\n在某些情况下，如果您注意到颜色差异显著变化，可以使用风格条件来调整颜色分布，如下所示。这在某些情况下可能会有所帮助。\n\n\n```\npython run_net.py\\\n    --cfg configs\u002Fexp02_motion_transfer_vs_style.yaml\\\n    --seed 9999\\\n    --input_video \"demo_video\u002Fmotion_transfer.mp4\"\\\n    --image_path \"demo_video\u002Fmoon_on_water.jpg\"\\\n    --style_image \"demo_video\u002Fmoon_on_water.jpg\"\\\n    --input_text_desc \"夜晚水面上的一轮美丽的明月\"\n```\n\n\n```\npython run_net.py\\\n    --cfg configs\u002Fexp03_sketch2video_style.yaml\\\n    --seed 8888\\\n    --sketch_path \"demo_video\u002Fsrc_single_sketch.png\"\\\n    --style_image \"demo_video\u002Fstyle\u002Fqibaishi_01.png\"\\\n    --input_text_desc \"红背伯劳鸟 lanius collurio\"\n```\n![case2](source\u002Fresults\u002Fexp03_sketch2video_style-S09999.gif \"case2\")\n\n\n\n```\npython run_net.py\\\n    --cfg configs\u002Fexp04_sketch2video_wo_style.yaml\\\n    --seed 144\\\n    --sketch_path \"demo_video\u002Fsrc_single_sketch.png\"\\\n    --input_text_desc \"一只红背伯劳鸟 lanius collurio 正栖息在树枝上\"\n```\n![case2](source\u002Fresults\u002Fexp04_sketch2video_wo_style-S00144.gif \"case2\")\n![case2](source\u002Fresults\u002Fexp04_sketch2video_wo_style-S00144-1.gif \"case2\")\n\n\n\n```\npython run_net.py\\\n    --cfg configs\u002Fexp05_text_depths_wo_style.yaml\\\n    --seed 9999\\\n    --input_video demo_video\u002Fvideo_8800.mp4\\\n    --input_text_desc \"一条闪闪发光、晶莹剔透的小鱼，在一个装有五彩石子的小玻璃碗里游动，宛如一只玻璃鱼\"\n```\n![case2](source\u002Fresults\u002Fexp05_text_depths_wo_style-S09999-0.gif \"case2\")\n![case2](source\u002Fresults\u002Fexp05_text_depths_wo_style-S09999-2.gif \"case2\")\n\n```\npython run_net.py\\\n    --cfg configs\u002Fexp06_text_depths_vs_style.yaml\\\n    --seed 9999\\\n    --input_video demo_video\u002Fvideo_8800.mp4\\\n    --style_image \"demo_video\u002Fstyle\u002Fqibaishi_01.png\"\\\n    --input_text_desc \"一条闪闪发光、晶莹剔透的小鱼，在一个装有五彩石子的小玻璃碗里游动，宛如一只玻璃鱼\"\n```\n\n![case2](source\u002Fresults\u002Fexp06_text_depths_vs_style-S09999-0.gif \"case2\")\n![case2](source\u002Fresults\u002Fexp06_text_depths_vs_style-S09999-1.gif \"case2\")\n\n\n#### 3.2 对视频进行推理\n\n您只需使用以下命令运行代码：\n```\npython run_net.py \\\n    --cfg configs\u002Fexp01_vidcomposer_full.yaml \\\n    --input_video \"demo_video\u002Fblackswan.mp4\" \\\n    --input_text_desc \"一只黑天鹅在水中游动\" \\\n    --seed 9999\n```\n\n此命令将提取输入视频的不同条件，例如深度、草图和运动向量，用于后续的视频生成，并将结果保存在 `outputs` 文件夹中。任务列表已在 \u003Cfont style=\"color: rgb(128,128,255)\">inference_multi.py\u003C\u002Ffont> 中预先定义。 \n\n\n\n除了上述用例之外，您还可以利用这段代码和模型探索更多的可能性。请注意，由于扩散模型生成样本的多样性，您可以尝试不同的种子以获得更好的结果。 \n\n我们希望您能喜欢使用它！ 😀\n\n## BibTeX\n\n如果本仓库对您有所帮助，请引用我们的技术论文。\n```bibtex\n@article{2023videocomposer,\n  title={VideoComposer: 具有运动可控性的组合式视频合成},\n  author={Wang, Xiang* 和 Yuan, Hangjie* 和 Zhang, Shiwei* 和 Chen, Dayou* 和 Wang, Jiuniu, 和 Zhang, Yingya, 和 Shen, Yujun, 和 Zhao, Deli 和 Zhou, Jingren},\n  booktitle={arXiv 预印本 arXiv:2306.02018},\n  year={2023}\n}\n```\n\n\n## 致谢\n\n我们衷心感谢多项先前工作对 VideoComposer 发展所作出的贡献。这其中包括但不限于 [Composer](https:\u002F\u002Farxiv.org\u002Fabs\u002F2302.09778)、[ModelScopeT2V](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002Fdamo\u002Ftext-to-video-synthesis\u002Fsummary)、[Stable Diffusion](https:\u002F\u002Fgithub.com\u002FStability-AI\u002Fstablediffusion)、[OpenCLIP](https:\u002F\u002Fgithub.com\u002Fmlfoundations\u002Fopen_clip)、[WebVid-10M](https:\u002F\u002Fm-bain.github.io\u002Fwebvid-dataset\u002F)、[LAION-400M](https:\u002F\u002Flaion.ai\u002Fblog\u002Flaion-400-open-dataset\u002F)、[Pidinet](https:\u002F\u002Fgithub.com\u002Fzhuoinoulu\u002Fpidinet) 以及 [MiDaS](https:\u002F\u002Fgithub.com\u002Fisl-org\u002FMiDaS)。我们致力于在尊重这些工作原始贡献的基础上继续推进研究。\n\n\n## 免责声明\n\n本开源模型基于 [WebVid-10M](https:\u002F\u002Fm-bain.github.io\u002Fwebvid-dataset\u002F) 和 [LAION-400M](https:\u002F\u002Flaion.ai\u002Fblog\u002Flaion-400-open-dataset\u002F) 数据集训练而成，仅适用于\u003Cstrong>科研\u002F非商业用途\u003C\u002Fstrong>。此外，我们还使用内部视频数据训练了功能更强大的模型，未来可供使用。","```markdown\n# VideoComposer 快速上手指南\n\n## 环境准备\n### 系统要求\n- Python 3.8\n- CUDA 11.3\n- ffmpeg（用于运动向量提取）\n- 至少24G显存（建议使用A100\u002FH100显卡）\n\n### 前置依赖\n推荐使用国内镜像加速安装：\n```bash\n# 配置国内镜像源（可选）\npip config set global.index-url https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 安装步骤\n### 1. 创建conda环境\n```bash\nconda env create -f environment.yaml\n```\n\n### 2. 下载模型权重（推荐方式）\n```bash\npip install modelscope\nfrom modelscope.hub.snapshot_download import snapshot_download\nmodel_dir = snapshot_download('damo\u002FVideoComposer', cache_dir='model_weights\u002F', revision='v1.0.0')\n```\n\n### 3. 验证模型目录结构\n确保模型文件按以下结构存放：\n```\nmodel_weights\u002F\n├── non_ema_228000.pth\n├── midas_v3_dpt_large.pth \n├── open_clip_pytorch_model.bin\n├── sketch_simplification_gan.pth\n├── table5_pidinet.pth\n└── v2-1_512-ema-pruned.ckpt\n```\n\n## 基本使用\n### 视频生成示例（最简版）\n```bash\npython run_net.py \\\n    --cfg configs\u002Fexp01_vidcomposer_full.yaml \\\n    --input_video \"demo_video\u002Fblackswan.mp4\" \\\n    --input_text_desc \"A black swan swam in the water\" \\\n    --seed 9999\n```\n\n### 输出说明\n生成结果保存在 `outputs` 文件夹，包含：\n- 输入视频提取的深度图\u002F草图\u002F运动向量等中间条件\n- 最终合成视频文件\n\n> 提示：修改 `--seed` 参数可生成不同风格结果，推荐尝试多个随机种子（如8888\u002F144等）\n```\n\n注：本指南精简了原始文档中的多条件控制示例，仅保留最核心的视频生成流程。完整功能请参考官方文档的多条件组合用法。","某教育机构动画设计师需要制作一段讲解行星运动的科普视频，要求包含地球绕太阳公转、自转轴倾斜等复杂动态演示。\n\n### 没有 videocomposer 时\n- 需要逐帧绘制天体运动轨迹，单个旋转动画制作耗时3小时以上\n- 调整行星轨道倾斜角度时，必须手动重绘200+关键帧才能保证运动连贯\n- 为展示昼夜交替效果，需要分别制作光照层和地形层，合成后常出现穿帮\n- 使用传统软件导出4K分辨率视频需要渲染整晚，占用大量计算资源\n- 非专业天文知识背景的设计师难以准确还原天体运动物理规律\n\n### 使用 videocomposer 后\n- 通过输入\"地球绕太阳椭圆轨道运动，自转轴23.5度倾斜\"文本描述，10分钟生成基础动画框架\n- 用简笔画标注关键帧草图后，系统自动补全中间帧的运动轨迹和角度变化\n- 同时导入NASA参考视频和手绘光照示意图，智能融合生成昼夜交替效果\n- 支持直接导出8秒高质量视频片段，渲染时间缩短至传统方式的1\u002F12\n- 内置物理引擎自动计算天体运动参数，确保科学准确性\n\nVideoComposer通过多模态控制和智能补帧技术，将复杂的天体运动可视化制作效率提升10倍以上，使非专业团队也能产出高精度科学动画。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fali-vilab_videocomposer_8c3c8b45.png","ali-vilab","Alibaba TongYi Vision Intelligence Lab","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fali-vilab_c2d93ee0.png",null,"https:\u002F\u002Fgithub.com\u002Fali-vilab",[81,85],{"name":82,"color":83,"percentage":84},"Python","#3572A5",99.5,{"name":86,"color":87,"percentage":88},"Shell","#89e051",0.5,955,86,"2026-03-26T08:59:15","MIT",4,"未说明","需要 NVIDIA GPU，显存 8GB+，CUDA 11.3+",{"notes":97,"python":98,"dependencies":99},"建议使用 conda 管理环境，首次运行需下载约 5GB 模型文件，需安装 ffmpeg 支持运动向量提取","3.8",[100,101,102,103,104,105,106,107,108,109],"torch==1.12.0+cu113","torchvision==0.13.0+cu113","open-clip-torch==2.0.2","transformers==4.18.0","flash-attn==0.2","xformers==0.0.13","motion-vector-extractor==1.0.6","ffmpeg","diffusers","accelerate",[35,14],[112,113,114],"diffusion-models","video-generation","video-synthesiswith","2026-03-27T02:49:30.150509","2026-04-06T05:37:53.126617",[118,123,128,133,138,143],{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},5076,"运行代码时出现张量设备不匹配错误如何解决？","修改代码中的张量设备到同一设备，具体修改为 `return tensor.to(x)[t].view(shape)`。同时检查 torch 版本是否为 `1.12.0+cu113`，并确认 `torch.cuda.is_available()` 返回 True，最后检查张量 `t` 和 `x` 的设备是否一致。","https:\u002F\u002Fgithub.com\u002Fali-vilab\u002Fvideocomposer\u002Fissues\u002F9",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},5077,"运行命令时提示条件提取失败如何解决？","错误可能是由于未安装 ffmpeg 导致的。请安装 ffmpeg 并尝试使用其他命令示例，例如：\n```\npython run_net.py \\\n    --cfg configs\u002Fexp05_text_depths_wo_style.yaml \\\n    --seed 9999 \\\n    --input_video demo_video\u002Fvideo_8800.mp4 \\\n    --input_text_desc \"A glittering and translucent fish swimming in a small glass bowl with multicolored piece of stone, like a glass fish\"\n```","https:\u002F\u002Fgithub.com\u002Fali-vilab\u002Fvideocomposer\u002Fissues\u002F38",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},5078,"出现 torch.multiprocessing SIGSEGV 段错误如何解决？","更新 torchvision 到特定版本，使用以下命令安装：\n```\npip install torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu117\n```","https:\u002F\u002Fgithub.com\u002Fali-vilab\u002Fvideocomposer\u002Fissues\u002F21",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},5079,"训练模型需要哪些计算资源？","建议使用至少 8\u002F16 块 A100-80G GPU 进行微调，训练时间根据具体任务可能需要一周或更久。目前尚未探索使用更小数据集的最小需求。","https:\u002F\u002Fgithub.com\u002Fali-vilab\u002Fvideocomposer\u002Fissues\u002F6",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},5080,"训练代码是否会开源？","目前官方暂无计划开放训练代码，但会继续优化代码并逐步完成开源。","https:\u002F\u002Fgithub.com\u002Fali-vilab\u002Fvideocomposer\u002Fissues\u002F3",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},5081,"代码开源是否会因内部审核延迟？","是的，目前仍在进行内部流程并优化代码，开源进度会尽快推进。","https:\u002F\u002Fgithub.com\u002Fali-vilab\u002Fvideocomposer\u002Fissues\u002F1",[]]