[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-Vchitect--SEINE":3,"tool-Vchitect--SEINE":64},[4,18,26,35,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,2,"2026-04-06T11:32:50",[14,15,13],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":10,"last_commit_at":41,"category_tags":42,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[43,15,13,14],"语言模型",{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":10,"last_commit_at":50,"category_tags":51,"status":17},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[14,15,13,52],"视频",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85013,"2026-04-06T11:09:19",[15,16,52,61,13,62,43,14,63],"插件","其他","音频",{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":75,"owner_avatar_url":76,"owner_bio":77,"owner_company":78,"owner_location":78,"owner_email":78,"owner_twitter":78,"owner_website":79,"owner_url":80,"languages":81,"stars":86,"forks":87,"last_commit_at":88,"license":89,"difficulty_score":10,"env_os":90,"env_gpu":91,"env_ram":90,"env_deps":92,"category_tags":99,"github_topics":100,"view_count":32,"oss_zip_url":78,"oss_zip_packed_at":78,"status":17,"created_at":105,"updated_at":106,"faqs":107,"releases":137},5248,"Vchitect\u002FSEINE","SEINE","[ICLR 2024] SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction","SEINE 是一款专为视频生成设计的开源扩散模型，核心能力在于将静态图片或简短片段转化为流畅的长视频。它主要解决了当前 AI 视频生成中常见的画面不连贯、动作生硬以及难以从单张图片预测后续动态等难题。通过独特的“短至长”（Short-to-Long）建模策略，SEINE 不仅能实现高质量的图生视频（I2V），让静止画面根据文字描述自然动起来，还能在两张给定的关键帧之间生成平滑自然的过渡动画，填补中间缺失的动作细节。\n\n该工具基于稳定的 Stable Diffusion v1.4 架构进行优化，是 Vchitect 视频生成系统的重要组成部分，并已在 ICLR 2024 会议上发表。其技术亮点在于能够理解时间维度上的复杂变化，从而生成更具逻辑性和连贯性的动态内容。\n\nSEINE 非常适合人工智能研究人员探索视频扩散模型的前沿技术，也适合开发者将其集成到多媒体应用或创意工作流中。对于影视后期设计师和数字艺术家而言，它是一个强大的辅助工具，能帮助快速制作动态分镜或补全视频片段。虽然目前主要通过代码命令行运行，需要一定的技术基础，但其开放的源码和详细的文档为社区二次开发提供了便利。","# SEINE\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2310.20700-b31b1b.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.20700)\n[![Project Page](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FSEINE-Website-green)](https:\u002F\u002Fvchitect.github.io\u002FSEINE-project\u002F)\n[![Replicate](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Flucataco\u002Fseine) \n[![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-yellow)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FVchitect\u002FSEINE)\n[![Hits](https:\u002F\u002Fhits.seeyoufarm.com\u002Fapi\u002Fcount\u002Fincr\u002Fbadge.svg?url=https%3A%2F%2Fgithub.com%2FVchitect%2FSEINE&count_bg=%23F59352&title_bg=%23555555&icon=&icon_color=%23E7E7E7&title=visitors&edge_flat=false)](https:\u002F\u002Fhits.seeyoufarm.com)\n\nThis repository is the official implementation of [SEINE](https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.20700):\n\n**[SEINE: Short-to-Long Video Diffusion Model for Generative Transition and Prediction (ICLR2024)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.20700)**\n\n**SEINE** is a video diffusion model and is part of the video generation system [Vchitect](http:\u002F\u002Fvchitect.intern-ai.org.cn\u002F). \nYou can also check our Text-to-Video (T2V) framework [LaVie](https:\u002F\u002Fgithub.com\u002FVchitect\u002FLaVie).\n\n\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_404413bd51ec.gif\" width=\"800\">\n\n\n##  Setup\n\n### Prepare Environment\n```\nconda create -n seine python==3.9.16\nconda activate seine\npip install -r requirement.txt\n```\n\n### Download our model and T2I base model\n\nOur model is based on Stable diffusion v1.4, you may download [Stable Diffusion v1-4](https:\u002F\u002Fhuggingface.co\u002FCompVis\u002Fstable-diffusion-v1-4) to the director of ``` pretrained ```\n.\nDownload our model checkpoint (from [google drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1cWfeDzKJhpb0m6HA5DoMOH0_ItuUY95b?usp=sharing) or [hugging face](https:\u002F\u002Fhuggingface.co\u002Fxinyuanc91\u002FSEINE\u002Ftree\u002Fmain)) and save to the directory of ```pretrained```\n\n\nNow under `.\u002Fpretrained`, you should be able to see the following:\n```\n├── pretrained\n│   ├── seine.pt\n│   ├── stable-diffusion-v1-4\n│   │   ├── ...\n└── └── ├── ...\n        ├── ...\n```\n## Usage\n### Inference for I2V \nRun the following command to get the I2V results:\n```python\npython sample_scripts\u002Fwith_mask_sample.py --config configs\u002Fsample_i2v.yaml\n```\nThe generated video will be saved in ```.\u002Fresults\u002Fi2v```.\n\n#### More Details\nYou may modify ```.\u002Fconfigs\u002Fsample_i2v.yaml``` to change the generation conditions.\nFor example:\n\n```ckpt``` is used to specify a model checkpoint.\n\n```text_prompt``` is used to describe the content of the video.\n\n```input_path``` is used to specify the path to the image.\n\n### Inference for Transition\n```python\npython sample_scripts\u002Fwith_mask_sample.py --config configs\u002Fsample_transition.yaml\n```\nThe generated video will be saved in ```.\u002Fresults\u002Ftransition```.\n\n\n\n\n## Results\n### I2V Results\n\u003Ctable class=\"center\">\n\u003Ctr>\n  \u003Ctd style=\"text-align:center;width: 50%\" colspan=\"1\">\u003Cb>Input Image\u003C\u002Fb>\u003C\u002Ftd>\n  \u003Ctd style=\"text-align:center;width: 50%\" colspan=\"1\">\u003Cb>Output Video\u003C\u002Fb>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_6332d2f7b3b5.png\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_f17b9c6e8f87.gif\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_402d74a032cf.png\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_325ebb276b0b.gif\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_52f8d501005d.png\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_560e6efba264.gif\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n\n### Transition Results\n\u003Ctable>\n\u003Ctr>\n  \u003Ctd style=\"text-align:center;width: 66%\" colspan=\"2\">\u003Cb>Input Images\u003C\u002Fb>\u003C\u002Ftd>\n  \u003Ctd style=\"text-align:center;width: 33%\" colspan=\"1\">\u003Cb>Output Video\u003C\u002Fb>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_2582cc77c7de.png\" >\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_c956074768a1.png\" >\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"examples\u002FTravel from Earth's spring blossoms to the alien cherry blossom forestssmooth transition, slow motion_0000_003.gif\" >\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_1d9330009502.png\" >\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_9f56d0ffb958.png\" >\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_f18648ad053e.gif\" >\u003C\u002Ftd>\n\u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n## BibTeX\n```bibtex\n@inproceedings{chen2023seine,\n  title={Seine: Short-to-long video diffusion model for generative transition and prediction},\n  author={Chen, Xinyuan and Wang, Yaohui and Zhang, Lingjun and Zhuang, Shaobin and Ma, Xin and Yu, Jiashuo and Wang, Yali and Lin, Dahua and Qiao, Yu and Liu, Ziwei},\n  booktitle={ICLR},\n  year={2023}\n}\n```\n\n```bibtex\n@article{wang2023lavie,\n  title={LAVIE: High-Quality Video Generation with Cascaded Latent Diffusion Models},\n  author={Wang, Yaohui and Chen, Xinyuan and Ma, Xin and Zhou, Shangchen and Huang, Ziqi and Wang, Yi and Yang, Ceyuan and He, Yinan and Yu, Jiashuo and Yang, Peiqing and others},\n  journal={IJCV},\n  year={2024}\n}\n```\n\n## Disclaimer\nWe disclaim responsibility for user-generated content. The model was not trained to realistically represent people or events, so using it to generate such content is beyond the model's capabilities. It is prohibited for pornographic, violent and bloody content generation, and to generate content that is demeaning or harmful to people or their environment, culture, religion, etc. Users are solely liable for their actions. The project contributors are not legally affiliated with, nor accountable for users' behaviors. Use the generative model responsibly, adhering to ethical and legal standards.\n\n## Contact Us\n**Xinyuan Chen**: [chenxinyuan@pjlab.org.cn](mailto:chenxinyuan@pjlab.org.cn)\n**Yaohui Wang**: [wangyaohui@pjlab.org.cn](mailto:wangyaohui@pjlab.org.cn)  \n\n## Acknowledgements\nThe code is built upon [LaVie](https:\u002F\u002Fgithub.com\u002FVchitect\u002FLaVie), [diffusers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdiffusers) and [Stable Diffusion](https:\u002F\u002Fgithub.com\u002FCompVis\u002Fstable-diffusion), we thank all the contributors for open-sourcing. \n\n\n## License\nThe code is licensed under Apache-2.0, model weights are fully open for academic research and also allow **free** commercial usage. To apply for a commercial license, please contact vchitect@pjlab.org.cn.\n","# SEINE\n[![arXiv](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2310.20700-b31b1b.svg)](https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.20700)\n[![项目页面](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FSEINE-Website-green)](https:\u002F\u002Fvchitect.github.io\u002FSEINE-project\u002F)\n[![Replicate](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Flucataco\u002Fseine) \n[![Hugging Face Spaces](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F%F0%9F%A4%97%20Hugging%20Face-Spaces-yellow)](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FVchitect\u002FSEINE)\n[![访问量](https:\u002F\u002Fhits.seeyoufarm.com\u002Fapi\u002Fcount\u002Fincr\u002Fbadge.svg?url=https%3A%2F%2Fgithub.com%2FVchitect%2FSEINE&count_bg=%23F59352&title_bg=%23555555&icon=&icon_color=%23E7E7E7&title=visitors&edge_flat=false)](https:\u002F\u002Fhits.seeyoufarm.com)\n\n本仓库是 [SEINE](https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.20700) 的官方实现：\n\n**[SEINE：用于生成式过渡与预测的短时长至长时长视频扩散模型（ICLR 2024）](https:\u002F\u002Farxiv.org\u002Fabs\u002F2310.20700)**\n\n**SEINE** 是一种视频扩散模型，也是视频生成系统 [Vchitect](http:\u002F\u002Fvchitect.intern-ai.org.cn\u002F) 的一部分。\n您也可以查看我们的文本到视频（T2V）框架 [LaVie](https:\u002F\u002Fgithub.com\u002FVchitect\u002FLaVie)。\n\n\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_404413bd51ec.gif\" width=\"800\">\n\n\n## 环境搭建\n\n### 准备环境\n```\nconda create -n seine python==3.9.16\nconda activate seine\npip install -r requirement.txt\n```\n\n### 下载我们的模型及 T2I 基础模型\n\n我们的模型基于 Stable Diffusion v1.4，您可以从 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002FCompVis\u002Fstable-diffusion-v1-4) 下载 [Stable Diffusion v1-4] 并将其放置在 `pretrained` 目录下。\n接着下载我们的模型检查点（可从 [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1cWfeDzKJhpb0m6HA5DoMOH0_ItuUY95b?usp=sharing) 或 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fxinyuanc91\u002FSEINE\u002Ftree\u002Fmain) 获取），并保存至 `pretrained` 目录。\n\n此时，在 `.\u002Fpretrained` 目录下应能看到如下文件结构：\n```\n├── pretrained\n│   ├── seine.pt\n│   ├── stable-diffusion-v1-4\n│   │   ├── ...\n└── └── ├── ...\n        ├── ...\n```\n## 使用方法\n### I2V 推理\n运行以下命令以获得 I2V 结果：\n```python\npython sample_scripts\u002Fwith_mask_sample.py --config configs\u002Fsample_i2v.yaml\n```\n生成的视频将保存在 `.\u002Fresults\u002Fi2v` 目录中。\n\n#### 更多细节\n您可以修改 `.\u002Fconfigs\u002Fsample_i2v.yaml` 来调整生成条件。\n例如：\n\n`ckpt` 用于指定模型检查点。\n\n`text_prompt` 用于描述视频内容。\n\n`input_path` 用于指定输入图像的路径。\n\n### 过渡效果推理\n```python\npython sample_scripts\u002Fwith_mask_sample.py --config configs\u002Fsample_transition.yaml\n```\n生成的视频将保存在 `.\u002Fresults\u002Ftransition` 目录中。\n\n\n\n\n## 结果展示\n### I2V 结果\n\u003Ctable class=\"center\">\n\u003Ctr>\n  \u003Ctd style=\"text-align:center;width: 50%\" colspan=\"1\">\u003Cb>输入图像\u003C\u002Fb>\u003C\u002Ftd>\n  \u003Ctd style=\"text-align:center;width: 50%\" colspan=\"1\">\u003Cb>输出视频\u003C\u002Fb>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_6332d2f7b3b5.png\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_f17b9c6e8f87.gif\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_402d74a032cf.png\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_325ebb276b0b.gif\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_52f8d501005d.png\">\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_560e6efba264.gif\">\u003C\u002Ftd>\n\u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n\n### 过渡效果结果\n\u003Ctable>\n\u003Ctr>\n  \u003Ctd style=\"text-align:center;width: 66%\" colspan=\"2\">\u003Cb>输入图像\u003C\u002Fb>\u003C\u002Ftd>\n  \u003Ctd style=\"text-align:center;width: 33%\" colspan=\"1\">\u003Cb>输出视频\u003C\u002Fb>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_2582cc77c7de.png\" >\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_c956074768a1.png\" >\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"examples\u002FTravel from Earth's spring blossoms to the alien cherry blossom forestssmooth transition, slow motion_0000_003.gif\" >\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_1d9330009502.png\" >\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_9f56d0ffb958.png\" >\u003C\u002Ftd>\n  \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_readme_f18648ad053e.gif\" >\u003C\u002Ftd>\n\u003C\u002Ftr>\n\n\u003C\u002Ftable>\n\n## BibTeX 引用\n```bibtex\n@inproceedings{chen2023seine,\n  title={Seine: Short-to-long video diffusion model for generative transition and prediction},\n  author={Chen, Xinyuan and Wang, Yaohui and Zhang, Lingjun and Zhuang, Shaobin and Ma, Xin and Yu, Jiashuo and Wang, Yali and Lin, Dahua and Qiao, Yu and Liu, Ziwei},\n  booktitle={ICLR},\n  year={2023}\n}\n```\n\n```bibtex\n@article{wang2023lavie,\n  title={LAVIE: High-Quality Video Generation with Cascaded Latent Diffusion Models},\n  author={Wang, Yaohui and Chen, Xinyuan and Ma, Xin and Zhou, Shangchen and Huang, Ziqi and Wang, Yi and Yang, Ceyuan and He, Yinan and Yu, Jiashuo and Yang, Peiqing and others},\n  journal={IJCV},\n  year={2024}\n}\n```\n\n## 免责声明\n我们对用户生成的内容不承担任何责任。该模型并未经过训练以真实地再现人物或事件，因此使用它来生成此类内容超出了模型的能力范围。严禁利用该模型生成色情、暴力或血腥内容，以及贬低他人或对人类及其环境、文化、宗教等造成伤害的内容。用户需对其行为自行负责。项目贡献者与用户的任何行为均无法律关联，也不承担相应责任。请遵守伦理和法律规范，负责任地使用该生成模型。\n\n## 联系我们\n**陈鑫源**: [chenxinyuan@pjlab.org.cn](mailto:chenxinyuan@pjlab.org.cn)\n**王耀辉**: [wangyaohui@pjlab.org.cn](mailto:wangyaohui@pjlab.org.cn)  \n\n## 致谢\n本代码基于 [LaVie](https:\u002F\u002Fgithub.com\u002FVchitect\u002FLaVie)、[diffusers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fdiffusers) 和 [Stable Diffusion](https:\u002F\u002Fgithub.com\u002FCompVis\u002Fstable-diffusion) 构建，感谢所有开源贡献者的付出。\n\n\n## 许可证\n代码采用 Apache-2.0 许可证，模型权重完全开放用于学术研究，并允许**免费**商业使用。如需申请商业许可，请联系 vchitect@pjlab.org.cn。","# SEINE 快速上手指南\n\nSEINE 是一个用于视频生成过渡和预测的“短到长”视频扩散模型，支持图像转视频（I2V）及双图过渡视频生成。\n\n## 1. 环境准备\n\n*   **操作系统**: Linux (推荐)\n*   **Python 版本**: 3.9.16\n*   **硬件要求**: 需要 NVIDIA GPU 及对应的 CUDA 环境\n*   **前置依赖**: Conda 包管理器\n\n## 2. 安装步骤\n\n### 2.1 创建并激活虚拟环境\n```bash\nconda create -n seine python==3.9.16\nconda activate seine\n```\n\n### 2.2 安装项目依赖\n```bash\npip install -r requirement.txt\n```\n> **提示**：国内用户建议使用清华或阿里镜像源加速安装：\n> `pip install -r requirement.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 2.3 下载模型权重\n本项目基于 Stable Diffusion v1.4，需下载基础模型和 SEINE 检查点并存入 `pretrained` 目录。\n\n1.  **下载基础模型**:\n    下载 [Stable Diffusion v1-4](https:\u002F\u002Fhuggingface.co\u002FCompVis\u002Fstable-diffusion-v1-4) 模型文件。\n    \n2.  **下载 SEINE 模型**:\n    从 [Hugging Face](https:\u002F\u002Fhuggingface.co\u002Fxinyuanc91\u002FSEINE\u002Ftree\u002Fmain) 或 [Google Drive](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1cWfeDzKJhpb0m6HA5DoMOH0_ItuUY95b?usp=sharing) 下载 `seine.pt`。\n    > **国内加速**：推荐使用 Hugging Face 镜像站 (如 `hf-mirror.com`) 下载。\n\n3.  **目录结构确认**:\n    确保 `.\u002Fpretrained` 目录结构如下：\n    ```text\n    ├── pretrained\n    │   ├── seine.pt\n    │   ├── stable-diffusion-v1-4\n    │   │   ├── ... (SD v1.4 模型文件)\n    ```\n\n## 3. 基本使用\n\n### 3.1 图像转视频 (Image-to-Video, I2V)\n根据单张输入图片生成视频。\n\n**运行命令：**\n```bash\npython sample_scripts\u002Fwith_mask_sample.py --config configs\u002Fsample_i2v.yaml\n```\n\n**配置说明：**\n编辑 `configs\u002Fsample_i2v.yaml` 文件以修改生成条件：\n*   `ckpt`: 指定模型检查点路径（通常无需修改）。\n*   `text_prompt`: 描述视频内容的文本提示词。\n*   `input_path`: 指定输入图片的路径。\n\n**输出结果：**\n生成的视频将保存在 `.\u002Fresults\u002Fi2v` 目录下。\n\n---\n\n### 3.2 视频过渡生成 (Transition)\n根据两张输入图片生成平滑过渡视频。\n\n**运行命令：**\n```bash\npython sample_scripts\u002Fwith_mask_sample.py --config configs\u002Fsample_transition.yaml\n```\n\n**配置说明：**\n编辑 `configs\u002Fsample_transition.yaml` 文件，主要修改：\n*   `text_prompt`: 描述过渡效果的文本提示词。\n*   `input_path`: 指定包含两张输入图片的路径或配置。\n\n**输出结果：**\n生成的视频将保存在 `.\u002Fresults\u002Ftransition` 目录下。","某短视频创作团队正在制作一系列“产品变身”广告，需要将静态的产品特写照片转化为动态展示视频，并实现不同场景间的丝滑转场。\n\n### 没有 SEINE 时\n- **动态生成困难**：设计师只能手动使用关键帧动画软件逐帧调整，将一张静态产品图变成几秒的流动视频耗时极长，且动作僵硬不自然。\n- **转场生硬割裂**：在连接两个不同场景（如从室内展台切换到户外使用）时，只能使用简单的淡入淡出或硬切，缺乏中间过渡画面，视觉体验断裂。\n- **预测能力缺失**：无法根据起始帧和结束帧自动推导中间过程，若想展示产品形态变化，必须拍摄大量实拍素材或制作复杂的 3D 建模动画。\n- **试错成本高昂**：每次调整运动轨迹或转场节奏都需要重新渲染整个序列，修改一次往往需要数小时，严重拖慢项目迭代速度。\n\n### 使用 SEINE 后\n- **一键图生视频**：直接输入产品静态图和文本提示（如“液体缓慢倾倒，慢动作”），SEINE 即可基于扩散模型自动生成高质量、符合物理规律的动态视频。\n- **智能生成过渡**：只需提供起始和结束两张图片，SEINE 能自动计算并生成中间的自然过渡帧，实现场景间的无缝流转，无需人工绘制中间画。\n- **长短视频预测**：利用其短至长的视频扩散能力，不仅能生成片段，还能预测后续动作趋势，轻松扩展视频时长，满足长镜头叙事需求。\n- **高效迭代优化**：通过修改配置文件中的文本提示或掩码，几分钟内即可重新生成多种风格的视频方案，大幅缩短从创意到成片的周期。\n\nSEINE 通过将静态图像智能转化为连贯的动态影像并自动填补场景间隙，彻底重构了视频内容的生成工作流，让创意落地不再受限于繁琐的制作工艺。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FVchitect_SEINE_70a2fea0.png","Vchitect","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FVchitect_291f114c.jpg","",null,"https:\u002F\u002Fvchitect.intern-ai.org.cn\u002F","https:\u002F\u002Fgithub.com\u002FVchitect",[82],{"name":83,"color":84,"percentage":85},"Python","#3572A5",100,968,65,"2026-04-07T06:07:06","Apache-2.0","未说明","必需（基于 Stable Diffusion 视频扩散模型），具体型号和显存未说明，通常建议 8GB+ 显存",{"notes":93,"python":94,"dependencies":95},"1. 建议使用 conda 创建名为 'seine' 的虚拟环境并指定 Python 版本为 3.9.16。\n2. 需手动下载 Stable Diffusion v1-4 基座模型和 SEINE 模型检查点 (seine.pt) 至 .\u002Fpretrained 目录。\n3. 模型权重允许免费商业使用，但代码遵循 Apache-2.0 协议。\n4. 主要功能包括图像生成视频 (I2V) 和视频过渡生成 (Transition)。","3.9.16",[96,97,98],"torch (通过 requirement.txt 安装)","diffusers (项目构建基础)","Stable Diffusion v1.4 (基座模型)",[15,52],[101,102,103,104],"stable-diffusion","diffusion-model","image-to-video","video-generation","2026-03-27T02:49:30.150509","2026-04-08T05:20:39.297242",[108,113,118,123,127,132],{"id":109,"question_zh":110,"answer_zh":111,"source_url":112},23801,"如何运行图像生成视频（I2V）任务？","可以使用以下命令运行图像生成视频任务：\npython sample_scripts\u002Fwith_mask_sample.py --config configs\u002Fsample_i2v.yaml\n（注意：如遇报错请参考版本兼容性问题）","https:\u002F\u002Fgithub.com\u002FVchitect\u002FSEINE\u002Fissues\u002F6",{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},23802,"项目代码何时发布？","项目代码已经发布，您可以直接在仓库中查看和克隆源代码进行使用。","https:\u002F\u002Fgithub.com\u002FVchitect\u002FSEINE\u002Fissues\u002F1",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},23797,"如何运行视频过渡（Transition）任务？","成功运行预测任务后，可以使用以下命令测试过渡任务：\npython sample_scripts\u002Fwith_mask_sample.py --config configs\u002Fsample_transition.yaml","https:\u002F\u002Fgithub.com\u002FVchitect\u002FSEINE\u002Fissues\u002F17",{"id":124,"question_zh":125,"answer_zh":126,"source_url":112},23798,"运行脚本时遇到 'AttributeError: cannot assign module before Module.__init__() call' 错误怎么办？","该错误通常是因为安装的 diffusers 版本与项目测试的版本不一致。请检查并调整您的 diffusers 版本以匹配项目要求。",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},23799,"运行推理所需的最低 GPU 显存是多少？","根据用户反馈，不同分辨率下的显存需求如下：\n- 560x240 分辨率：约需 10GB 显存\n- 840x360 分辨率：约需 17GB 显存","https:\u002F\u002Fgithub.com\u002FVchitect\u002FSEINE\u002Fissues\u002F2",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},23800,"是否有可用的 Google Colab 笔记本？","社区成员已制作了 SEINE 的 Colab 笔记本，可以在以下地址找到并使用：https:\u002F\u002Fgithub.com\u002Fcamenduru\u002FSEINE-colab","https:\u002F\u002Fgithub.com\u002FVchitect\u002FSEINE\u002Fissues\u002F10",[]]