[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-kwsong0113--diffusion-forcing-transformer":3,"tool-kwsong0113--diffusion-forcing-transformer":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":82,"owner_website":83,"owner_url":84,"languages":85,"stars":90,"forks":91,"last_commit_at":92,"license":93,"difficulty_score":10,"env_os":94,"env_gpu":95,"env_ram":94,"env_deps":96,"category_tags":108,"github_topics":109,"view_count":23,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":115,"updated_at":116,"faqs":117,"releases":152},3386,"kwsong0113\u002Fdiffusion-forcing-transformer","diffusion-forcing-transformer","[ICML 2025] Official PyTorch Implementation of \"History-Guided Video Diffusion\"","diffusion-forcing-transformer 是一款专为视频生成设计的先进开源模型，其核心能力在于能够依据任意数量的历史帧（上下文图像）来预测并生成后续视频内容。它主要解决了传统视频扩散模型在长序列生成中容易出现的画面闪烁、动作不连贯以及难以稳定生成长视频等痛点。通过引入独特的“历史引导”（History Guidance）机制，该工具显著提升了视频的时序一致性和运动动态自然度，不仅能将单张图片扩展为流畅的长视频，还支持组合式视频生成等创新应用。\n\n该项目适合人工智能研究人员、视频技术开发者以及对前沿生成式 AI 感兴趣的技术爱好者使用。对于研究者，它提供了完整的 PyTorch 实现和复现论文结果的详细指南；对于开发者，其模块化架构便于扩展和集成到新应用中；普通用户也可通过 HuggingFace 上的交互式演示直接体验从单图生成长视频的乐趣。作为 ICML 2025 的收录成果，diffusion-forcing-transformer 代表了当前视频生成领域的重要进展，为构建高质量、长时程的视频内容提供了强有力的技术支撑。","\u003Ch1 align=\"center\">Diffusion Forcing Transformer with History Guidance\u003C\u002Fh1>\n\u003Cp align=\"center\">\n  \u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fkiwhan.dev\u002F\">Kiwhan Song*\u003Csup>1\u003C\u002Fsup>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fboyuan.space\u002F\">Boyuan Chen*\u003Csup>1\u003C\u002Fsup>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fmsimchowitz.github.io\u002F\">Max Simchowitz\u003Csup>2\u003C\u002Fsup>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fyilundu.github.io\u002F\">Yilun Du\u003Csup>3\u003C\u002Fsup>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fgroups.csail.mit.edu\u002Flocomotion\u002Frusst.html\">Russ Tedrake\u003Csup>1\u003C\u002Fsup>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fwww.vincentsitzmann.com\u002F\">Vincent Sitzmann\u003Csup>1\u003C\u002Fsup>\u003C\u002Fa>\n    \u003Cbr\u002F>\n    *Equal contribution \u003Csup>1\u003C\u002Fsup>MIT \u003Csup>2\u003C\u002Fsup>CMU \u003Csup>3\u003C\u002Fsup>Harvard\n  \u003C\u002Fp>\n  \u003Ch4 align=\"center\">ICML 2025\u003C\u002Fh4>\n  \u003Ch3 align=\"center\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.06764\">Paper\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fboyuan.space\u002Fhistory-guidance\">Website\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fkiwhansong\u002Fdiffusion-forcing-transformer\">HuggingFace Demo\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fkiwhansong\u002FDFoT\">Pretrained Models\u003C\u002Fa>\u003C\u002Fh3>\n\u003C\u002Fp>\n\nThis is the official repository for the paper [**_History-Guided Video Diffusion_**](https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.06764). We introduce the **Diffusion Forcing Tranformer (DFoT)**, a novel video diffusion model that designed to generate videos conditioned on an arbitrary number of context frames.  Additionally, we present **History Guidance (HG)**, a family of guidance methods uniquely enabled by DFoT. These methods significantly enhance video generation quality, temporal consistency, and motion dynamics, while also unlocking new capabilities such as compositional video generation and the stable rollout of extremely long videos.\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkwsong0113_diffusion-forcing-transformer_readme_2995ae182dcd.png)\n\n\n## 🔥 News\n- **2025-05**: DFoT is accepted to **ICML 2025**.\n- **2025-02**: [Diffusion Forcing Transformer](https:\u002F\u002Fgithub.com\u002Fkwsong0113\u002Fdiffusion-forcing-transformer) is released.\n\n## 🤗 Try generating videos with DFoT in your browser!\n\nWe provide an [_interactive_ demo](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fkiwhansong\u002Fdiffusion-forcing-transformer) on HuggingFace Spaces, where you can generate videos with DFoT and History Guidance. On the RealEstate10K dataset, you can generate:\n- Any Number of Images → Short 2-second Video\n- Single Image → Long 10-second Video\n- Single Image → Extremely Long Video (like the teaser above!)\n\nPlease check it out and have fun generating videos with DFoT!\n\n\n## 📖 Detailed Development Wiki\nIf you just want quickly try our model in python, you can skip this section and proceed to the \"Quick Start\" section. Otherwise, we provide a comprehensive [wiki](https:\u002F\u002Fgithub.com\u002Fkwsong0113\u002Fdiffusion-forcing-transformer\u002Fwiki) for developers who want to extend the DFoT framework. It offers a detailed guide on thse topics:\n- code structure\n- command line options\n- datasets structure\n- checkpointing and loading\n- training and evaluating DFoT or baseline models\n- every command to reproduce the paper's result\n\n## 🚀 Quick Start\n\n### Setup\n\n#### 1. Create a conda environment and install dependencies:\n```bash\nconda create python=3.10 -n dfot\nconda activate dfot\npip install -r requirements.txt\n```\n#### 2. Connect to Weights & Biases:\nWe use Weights & Biases for logging. [Sign up](https:\u002F\u002Fwandb.ai\u002Flogin?signup=true) if you don't have an account, and *modify `wandb.entity` in `config.yaml` to your user\u002Forganization name*.\n\n### Generating Videos with Pretrained Models\n\nSimply run one of the commands below to generate videos with a pretrained DFoT model. They will automatically download a tiny subset of the RealEstate10K dataset and a pretrained DFoT model.\n\n\n#### 1. Single Image to Long Video (200 Frames, takes ~10 mins):\n> **NOTE**: if you encounter CUDA out-of-memory errors (due to limited VRAM), try setting `algorithm.tasks.interpolation.max_batch_size=1`.\n```bash\npython -m main +name=single_image_to_long dataset=realestate10k_mini algorithm=dfot_video_pose experiment=video_generation @diffusion\u002Fcontinuous load=pretrained:DFoT_RE10K.ckpt 'experiment.tasks=[validation]' experiment.validation.data.shuffle=True dataset.context_length=1 dataset.frame_skip=1 dataset.n_frames=200 algorithm.tasks.prediction.keyframe_density=0.0625 algorithm.tasks.interpolation.max_batch_size=4 experiment.validation.batch_size=1 algorithm.tasks.prediction.history_guidance.name=stabilized_vanilla +algorithm.tasks.prediction.history_guidance.guidance_scale=4.0 +algorithm.tasks.prediction.history_guidance.stabilization_level=0.02  algorithm.tasks.interpolation.history_guidance.name=vanilla +algorithm.tasks.interpolation.history_guidance.guidance_scale=1.5\n```\n\n#### 2. Single Image to Short Video (8 Frames, takes \u003C1 min):\n```bash\npython -m main +name=single_image_to_short dataset=realestate10k_mini algorithm=dfot_video_pose experiment=video_generation @diffusion\u002Fcontinuous load=pretrained:DFoT_RE10K.ckpt 'experiment.tasks=[validation]' experiment.validation.data.shuffle=True dataset.context_length=1 dataset.frame_skip=20 dataset.n_frames=8 experiment.validation.batch_size=1 algorithm.tasks.prediction.history_guidance.name=vanilla +algorithm.tasks.prediction.history_guidance.guidance_scale=4.0\n```\n\n#### 3. Interpolating Two Distant Images into Short Video (8 Frames, takes \u003C1 min):\n```bash\npython -m main +name=two_images_to_interpolated dataset=realestate10k_mini algorithm=dfot_video_pose experiment=video_generation @diffusion\u002Fcontinuous load=pretrained:DFoT_RE10K.ckpt 'experiment.tasks=[validation]' experiment.validation.data.shuffle=True dataset.frame_skip=20 dataset.n_frames=8 experiment.validation.batch_size=1 algorithm.tasks.prediction.enabled=False algorithm.tasks.interpolation.enabled=True algorithm.tasks.interpolation.history_guidance.name=vanilla +algorithm.tasks.interpolation.history_guidance.guidance_scale=4.0\n```\n\n#### 4. Generating Videos on Other Datasets\nPlease refer to our [wiki](https:\u002F\u002Fgithub.com\u002Fkwsong0113\u002Fdiffusion-forcing-transformer\u002Fwiki\u002FInference-%26-Reproducing-Results) for more details.\n\n### Training\n\nTraining a DFoT model requires a large, full dataset. The commands below will automatically download the necessary data, but please note that this process may take a while (~few hours). We also provide specifications for the GPUs required for training. If you are training with fewer GPUs or using a smaller `⁠experiment.training.batch_size`, we recommend proportionally reducing `⁠experiment.training.lr`. You training will produce a wandb link which ends with a wandb run id. To load or resume your trained model, simply append `load={the_wandb_run_id}` and `resume={the_wandb_run_id}` to the training \u002F inferencecommand.\n\n#### 1. RealEstate10K (12 x 80GB VRAM GPUs)\n\n```bash\npython -m main +name=RE10k dataset=realestate10k algorithm=dfot_video_pose experiment=video_generation @diffusion\u002Fcontinuous\n```\n\n#### 2. Kinetics-600 (12 x 80GB VRAM GPUs)\n\n```bash\npython -m main +name=K600 dataset=kinetics_600 algorithm=dfot_video experiment=video_generation @DiT\u002FXL\n```\n\n#### 3. Minecraft (12 x 80GB VRAM GPUs)\n> **Note**: Minecraft training requires additionally preprocessing videos into latents (see [here](https:\u002F\u002Fgithub.com\u002Fkwsong0113\u002Fdiffusion-forcing-transformer\u002Fwiki\u002FTraining#preprocessing-videos-to-latents-using-imagevaes)).\n\n```bash\npython -m main +name=MCRAFT dataset=minecraft algorithm=dfot_video experiment=video_generation @diffusion\u002Fcontinuous @DiT\u002FB\n```\n\n\n## 📝 Acknowledgements\nThis repo is using [Boyuan Chen](https:\u002F\u002Fboyuan.space\u002F)'s research template [repo](https:\u002F\u002Fgithub.com\u002Fbuoyancy99\u002Fresearch-template). By its license, we just ask you to keep the above sentence and links in `README.md` and the `LICENSE` file to credit the author.\n\n\n## 📌 Citation\n\nIf our work is useful for your research, please consider giving us a star and citing our paper:\n\n```bibtex\n@misc{song2025historyguidedvideodiffusion,\n  title={History-Guided Video Diffusion}, \n  author={Kiwhan Song and Boyuan Chen and Max Simchowitz and Yilun Du and Russ Tedrake and Vincent Sitzmann},\n  year={2025},\n  eprint={2502.06764},\n  archivePrefix={arXiv},\n  primaryClass={cs.LG},\n  url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.06764}, \n}\n```\n","\u003Ch1 align=\"center\">带有历史引导的扩散强制Transformer\u003C\u002Fh1>\n\u003Cp align=\"center\">\n  \u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fkiwhan.dev\u002F\">Kiwhan Song*\u003Csup>1\u003C\u002Fsup>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fboyuan.space\u002F\">Boyuan Chen*\u003Csup>1\u003C\u002Fsup>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fmsimchowitz.github.io\u002F\">Max Simchowitz\u003Csup>2\u003C\u002Fsup>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fyilundu.github.io\u002F\">Yilun Du\u003Csup>3\u003C\u002Fsup>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fgroups.csail.mit.edu\u002Flocomotion\u002Frusst.html\">Russ Tedrake\u003Csup>1\u003C\u002Fsup>\u003C\u002Fa>\n    ·\n    \u003Ca href=\"https:\u002F\u002Fwww.vincentsitzmann.com\u002F\">Vincent Sitzmann\u003Csup>1\u003C\u002Fsup>\u003C\u002Fa>\n    \u003Cbr\u002F>\n    *贡献相等 \u003Csup>1\u003C\u002Fsup>MIT \u003Csup>2\u003C\u002Fsup>CMU \u003Csup>3\u003C\u002Fsup>Harvard\n  \u003C\u002Fp>\n  \u003Ch4 align=\"center\">ICML 2025\u003C\u002Fh4>\n  \u003Ch3 align=\"center\">\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.06764\">论文\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fboyuan.space\u002Fhistory-guidance\">网站\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fkiwhansong\u002Fdiffusion-forcing-transformer\">HuggingFace演示\u003C\u002Fa> | \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fkiwhansong\u002FDFoT\">预训练模型\u003C\u002Fa>\u003C\u002Fh3>\n\u003C\u002Fp>\n\n这是论文【**_历史引导的视频扩散_**】的官方仓库。我们提出了**扩散强制Transformer (DFoT)**，这是一种新颖的视频扩散模型，旨在根据任意数量的上下文帧生成视频。此外，我们还提出了**历史引导 (HG)**，这是一系列由DFoT独特支持的引导方法。这些方法显著提升了视频生成的质量、时间一致性以及运动动态，同时还解锁了诸如组合式视频生成和稳定生成超长视频等新能力。\n\n![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkwsong0113_diffusion-forcing-transformer_readme_2995ae182dcd.png)\n\n\n## 🔥 最新消息\n- **2025-05**: DFoT被**ICML 2025**接收。\n- **2025-02**: [扩散强制Transformer](https:\u002F\u002Fgithub.com\u002Fkwsong0113\u002Fdiffusion-forcing-transformer)发布。\n\n## 🤗 在浏览器中尝试用DFoT生成视频吧！\n\n我们在HuggingFace Spaces上提供了一个[_交互式_演示](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fkiwhansong\u002Fdiffusion-forcing-transformer)，你可以在其中使用DFoT和历史引导来生成视频。在RealEstate10K数据集上，你可以生成：\n- 任意数量的图像 → 短暂的2秒视频\n- 单张图像 → 长达10秒的视频\n- 单张图像 → 超长视频（如上方的预告片所示！）\n\n快来试试吧，享受用DFoT生成视频的乐趣！\n\n\n## 📖 详细开发文档\n如果你只想快速在Python中试用我们的模型，可以跳过本节直接前往“快速入门”部分。否则，我们为希望扩展DFoT框架的开发者提供了全面的[文档](https:\u002F\u002Fgithub.com\u002Fkwsong0113\u002Fdiffusion-forcing-transformer\u002Fwiki)，其中包含以下主题的详细指南：\n- 代码结构\n- 命令行选项\n- 数据集结构\n- 检查点保存与加载\n- 训练和评估DFoT或基线模型\n- 复现论文结果所需的所有命令\n\n## 🚀 快速入门\n\n### 设置\n\n#### 1. 创建一个conda环境并安装依赖：\n```bash\nconda create python=3.10 -n dfot\nconda activate dfot\npip install -r requirements.txt\n```\n#### 2. 连接Weights & Biases：\n我们使用Weights & Biases进行日志记录。如果你还没有账号，请先[注册](https:\u002F\u002Fwandb.ai\u002Flogin?signup=true)，然后*将`config.yaml`中的`wandb.entity`修改为你自己的用户或组织名称*。\n\n### 使用预训练模型生成视频\n\n只需运行下面的其中一个命令，即可使用预训练的DFoT模型生成视频。它们会自动下载RealEstate10K数据集的一个小型子集以及一个预训练的DFoT模型。\n\n\n#### 1. 单张图像生成长视频（200帧，耗时约10分钟）：\n> **注意**：如果遇到CUDA显存不足的错误（由于显存有限），请尝试设置`algorithm.tasks.interpolation.max_batch_size=1`。\n```bash\npython -m main +name=single_image_to_long dataset=realestate10k_mini algorithm=dfot_video_pose experiment=video_generation @diffusion\u002Fcontinuous load=pretrained:DFoT_RE10K.ckpt 'experiment.tasks=[validation]' experiment.validation.data.shuffle=True dataset.context_length=1 dataset.frame_skip=1 dataset.n_frames=200 algorithm.tasks.prediction.keyframe_density=0.0625 algorithm.tasks.prediction.history_guidance.name=stabilized_vanilla +algorithm.tasks.prediction.history_guidance.guidance_scale=4.0 +algorithm.tasks.prediction.history_guidance.stabilization_level=0.02  algorithm.tasks.interpolation.history_guidance.name=vanilla +algorithm.tasks.interpolation.history_guidance.guidance_scale=1.5\n```\n\n#### 2. 单张图像生成短视频（8帧，耗时不到1分钟）：\n```bash\npython -m main +name=single_image_to_short dataset=realestate10k_mini algorithm=dfot_video_pose experiment=video_generation @diffusion\u002Fcontinuous load=pretrained:DFoT_RE10K.ckpt 'experiment.tasks=[validation]' experiment.validation.data.shuffle=True dataset.context_length=1 dataset.frame_skip=20 dataset.n_frames=8 experiment.validation.batch_size=1 algorithm.tasks.prediction.enabled=False algorithm.tasks.interpolation.enabled=True algorithm.tasks.interpolation.history_guidance.name=vanilla +algorithm.tasks.interpolation.history_guidance.guidance_scale=4.0\n```\n\n#### 3. 插值两幅相距较远的图像生成短视频（8帧，耗时不到1分钟）：\n```bash\npython -m main +name=two_images_to_interpolated dataset=realestate10k_mini algorithm=dfot_video_pose experiment=video_generation @diffusion\u002Fcontinuous load=pretrained:DFoT_RE10K.ckpt 'experiment.tasks=[validation]' experiment.validation.data.shuffle=True dataset.frame_skip=20 dataset.n_frames=8 experiment.validation.batch_size=1 algorithm.tasks.prediction.enabled=False algorithm.tasks.interpolation.enabled=True algorithm.tasks.interpolation.history_guidance.name=vanilla +algorithm.tasks.interpolation.history_guidance.guidance_scale=4.0\n```\n\n#### 4. 在其他数据集上生成视频\n更多详情请参阅我们的[文档](https:\u002F\u002Fgithub.com\u002Fkwsong0113\u002Fdiffusion-forcing-transformer\u002Fwiki\u002FInference-%26-Reproducing-Results)。\n\n### 训练\n\n训练 DFoT 模型需要一个大型的完整数据集。下面的命令会自动下载所需的数据，但请注意，这个过程可能需要一段时间（约几个小时）。我们还提供了训练所需的 GPU 规格说明。如果您使用较少的 GPU 进行训练，或者使用较小的 `experiment.training.batch_size`，建议相应地降低 `experiment.training.lr`。训练完成后会生成一个以 wandb 运行 ID 结尾的 wandb 链接。要加载或恢复您的训练模型，只需在训练或推理命令中添加 `load={the_wandb_run_id}` 和 `resume={the_wandb_run_id}` 即可。\n\n#### 1. RealEstate10K（12 张 80GB 显存的 GPU）\n\n```bash\npython -m main +name=RE10k dataset=realestate10k algorithm=dfot_video_pose experiment=video_generation @diffusion\u002Fcontinuous\n```\n\n#### 2. Kinetics-600（12 张 80GB 显存的 GPU）\n\n```bash\npython -m main +name=K600 dataset=kinetics_600 algorithm=dfot_video experiment=video_generation @DiT\u002FXL\n```\n\n#### 3. Minecraft（12 张 80GB 显存的 GPU）\n> **注意**：Minecraft 的训练还需要额外将视频预处理为潜在表示（详见 [这里](https:\u002F\u002Fgithub.com\u002Fkwsong0113\u002Fdiffusion-forcing-transformer\u002Fwiki\u002FTraining#preprocessing-videos-to-latents-using-imagevaes)）。\n\n```bash\npython -m main +name=MCRAFT dataset=minecraft algorithm=dfot_video experiment=video_generation @diffusion\u002Fcontinuous @DiT\u002FB\n```\n\n\n## 📝 致谢\n本仓库使用了 [Boyuan Chen](https:\u002F\u002Fboyuan.space\u002F) 的研究模板 [仓库](https:\u002F\u002Fgithub.com\u002Fbuoyancy99\u002Fresearch-template)。根据其许可证要求，我们仅希望您在 `README.md` 和 `LICENSE` 文件中保留上述句子及链接，以向作者致谢。\n\n\n## 📌 引用\n\n如果我们的工作对您的研究有所帮助，请考虑给我们点个赞并引用我们的论文：\n\n```bibtex\n@misc{song2025historyguidedvideodiffusion,\n  title={History-Guided Video Diffusion}, \n  author={Kiwhan Song and Boyuan Chen and Max Simchowitz and Yilun Du and Russ Tedrake and Vincent Sitzmann},\n  year={2025},\n  eprint={2502.06764},\n  archivePrefix={arXiv},\n  primaryClass={cs.LG},\n  url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.06764}, \n}\n```","# Diffusion Forcing Transformer (DFoT) 快速上手指南\n\nDFoT 是一种新型视频扩散模型，支持基于任意数量的上下文帧生成视频，并引入了“历史引导（History Guidance）”技术，显著提升视频生成的质量、时序一致性和运动动态。\n\n## 环境准备\n\n- **操作系统**：Linux（推荐 Ubuntu 20.04+）\n- **Python 版本**：3.10\n- **GPU 要求**：\n  - 推理：建议显存 ≥ 8GB（长视频生成推荐 ≥ 16GB）\n  - 训练：需 12 × 80GB GPU（如 A100\u002FH100）\n- **依赖管理工具**：Conda\n- **其他**：需注册 [Weights & Biases](https:\u002F\u002Fwandb.ai\u002F) 账号用于日志记录\n\n> 💡 国内用户可使用清华或中科大镜像加速 conda 和 pip 安装（见下方命令）。\n\n## 安装步骤\n\n```bash\n# 创建并激活 conda 环境（使用国内镜像）\nconda create -n dfot python=3.10 -c https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002Fanaconda\u002Fpkgs\u002Fmain\u002F\nconda activate dfot\n\n# 安装依赖（可选：使用国内 pip 镜像）\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 配置 Weights & Biases\n# 编辑 config.yaml，将 wandb.entity 改为你的 wandb 用户名或组织名\n```\n\n## 基本使用\n\n以下示例使用预训练模型在浏览器外本地生成视频。首次运行会自动下载小型数据集子集和模型权重。\n\n### 示例：单图生成长视频（200 帧，约 10 分钟）\n\n```bash\npython -m main +name=single_image_to_long dataset=realestate10k_mini algorithm=dfot_video_pose experiment=video_generation @diffusion\u002Fcontinuous load=pretrained:DFoT_RE10K.ckpt 'experiment.tasks=[validation]' experiment.validation.data.shuffle=True dataset.context_length=1 dataset.frame_skip=1 dataset.n_frames=200 algorithm.tasks.prediction.keyframe_density=0.0625 algorithm.tasks.interpolation.max_batch_size=4 experiment.validation.batch_size=1 algorithm.tasks.prediction.history_guidance.name=stabilized_vanilla +algorithm.tasks.prediction.history_guidance.guidance_scale=4.0 +algorithm.tasks.prediction.history_guidance.stabilization_level=0.02  algorithm.tasks.interpolation.history_guidance.name=vanilla +algorithm.tasks.interpolation.history_guidance.guidance_scale=1.5\n```\n\n> ⚠️ 若出现 CUDA 显存不足错误，请将 `algorithm.tasks.interpolation.max_batch_size` 设为 `1`。\n\n### 其他快速示例\n\n- **单图生成短视频（8 帧）**：\n  ```bash\n  python -m main +name=single_image_to_short dataset=realestate10k_mini algorithm=dfot_video_pose experiment=video_generation @diffusion\u002Fcontinuous load=pretrained:DFoT_RE10K.ckpt 'experiment.tasks=[validation]' experiment.validation.data.shuffle=True dataset.context_length=1 dataset.frame_skip=20 dataset.n_frames=8 experiment.validation.batch_size=1 algorithm.tasks.prediction.history_guidance.name=vanilla +algorithm.tasks.prediction.history_guidance.guidance_scale=4.0\n  ```\n\n- **两张图像插值生成短视频**：\n  ```bash\n  python -m main +name=two_images_to_interpolated dataset=realestate10k_mini algorithm=dfot_video_pose experiment=video_generation @diffusion\u002Fcontinuous load=pretrained:DFoT_RE10K.ckpt 'experiment.tasks=[validation]' experiment.validation.data.shuffle=True dataset.frame_skip=20 dataset.n_frames=8 experiment.validation.batch_size=1 algorithm.tasks.prediction.enabled=False algorithm.tasks.interpolation.enabled=True algorithm.tasks.interpolation.history_guidance.name=vanilla +algorithm.tasks.interpolation.history_guidance.guidance_scale=4.0\n  ```\n\n生成结果将保存在本地输出目录，并同步至你的 Weights & Biases 项目面板。\n\n> 🌐 想直接在浏览器中体验？访问 [HuggingFace Demo](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fkiwhansong\u002Fdiffusion-forcing-transformer)。","一位数字内容创作者正试图将一张静态的历史建筑照片转化为一段流畅的长镜头漫游视频，用于纪录片开场。\n\n### 没有 diffusion-forcing-transformer 时\n- **时长受限严重**：传统视频扩散模型通常只能基于单张图像生成 2-4 秒的短片，强行延长会导致画面迅速崩坏或陷入循环静止。\n- **时序一致性差**：随着帧数增加，建筑物结构容易发生扭曲、闪烁，无法保持几何形状的稳定性。\n- **运动逻辑混乱**：镜头推进或平移时，背景与前景的运动视差关系错乱，缺乏真实的物理动态感。\n- **上下文利用不足**：模型难以灵活利用多帧历史参考信息来指导后续生成，导致长视频 rollout（滚动生成）极不稳定。\n\n### 使用 diffusion-forcing-transformer 后\n- **超长视频生成**：凭借 History Guidance 技术，diffusion-forcing-transformer 能基于单张图片稳定生成 10 秒甚至更长的连贯视频，轻松满足长镜头需求。\n- **结构高度稳定**：在极长序列中，建筑的线条和纹理始终保持清晰一致，彻底消除了长视频常见的闪烁和形变问题。\n- **动态自然逼真**：模型精准捕捉了复杂的运动动力学，使得镜头推拉时的透视变化符合真实物理规律，画面极具沉浸感。\n- **灵活上下文控制**：支持任意数量的上下文帧作为引导，创作者可自由组合关键帧来控制视频走向，实现复杂的组合式视频创作。\n\ndiffusion-forcing-transformer 通过引入历史引导机制，突破了现有模型在长视频生成中的时序一致性瓶颈，让“单图生成长电影”成为现实。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkwsong0113_diffusion-forcing-transformer_2995ae18.png","kwsong0113","Kiwhan Song","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fkwsong0113_f8699078.jpg",null,"OpenAI","San Francisco, CA","kiwhan@mit.edu","kiwhansong0","https:\u002F\u002Fkiwhan.dev","https:\u002F\u002Fgithub.com\u002Fkwsong0113",[86],{"name":87,"color":88,"percentage":89},"Python","#3572A5",100,648,32,"2026-04-04T14:00:41","NOASSERTION","未说明","训练必需：12 x NVIDIA GPU (80GB VRAM，如 A100\u002FH100)；推理可选：需支持 CUDA，显存不足时可调整 batch_size，具体型号未限定但建议高性能 NVIDIA 显卡",{"notes":97,"python":98,"dependencies":99},"1. 必须使用 conda 创建 Python 3.10 环境。2. 需注册 Weights & Biases (WandB) 账号并配置 config.yaml。3. 训练 RealEstate10K、Kinetics-600 或 Minecraft 数据集官方推荐配置为 12 张 80GB 显存的 GPU。4. 推理时若遇到显存溢出 (CUDA OOM)，可将参数 algorithm.tasks.interpolation.max_batch_size 设为 1。5. 首次运行推理会自动下载小型数据集子集和预训练模型。6. Minecraft 训练前需额外将视频预处理为 latent 表示。","3.10",[100,101,102,103,104,105,106,107],"torch","wandb","hydra-core","opencv-python","pillow","numpy","transformers","diffusers",[14,26,52],[110,111,112,113,114],"diffusion-models","generative-ai","image-to-video","transformer","video-generation","2026-03-27T02:49:30.150509","2026-04-06T05:36:52.712261",[118,123,128,133,138,143,148],{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},15561,"在无文本提示（unconditional）的情况下，为什么生成的视频大多是静态的或质量很差？","这取决于模型的大小。在无条件的情况下，生成高质量视频极其困难。由于数据集的多样性，即使是主流的视频基础模型，如果没有文本提示（text prompts），也无法生成良好的结果。建议在使用预训练模型进行推理时提供文本提示以提高质量。","https:\u002F\u002Fgithub.com\u002Fkwsong0113\u002Fdiffusion-forcing-transformer\u002Fissues\u002F1",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},15562,"如何下载完整的 RealEstate10K 数据集以解决脚本下载大量失败的问题？","官方脚本下载失败率较高是因为部分视频已不可用。维护者已在 HuggingFace 提供了预处理好的完整数据集（116GB），分为三个分卷。请下载并合并解压：\n1. 进入 `data` 文件夹。\n2. 运行以下命令下载分卷：\n   BASE_URL=\"https:\u002F\u002Fhuggingface.co\u002Fkiwhansong\u002FDFoT\u002Fresolve\u002Fmain\u002Fdatasets\"\n   NAME=\"RealEstate10K_Full.tar.gz\"\n   for part in aa ab ac; do wget \"${BASE_URL}\u002F${NAME}.part-${part}\"; done\n3. 合并并解压：cat ${NAME}.part-* | tar -xzvf -\n4. (可选) 删除分卷文件以节省空间：rm ${NAME}.part-*","https:\u002F\u002Fgithub.com\u002Fkwsong0113\u002Fdiffusion-forcing-transformer\u002Fissues\u002F28",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},15563,"训练配置中的变量（如 training_scheduler）报错不存在，配置文件在哪里？","相关配置位于 `configurations\u002Fdata_experiment` 文件夹中（例如 `realestate10k_video_generation.yaml`）。该项目使用配置层级结构，具体工作原理可参考项目 Wiki 中的 \"Configuration Hierarchy\" 页面。请检查您的启动命令是否正确引用了这些配置文件。","https:\u002F\u002Fgithub.com\u002Fkwsong0113\u002Fdiffusion-forcing-transformer\u002Fissues\u002F3",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},15564,"是否可以将现有的预训练视频生成模型（如 Wan 2.1）微调为 DFoT？使用的具体方法是什么？","是的，可以进行微调。维护者已经对 Wan 2.1 进行了全量微调（Full finetune），但采用了一个简化的目标函数：使用随机的历史长度和两个独立的噪声水平，而不是完全均匀的随机噪声。注意，相关的微调代码计划在新论文发布后才会公开。","https:\u002F\u002Fgithub.com\u002Fkwsong0113\u002Fdiffusion-forcing-transformer\u002Fissues\u002F2",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},15565,"`dfot_video` 和 `dfot_video_pose` 这两种算法实现有什么区别？","主要区别在于条件输入。`dfot_video_pose` 是姿态条件化（pose-conditioned）的模型，它将相机姿态作为条件输入。项目中展示的所有 RealEstate10K 生成视频（包括最长的视频）都是使用这个姿态条件化模型生成的。而 `dfot_video` 通常指不包含显式姿态条件的版本。","https:\u002F\u002Fgithub.com\u002Fkwsong0113\u002Fdiffusion-forcing-transformer\u002Fissues\u002F21",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},15566,"可以使用 Rectified Flow（修正流）或其他噪声调度策略来训练 DFoT 吗？","可以尝试，特别是在潜在扩散模型（Latent Diffusion Models）中，只要调度策略差异不大通常没问题。但在像素级扩散模型（如 Re10K 实验）中，生成质量对噪声调度非常敏感，必须在训练期间添加足够的噪声。如果不完全匹配原始的 logSNR 调度（例如使用标准的 LogitNormal 分布），可能会影响收敛或生成质量，需谨慎调整。","https:\u002F\u002Fgithub.com\u002Fkwsong0113\u002Fdiffusion-forcing-transformer\u002Fissues\u002F24",{"id":149,"question_zh":150,"answer_zh":151,"source_url":122},15567,"在推理时设置 `dataset.context_length=0`（无上下文图像）会导致生成效果差，这是正常的吗？","是的，这是预期行为。虽然模型支持从零张图像生成视频（即 `dataset.context_length=0` 是合法的），但视频质量会随着提供的初始图像数量增加而显著提高，因为这使得生成任务变得更容易。在无上下文图像的情况下，模型需要完全凭空生成，难度极大，因此效果通常较差。",[]]