[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-konpatp--diffae":3,"tool-konpatp--diffae":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":82,"owner_website":83,"owner_url":84,"languages":85,"stars":98,"forks":99,"last_commit_at":100,"license":101,"difficulty_score":10,"env_os":102,"env_gpu":103,"env_ram":102,"env_deps":104,"category_tags":111,"github_topics":112,"view_count":10,"oss_zip_url":82,"oss_zip_packed_at":82,"status":16,"created_at":120,"updated_at":121,"faqs":122,"releases":152},2809,"konpatp\u002Fdiffae","diffae","Official implementation of Diffusion Autoencoders","DiffAE 是扩散自编码器（Diffusion Autoencoders）的官方开源实现，曾荣获 CVPR 2022 口头报告奖。它巧妙地将扩散模型强大的生成能力与自编码器的结构化表示相结合，旨在解决传统扩散模型难以进行精确图像编辑和语义理解的问题。\n\n通过引入一个可解码的潜在空间，DiffAE 不仅能高质量地重建图像，还能让开发者像操作传统 GAN 一样，对生成图像进行有意义的语义操控（如改变发型、表情）和平滑插值。其核心技术亮点在于将图像编码为语义向量与噪声向量的组合，既保留了扩散模型的细节生成优势，又赋予了潜变量明确的语义含义，实现了“有意义且可解码”的图像表示。\n\n这款工具非常适合人工智能研究人员、算法工程师以及对生成式 AI 有深度探索需求的设计师使用。项目提供了完善的预训练模型（涵盖人脸、卧室、马匹等数据集）以及基于 Jupyter Notebook 的快速上手指南，支持无条件生成、图像编辑、插值等多种任务。无论是希望深入理解扩散模型内部机制的研究者，还是想要构建可控图像生成应用的技术团队，DiffAE 都是一个极具价值的参考基准和开发起点。","# Official implementation of Diffusion Autoencoders\r\n\r\nA CVPR 2022 (ORAL) paper ([paper](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2022\u002Fhtml\u002FPreechakul_Diffusion_Autoencoders_Toward_a_Meaningful_and_Decodable_Representation_CVPR_2022_paper.html), [site](https:\u002F\u002Fdiff-ae.github.io\u002F), [5-min video](https:\u002F\u002Fyoutu.be\u002Fi3rjEsiHoUU)):\r\n\r\n```\r\n@inproceedings{preechakul2021diffusion,\r\n      title={Diffusion Autoencoders: Toward a Meaningful and Decodable Representation}, \r\n      author={Preechakul, Konpat and Chatthee, Nattanat and Wizadwongsa, Suttisak and Suwajanakorn, Supasorn},\r\n      booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)}, \r\n      year={2022},\r\n}\r\n```\r\n\r\n## Usage\r\n\r\n⚙️ Try a Colab walkthrough: [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1OTfwkklN-IEd4hFk4LnweOleyDtS4XTh\u002Fview?usp=sharing)\r\n\r\n🤗 Try a web demo: [![Replicate](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkonpatp_diffae_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Fcjwbw\u002Fdiffae)\r\n\r\nNote: Since we expect a lot of changes on the codebase, please fork the repo before using.\r\n\r\n### Prerequisites\r\n\r\nSee `requirements.txt`\r\n\r\n```\r\npip install -r requirements.txt\r\n```\r\n\r\n### Quick start\r\n\r\nA jupyter notebook.\r\n\r\nFor unconditional generation: `sample.ipynb`\r\n\r\nFor manipulation: `manipulate.ipynb`\r\n\r\nFor interpolation: `interpolate.ipynb`\r\n\r\nFor autoencoding: `autoencoding.ipynb`\r\n\r\nAligning your own images:\r\n\r\n1. Put images into the `imgs` directory\r\n2. Run `align.py` (need to `pip install dlib requests`)\r\n3. Result images will be available in `imgs_align` directory\r\n\r\n\u003Ctable>\r\n\u003Ctr>\r\n\u003Cth width=\"33%\">\r\nOriginal in \u003Ccode>imgs\u003C\u002Fcode> directory\u003Cbr>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkonpatp_diffae_readme_c82047d9327a.jpg\" style=\"width: 100%\">\r\n\u003C\u002Fth>\r\n\u003Cth width=\"33%\">\r\nAligned with \u003Ccode>align.py\u003C\u002Fcode>\u003Cbr>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkonpatp_diffae_readme_d488ae0bf242.png\" style=\"width: 100%\">\r\n\u003C\u002Fth>\r\n\u003Cth width=\"33%\">\r\nUsing \u003Ccode>manipulate.ipynb\u003C\u002Fcode>\u003Cbr>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkonpatp_diffae_readme_567a2e35c16d.png\" style=\"width: 100%\">\r\n\u003C\u002Fth>\r\n\u003C\u002Ftr>\r\n\u003C\u002Ftable>\r\n\r\n\r\n### Checkpoints\r\n\r\nWe provide checkpoints for the following models:\r\n\r\n1. DDIM: **FFHQ128** ([72M](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1-fa46UPSgy9ximKngBflgSj3u87-DLrw), [130M](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1-Sqes07fs1y9sAYXuYWSoDE_xxTtH4yx)), [**Bedroom128**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1-_8LZd5inoAOBT-hO5f7RYivt95FbYT1), [**Horse128**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F10Hq3zIlJs9ZSiXDQVYuVJVf0cX4a_nDB)\r\n2. DiffAE (autoencoding only): [**FFHQ256**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1-5zfxT6Gl-GjxM7z9ZO2AHlB70tfmF6V), **FFHQ128** ([72M](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F10bmB6WhLkgxybkhso5g3JmIFPAnmZMQO), [130M](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F10UNtFNfxbHBPkoIh003JkSPto5s-VbeN)), [**Bedroom128**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F12EdjbIKnvP5RngKsR0UU-4kgpPAaYtlp), [**Horse128**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F12EtTRXzQc5uPHscpjIcci-Rg-OGa_N30)\r\n3. DiffAE (with latent DPM, can sample): [**FFHQ256**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1-H8WzKc65dEONN-DQ87TnXc23nTXDTYb), [**FFHQ128**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F11pdjMQ6NS8GFFiGOq3fziNJxzXU1Mw3l), [**Bedroom128**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F11mdxv2lVX5Em8TuhNJt-Wt2XKt25y8zU), [**Horse128**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F11k8XNDK3ENxiRnPSUdJ4rnagJYo4uKEo)\r\n4. DiffAE's classifiers (for manipulation): [**FFHQ256's latent on CelebAHQ**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F117Wv7RZs_gumgrCOIhDEWgsNy6BRJorg), [**FFHQ128's latent on CelebAHQ**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F11EYIyuK6IX44C8MqreUyMgPCNiEnwhmI)\r\n\r\nCheckpoints ought to be put into a separate directory `checkpoints`. \r\nDownload the checkpoints and put them into `checkpoints` directory. It should look like this:\r\n\r\n```\r\ncheckpoints\u002F\r\n- bedroom128_autoenc\r\n    - last.ckpt # diffae checkpoint\r\n    - latent.ckpt # predicted z_sem on the dataset\r\n- bedroom128_autoenc_latent\r\n    - last.ckpt # diffae + latent DPM checkpoint\r\n- bedroom128_ddpm\r\n- ...\r\n```\r\n\r\n\r\n### LMDB Datasets\r\n\r\nWe do not own any of the following datasets. We provide the LMDB ready-to-use dataset for the sake of convenience.\r\n\r\n- [FFHQ](https:\u002F\u002F1drv.ms\u002Ff\u002Fs!Ar2O0vx8sW70uLV1Ivk2pTjam1A8VA)\r\n- [CelebAHQ](https:\u002F\u002F1drv.ms\u002Ff\u002Fs!Ar2O0vx8sW70uL4GMeWEciHkHdH6vQ) \r\n\r\n**Broken links**\r\n\r\nNote: I'm trying to recover the following links. \r\n\r\n- [CelebA](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1HJAhK2hLYcT_n0gWlCu5XxdZj-bPekZ0?usp=sharing) \r\n- [LSUN Bedroom](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1O_3aT3LtY1YDE2pOQCp6MFpCk7Pcpkhb?usp=sharing)\r\n- [LSUN Horse](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1ooHW7VivZUs4i5CarPaWxakCwfeqAK8l?usp=sharing)\r\n\r\nThe directory tree should be:\r\n\r\n```\r\ndatasets\u002F\r\n- bedroom256.lmdb\r\n- celebahq256.lmdb\r\n- celeba.lmdb\r\n- ffhq256.lmdb\r\n- horse256.lmdb\r\n```\r\n\r\nYou can also download from the original sources, and use our provided codes to package them as LMDB files.\r\nOriginal sources for each dataset is as follows:\r\n\r\n- FFHQ (https:\u002F\u002Fgithub.com\u002FNVlabs\u002Fffhq-dataset)\r\n- CelebAHQ (https:\u002F\u002Fgithub.com\u002Fswitchablenorms\u002FCelebAMask-HQ)\r\n- CelebA (https:\u002F\u002Fmmlab.ie.cuhk.edu.hk\u002Fprojects\u002FCelebA.html)\r\n- LSUN (https:\u002F\u002Fgithub.com\u002Ffyu\u002Flsun)\r\n\r\nThe conversion codes are provided as:\r\n\r\n```\r\ndata_resize_bedroom.py\r\ndata_resize_celebhq.py\r\ndata_resize_celeba.py\r\ndata_resize_ffhq.py\r\ndata_resize_horse.py\r\n```\r\n\r\nGoogle drive: https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1abNP4QKGbNnymjn8607BF0cwxX2L23jh?usp=sharing\r\n\r\n\r\n## Training\r\n\r\nWe provide scripts for training & evaluate DDIM and DiffAE (including latent DPM) on the following datasets: FFHQ128, FFHQ256, Bedroom128, Horse128, Celeba64 (D2C's crop).\r\nUsually, the evaluation results (FID's) will be available in `eval` directory.\r\n\r\nNote: Most experiment requires at least 4x V100s during training the DPM models while requiring 1x 2080Ti during training the accompanying latent DPM. \r\n\r\n\r\n\r\n**FFHQ128**\r\n```\r\n# diffae\r\npython run_ffhq128.py\r\n# ddim\r\npython run_ffhq128_ddim.py\r\n```\r\n\r\nA classifier (for manipulation) can be trained using:\r\n```\r\npython run_ffhq128_cls.py\r\n```\r\n\r\n**FFHQ256**\r\n\r\nWe only trained the DiffAE due to high computation cost.\r\nThis requires 8x V100s.\r\n```\r\nsbatch run_ffhq256.py\r\n```\r\n\r\nAfter the task is done, you need to train the latent DPM (requiring only 1x 2080Ti)\r\n```\r\npython run_ffhq256_latent.py\r\n```\r\n\r\nA classifier (for manipulation) can be trained using:\r\n```\r\npython run_ffhq256_cls.py\r\n```\r\n\r\n**Bedroom128**\r\n\r\n```\r\n# diffae\r\npython run_bedroom128.py\r\n# ddim\r\npython run_bedroom128_ddim.py\r\n```\r\n\r\n**Horse128**\r\n\r\n```\r\n# diffae\r\npython run_horse128.py\r\n# ddim\r\npython run_horse128_ddim.py\r\n```\r\n\r\n**Celeba64**\r\n\r\nThis experiment can be run on 2080Ti's.\r\n\r\n```\r\n# diffae\r\npython run_celeba64.py\r\n```\r\n","# 扩散自编码器的官方实现\n\n一篇 CVPR 2022（口头报告）论文（[论文](https:\u002F\u002Fopenaccess.thecvf.com\u002Fcontent\u002FCVPR2022\u002Fhtml\u002FPreechakul_Diffusion_Autoencoders_Toward_a_Meaningful_and_Decodable_Representation_CVPR_2022_paper.html)、[网站](https:\u002F\u002Fdiff-ae.github.io\u002F)、[5分钟视频](https:\u002F\u002Fyoutu.be\u002Fi3rjEsiHoUU)）：\n\n``` \n@inproceedings{preechakul2021diffusion,\n      title={Diffusion Autoencoders: Toward a Meaningful and Decodable Representation}, \n      author={Preechakul, Konpat and Chatthee, Nattanat and Wizadwongsa, Suttisak and Suwajanakorn, Supasorn},\n      booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)}, \n      year={2022},\n}\n```\n\n## 使用方法\n\n⚙️ 尝试 Colab 教程：[![在 Colab 中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1OTfwkklN-IEd4hFk4LnweOleyDtS4XTh\u002Fview?usp=sharing)\n\n🤗 尝试网页演示：[![Replicate](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkonpatp_diffae_readme_7dacf1cc5d87.png)](https:\u002F\u002Freplicate.com\u002Fcjwbw\u002Fdiffae)\n\n注意：由于代码库预计会有大量改动，请在使用前先 fork 该仓库。\n\n### 前置条件\n\n请参阅 `requirements.txt` 文件。\n\n``` \npip install -r requirements.txt\n```\n\n### 快速入门\n\n提供了一个 Jupyter Notebook。\n\n无条件生成：`sample.ipynb`\n\n操控：`manipulate.ipynb`\n\n插值：`interpolate.ipynb`\n\n自编码：`autoencoding.ipynb`\n\n对齐您自己的图像：\n\n1. 将图像放入 `imgs` 目录。\n2. 运行 `align.py`（需要安装 `dlib` 和 `requests`）。\n3. 结果图像将保存在 `imgs_align` 目录中。\n\n\u003Ctable>\n\u003Ctr>\n\u003Cth width=\"33%\">\n`imgs` 目录中的原始图像\u003Cbr>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkonpatp_diffae_readme_c82047d9327a.jpg\" style=\"width: 100%\">\n\u003C\u002Fth>\n\u003Cth width=\"33%\">\n使用 `align.py` 对齐后的图像\u003Cbr>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkonpatp_diffae_readme_d488ae0bf242.png\" style=\"width: 100%\">\n\u003C\u002Fth>\n\u003Cth width=\"33%\">\n使用 `manipulate.ipynb` 处理后的图像\u003Cbr>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkonpatp_diffae_readme_567a2e35c16d.png\" style=\"width: 100%\">\n\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003C\u002Ftable>\n\n\n### 检查点\n\n我们为以下模型提供了检查点：\n\n1. DDIM：**FFHQ128** ([72M](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1-fa46UPSgy9ximKngBflgSj3u87-DLrw), [130M](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1-Sqes07fs1y9sAYXuYWSoDE_xxTtH4yx))，[**Bedroom128**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1-_8LZd5inoAOBT-hO5f7RYivt95FbYT1)，[**Horse128**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F10Hq3zIlJs9ZSiXDQVYuVJVf0cX4a_nDB)\n2. DiffAE（仅自编码）：[**FFHQ256**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1-5zfxT6Gl-GjxM7z9ZO2AHlB70tfmF6V)，**FFHQ128** ([72M](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F10bmB6WhLkgxybkhso5g3JmIFPAnmZMQO), [130M](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F10UNtFNfxbHBPkoIh003JkSPto5s-VbeN))，[**Bedroom128**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F12EdjbIKnvP5RngKsR0UU-4kgpPAaYtlp)，[**Horse128**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F12EtTRXzQc5uPHscpjIcci-Rg-OGa_N30)\n3. DiffAE（带有潜在 DPM，可采样）：[**FFHQ256**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1-H8WzKc65dEONN-DQ87TnXc23nTXDTYb)，[**FFHQ128**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F11pdjMQ6NS8GFFiGOq3fziNJxzXU1Mw3l)，[**Bedroom128**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F11mdxv2lVX5Em8TuhNJt-Wt2XKt25y8zU)，[**Horse128**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F11k8XNDK3ENxiRnPSUdJ4rnagJYo4uKEo)\n4. DiffAE 的分类器（用于操控）：[**FFHQ256 在 CelebAHQ 上的潜在表示**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F117Wv7RZs_gumgrCOIhDEWgsNy6BRJorg)，[**FFHQ128 在 CelebAHQ 上的潜在表示**](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F11EYIyuK6IX44C8MqreUyMgPCNiEnwhmI)\n\n检查点应放置在一个单独的目录 `checkpoints` 中。下载检查点并将其放入 `checkpoints` 目录中，目录结构应如下所示：\n\n``` \ncheckpoints\u002F\n- bedroom128_autoenc\n    - last.ckpt # diffae 检查点\n    - latent.ckpt # 数据集上的预测 z_sem\n- bedroom128_autoenc_latent\n    - last.ckpt # diffae + 潜在 DPM 检查点\n- bedroom128_ddpm\n- ...\n```\n\n\n### LMDB 数据集\n\n我们不拥有以下任何数据集。为了方便起见，我们提供了可以直接使用的 LMDB 格式数据集。\n\n- [FFHQ](https:\u002F\u002F1drv.ms\u002Ff\u002Fs!Ar2O0vx8sW70uLV1Ivk2pTjam1A8VA)\n- [CelebAHQ](https:\u002F\u002F1drv.ms\u002Ff\u002Fs!Ar2O0vx8sW70uL4GMeWEciHkHdH6vQ) \n\n**链接已失效**\n\n注：我正在尝试恢复以下链接。\n\n- [CelebA](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1HJAhK2hLYcT_n0gWlCu5XxdZj-bPekZ0?usp=sharing) \n- [LSUN Bedroom](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1O_3aT3LtY1YDE2pOQCp6MFpCk7Pcpkhb?usp=sharing)\n- [LSUN Horse](https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1ooHW7VivZUs4i5CarPaWxakCwfeqAK8l?usp=sharing)\n\n目录结构应如下所示：\n\n``` \ndatasets\u002F\n- bedroom256.lmdb\n- celebahq256.lmdb\n- celeba.lmdb\n- ffhq256.lmdb\n- horse256.lmdb\n``` \n\n您也可以从原始来源下载数据，并使用我们提供的代码将其打包成 LMDB 文件。各数据集的原始来源如下：\n\n- FFHQ（https:\u002F\u002Fgithub.com\u002FNVlabs\u002Fffhq-dataset）\n- CelebAHQ（https:\u002F\u002Fgithub.com\u002Fswitchablenorms\u002FCelebAMask-HQ）\n- CelebA（https:\u002F\u002Fmmlab.ie.cuhk.edu.hk\u002Fprojects\u002FCelebA.html）\n- LSUN（https:\u002F\u002Fgithub.com\u002Ffyu\u002Flsun）\n\n转换代码如下：\n\n``` \ndata_resize_bedroom.py\ndata_resize_celebhq.py\ndata_resize_celeba.py\ndata_resize_ffhq.py\ndata_resize_horse.py\n``` \n\nGoogle Drive：https:\u002F\u002Fdrive.google.com\u002Fdrive\u002Ffolders\u002F1abNP4QKGbNnymjn8607BF0cwxX2L23jh?usp=sharing\n\n\n## 训练\n\n我们提供了用于训练和评估 DDIM 以及 DiffAE（包括潜在 DPM）的脚本，适用于以下数据集：FFHQ128、FFHQ256、Bedroom128、Horse128、Celeba64（D2C 裁剪版本）。通常，评估结果（FID 分数）将保存在 `eval` 目录中。\n\n注意：大多数实验在训练 DPM 模型时至少需要 4 张 V100 显卡，而在训练配套的潜在 DPM 时则只需要 1 张 2080Ti 显卡。\n\n\n\n**FFHQ128**\n\n``` \n# diffae\npython run_ffhq128.py\n# ddim\npython run_ffhq128_ddim.py\n``` \n\n可用于训练分类器（用于操控）的脚本如下：\n\n``` \npython run_ffhq128_cls.py\n``` \n\n**FFHQ256**\n\n由于计算成本较高，我们仅训练了 DiffAE。这需要 8 张 V100 显卡。\n\n``` \nsbatch run_ffhq256.py\n``` \n\n任务完成后，您还需要训练潜在 DPM（只需 1 张 2080Ti 显卡）：\n\n``` \npython run_ffhq256_latent.py\n``` \n\n可用于训练分类器（用于操控）的脚本如下：\n\n``` \npython run_ffhq256_cls.py\n``` \n\n**Bedroom128**\n\n``` \n# diffae\npython run_bedroom128.py\n# ddim\npython run_bedroom128_ddim.py\n``` \n\n**Horse128**\n\n``` \n# diffae\npython run_horse128.py\n# ddim\npython run_horse128_ddim.py\n``` \n\n**Celeba64**\n\n此实验可以在 2080Ti 显卡上运行。\n\n``` \n# diffae\npython run_celeba64.py\n```","# DiffAE 快速上手指南\n\nDiffAE (Diffusion Autoencoders) 是一个基于扩散模型的自编码器，旨在生成具有语义意义且可解码的潜在表示。它支持无条件图像生成、属性编辑、插值以及图像重建。\n\n## 环境准备\n\n*   **系统要求**：Linux 或 macOS（Windows 需使用 WSL），建议配备 NVIDIA GPU。\n*   **硬件建议**：\n    *   推理\u002F微调：至少 1 张 2080Ti 或同等算力显卡。\n    *   从头训练 DPM 模型：建议 4 张 V100 及以上。\n*   **前置依赖**：\n    *   Python 3.8+\n    *   PyTorch\n    *   Git\n    *   `dlib` 和 `requests`（用于人脸对齐功能）\n\n> **注意**：由于代码库可能频繁更新，建议在使用前先 Fork 该仓库。\n\n## 安装步骤\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fpreechakul\u002Fdiffae.git\n    cd diffae\n    ```\n\n2.  **安装 Python 依赖**\n    推荐使用国内镜像源加速安装（如清华源）：\n    ```bash\n    pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n\n3.  **安装人脸对齐额外依赖**\n    如果需要处理自定义人脸图像进行属性编辑，需安装以下库：\n    ```bash\n    pip install dlib requests -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n    *(注：`dlib` 可能需要系统级编译工具，如 `cmake` 和 `build-essential`)*\n\n4.  **下载预训练模型 (Checkpoints)**\n    将下载的模型文件放入项目根目录下的 `checkpoints` 文件夹。目录结构应如下所示：\n    ```text\n    checkpoints\u002F\n    - bedroom128_autoenc\n        - last.ckpt\n        - latent.ckpt\n    - bedroom128_autoenc_latent\n        - last.ckpt\n    - ... (其他模型文件夹)\n    ```\n    *模型下载地址请参考原仓库 README 中的 Google Drive 链接。*\n\n5.  **准备数据集 (可选)**\n    如需使用自带脚本转换数据集，请将原始数据下载后放入 `datasets` 目录，或使用提供的 LMDB 文件。目录结构示例：\n    ```text\n    datasets\u002F\n    - ffhq256.lmdb\n    - bedroom256.lmdb\n    - ...\n    ```\n\n## 基本使用\n\nDiffAE 提供了多个 Jupyter Notebook 以便快速体验不同功能。请确保已下载对应的 Checkpoints 并放置在正确目录。\n\n### 1. 启动示例\n直接在浏览器中打开对应的 `.ipynb` 文件运行即可：\n\n*   **无条件图像生成**: `sample.ipynb`\n*   **图像属性编辑 (Manipulation)**: `manipulate.ipynb`\n*   **图像插值 (Interpolation)**: `interpolate.ipynb`\n*   **图像自编码重建**: `autoencoding.ipynb`\n\n### 2. 处理自定义图像进行编辑\n若要对本地人脸图片进行属性编辑（如改变发型、表情等），需先进行人脸对齐预处理：\n\n1.  将原始图片放入 `imgs` 目录。\n2.  运行对齐脚本：\n    ```bash\n    python align.py\n    ```\n3.  对齐后的图片将生成在 `imgs_align` 目录。\n4.  使用 `manipulate.ipynb` 加载 `imgs_align` 中的图片进行编辑。\n\n### 3. 在线体验 (无需本地部署)\n如果暂时无法配置本地环境，可尝试以下在线方案：\n*   **Google Colab**: [点击此处打开 walkthrough](https:\u002F\u002Fdrive.google.com\u002Ffile\u002Fd\u002F1OTfwkklN-IEd4hFk4LnweOleyDtS4XTh\u002Fview?usp=sharing)\n*   **Replicate Web Demo**: [点击此处体验](https:\u002F\u002Freplicate.com\u002Fcjwbw\u002Fdiffae)","某数字时尚工作室的设计师需要将真人模特的照片快速转化为不同发型和表情的虚拟样片，以加速新品目录的制作流程。\n\n### 没有 diffae 时\n- **编辑过程不可控**：传统生成模型难以在保留人物身份特征（如五官、肤色）的同时精准修改特定属性，往往导致“换发型变脸”。\n- **缺乏语义解耦**：潜在空间中的特征高度纠缠，调整一个参数（如微笑）会意外改变其他无关特征（如发色或背景光照）。\n- **重建质量损失**：将真实照片编码再解码时，图像细节模糊严重，无法达到商业印刷级的高清要求。\n- **迭代效率低下**：设计师需反复手动微调数百个随机噪声种子才能凑巧得到满意结果，耗时且依赖运气。\n\n### 使用 diffae 后\n- **精准属性操控**：diffae 将图像分解为语义潜变量和随机噪声，设计师可单独调整“发型”或“表情”向量，完美保留模特原有身份特征。\n- **高度解耦编辑**：基于语义的表示学习让各项特征独立可控，修改笑容时绝不会影响头发纹理或背景环境。\n- **高保真自编码**：利用扩散去噪机制，diffae 能对真实照片进行近乎无损的重建与编辑，输出图像清晰锐利，直接满足商用标准。\n- **确定性工作流**：通过语义插值和定向操纵，设计师可预测性地生成一系列连续变化的样片，将单次尝试时间从小时级缩短至分钟级。\n\ndiffae 通过将扩散模型转化为可解释、可解码的编辑器，彻底解决了高保真图像编辑中“保身份”与“改属性”难以兼得的核心痛点。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkonpatp_diffae_99c2206d.png","konpatp","Konpat","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fkonpatp_160e6e26.jpg","To lift humans from the burden of work.","UC Berkeley","Berkeley, CA","konpatp@gmail.com",null,"https:\u002F\u002Fkonpat.me","https:\u002F\u002Fgithub.com\u002Fkonpatp",[86,90,94],{"name":87,"color":88,"percentage":89},"Jupyter Notebook","#DA5B0B",94.6,{"name":91,"color":92,"percentage":93},"Python","#3572A5",5.4,{"name":95,"color":96,"percentage":97},"Shell","#89e051",0,960,157,"2026-03-29T14:39:41","MIT","未说明","必需 NVIDIA GPU。训练 DPM 模型通常需至少 4x V100；训练配套 latent DPM 需 1x 2080Ti；FFHQ256 训练需 8x V100；Celeba64 实验可在 2080Ti 上运行。",{"notes":105,"python":102,"dependencies":106},"1. 使用前请查看 requirements.txt 并安装依赖（pip install -r requirements.txt）。2. 对齐人脸图像需额外安装 dlib 和 requests。3. 需手动下载预训练检查点（checkpoints）和数据集（LMDB 格式）至指定目录。4. 部分数据集链接已失效，作者正在尝试恢复，也可从原始来源下载并使用提供的脚本转换为 LMDB 格式。5. 代码库变动较大，建议先 fork 仓库再使用。",[107,108,109,110],"torch","dlib","requests","lmdb",[14,13],[113,114,115,116,117,118,119],"deep-learning","diffusion-models","autoencoder","ffhq","lsun","latent-variable-models","cvpr2022","2026-03-27T02:49:30.150509","2026-04-06T08:08:35.174355",[123,128,133,138,143,148],{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},12995,"训练模型时，需要多少步数（iterations）才能获得高质量的结果？","1000 万步（10M）远不足以获得好的模型，此时质量远未饱和。通常需要训练到约 7200 万步（72M）左右才能开始看到合理的结果。","https:\u002F\u002Fgithub.com\u002Fkonpatp\u002Fdiffae\u002Fissues\u002F29",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},12996,"运行 bedroom 代码或训练 latent DPM 时遇到 NCCL 超时或 PytorchStreamReader 错误怎么办？","这些问题通常是由并行训练引起的。Latent DPM 最初并非设计为并行训练。解决方案是改用单张 GPU 进行训练，这样不仅避免了通信错误，而且训练时间也不会太长。","https:\u002F\u002Fgithub.com\u002Fkonpatp\u002Fdiffae\u002Fissues\u002F71",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},12997,"如何获取头部旋转向量以控制人脸姿态（例如用于回归模型）？","如果使用的是线性回归模型（权重矩阵为 512x3），头部旋转向量可以直接取该矩阵的某一列（512x1）。如果使用的是非线性模型（如 MLP），最简单的方法是通过计算“旋转预测值”对“潜在代码（latent code）”的梯度（grad）来获取。注意，对于非线性预测器，这只能得到局部方向。","https:\u002F\u002Fgithub.com\u002Fkonpatp\u002Fdiffae\u002Fissues\u002F8",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},12998,"论文中关于真实图像属性操纵（attribute manipulation）的 FID 计算流程是怎样的？","计算流程如下：1. 在 CelebA-HQ 中找到真实正样本图像的中位置信度分数（因为 FFHQ 没有标签）；2. 对 CelebA-HQ 和 FFHQ 的图像（约 3 万 +7 万张）进行操纵；3. 计算操纵后的图像与 CelebA-HQ 真实正样本图像之间的 FID；4. 计算操纵后的图像与 CelebA-HQ 真实负样本图像之间的 FID。所有图像分辨率均为 256x256。","https:\u002F\u002Fgithub.com\u002Fkonpatp\u002Fdiffae\u002Fissues\u002F65",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},12999,"如何复现论文中的 Figure 10（随机子代码生成）？","Figure 10 中的随机子代码（stochastic subcode）是从 DDIM 中随机采样得到的。具体实现时，可以向 DDIM 输入符合正态分布的随机噪声，例如使用 `np.random.normal` 生成形状为 (w, h, 1) 的随机数作为输入。","https:\u002F\u002Fgithub.com\u002Fkonpatp\u002Fdiffae\u002Fissues\u002F47",{"id":149,"question_zh":150,"answer_zh":151,"source_url":137},13000,"训练 DiffAE 自编码器模型是否需要使用标签数据？","不需要。训练自编码器（DiffAE）本身不需要任何标签数据。标签数据仅用于训练后续的分类器或回归模型（如头部姿态分类器），以便在潜在空间中进行特定的属性控制。",[]]