[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-bytedance--XVerse":3,"tool-bytedance--XVerse":65},[4,23,32,40,49,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":22},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",85267,2,"2026-04-18T11:00:28",[13,14,15,16,17,18,19,20,21],"图像","数据工具","视频","插件","Agent","其他","语言模型","开发框架","音频","ready",{"id":24,"name":25,"github_repo":26,"description_zh":27,"stars":28,"difficulty_score":29,"last_commit_at":30,"category_tags":31,"status":22},5784,"funNLP","fighting41love\u002FfunNLP","funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为\"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。\n\n面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。\n\n无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。",79857,1,"2026-04-08T20:11:31",[19,14,18],{"id":33,"name":34,"github_repo":35,"description_zh":36,"stars":37,"difficulty_score":29,"last_commit_at":38,"category_tags":39,"status":22},5773,"cs-video-courses","Developer-Y\u002Fcs-video-courses","cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。\n\n面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。\n\n这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。",79792,"2026-04-08T22:03:59",[18,13,14,20],{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":46,"last_commit_at":47,"category_tags":48,"status":22},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[17,13,20,19,18],{"id":50,"name":51,"github_repo":52,"description_zh":53,"stars":54,"difficulty_score":46,"last_commit_at":55,"category_tags":56,"status":22},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",75992,"2026-04-20T11:17:26",[19,13,20,18],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":29,"last_commit_at":63,"category_tags":64,"status":22},3215,"awesome-machine-learning","josephmisiti\u002Fawesome-machine-learning","awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。\n\n它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。\n\n其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。",72149,"2026-04-03T21:50:24",[20,18],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":80,"owner_email":80,"owner_twitter":81,"owner_website":82,"owner_url":83,"languages":84,"stars":96,"forks":97,"last_commit_at":98,"license":99,"difficulty_score":100,"env_os":101,"env_gpu":102,"env_ram":103,"env_deps":104,"category_tags":117,"github_topics":118,"view_count":10,"oss_zip_url":80,"oss_zip_packed_at":80,"status":22,"created_at":120,"updated_at":121,"faqs":122,"releases":133},10082,"bytedance\u002FXVerse","XVerse","[NeurIPS 2025] Official implementation of \"XVerse: Consistent Multi-Subject Control of Identity and Semantic Attributes via DiT Modulation\".","XVerse 是一款专注于多主体图像生成的开源 AI 工具，旨在解决传统模型在合成复杂场景时难以同时保持多个角色身份一致性与独立控制语义属性（如姿势、风格、光照）的难题。它通过一种创新的 DiT 调制技术，将参考图像转化为针对特定文本流的偏移量，从而在不干扰整体图像潜在特征的前提下，实现对画面中每个主体的精准、独立操控。这意味着用户可以轻松生成高保真且可编辑的图像，确保多个角色在同一场景中既保留各自独特的面部特征，又能灵活调整动作与环境互动。\n\n该工具特别适合从事个性化内容创作的设计师、需要高质量多主体合成数据的研究人员，以及希望探索前沿生成技术的开发者。其技术亮点在于不仅支持高精度的身份保持，还兼容量化扩散模型，并通过分组卸载等技术优化，使得在 16GB 显存的设备上也能流畅运行，大幅降低了使用门槛。此外，项目配套发布了专用的评测基准数据集与在线演示，方便用户快速上手体验或进行二次开发。无论是构建复杂的叙事场景，还是进行精细的角色定制，XVerse 都能提供强大而灵活的支持。","# XVerse: Consistent Multi-Subject Control of Identity and Semantic Attributes via DiT Modulation\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.21416\">\n            \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv%20paper-2506.21416-b31b1b.svg\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fbytedance.github.io\u002FXVerse\u002F\">\n        \u003Cimg alt=\"Project Page\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-blue\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fbytedance\u002FXVerse\u002Ftree\u002Fmain\u002Fassets\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FXVerseBench-Dataset-green\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FByteDance\u002FXVerse\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-HF%20Model-yellow\">\n    \u003C\u002Fa>    \n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FByteDance\u002FXVerse\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-HF%20Demo-yellow\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n## 🔥 News\n- **2025.9.19**: 🎉 Congratulations! XVerse has been accepted by NeurIPS 2025! 🎉\n- **2025.7.18**: Supports quantized diffusion models, and add group offload to run the XVerse model in 16GB VRAM.\n- **2025.7.10**: Release huggingface space demo.\n- **2025.7.8**: Supports low VRAM inference, can run the XVerse model in 24GB VRAM.\n- **2025.6.26**: The code has been released!\n\n![XVerse's capability in single\u002Fmulti-subject personalization and semantic attribute control (pose, style, lighting)](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbytedance_XVerse_readme_96af29488fdc.png)\n\n## 📖 Introduction\n\n**XVerse** introduces a novel approach to multi-subject image synthesis, offering **precise and independent control over individual subjects** without disrupting the overall image latents or features. We achieve this by transforming reference images into offsets for token-specific text-stream modulation.\n\nThis innovation enables high-fidelity, editable image generation where you can robustly control both **individual subject characteristics** (identity) and their **semantic attributes**. XVerse significantly enhances capabilities for personalized and complex scene generation.\n\n## ⚡️ Quick Start\n\n### Requirements and Installation\n\nFirst, install the necessary dependencies:\n\n```bash\n# Create a conda environment named XVerse with Python version 3.10.16\nconda create -n XVerse python=3.10.16 -y\n# Activate the XVerse environment\nconda activate XVerse\n# Install the correct version of pytorch (According to your machine)\npip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu124\n# Use pip to install the dependencies specified in requirements.txt\npip install -r requirements.txt\n# Install flash-attn\npip install flash-attn==2.7.4.post1 --no-build-isolation\n# Update version of httpx\npip install httpx==0.23.3\n```\n\nNext, download the required checkpoints:\n```bash\ncd checkpoints\nbash .\u002Fdownload_ckpts.sh\ncd ..\n```\n**Important**: You'll also need to download the face recognition model `model_ir_se50.pth` from [InsightFace_Pytorch](https:\u002F\u002Fgithub.com\u002FTreB1eN\u002FInsightFace_Pytorch) and place it directly into the `.\u002Fcheckpoints\u002F` folder.\n\nAfter that, you can export the model paths as environment variables. This step ensures that the subsequent inference scripts can locate the necessary models correctly:\n``` bash\nexport FLORENCE2_MODEL_PATH=\".\u002Fcheckpoints\u002FFlorence-2-large\"\nexport SAM2_MODEL_PATH=\".\u002Fcheckpoints\u002Fsam2.1_hiera_large.pt\"\nexport FACE_ID_MODEL_PATH=\".\u002Fcheckpoints\u002Fmodel_ir_se50.pth\"\nexport CLIP_MODEL_PATH=\".\u002Fcheckpoints\u002Fclip-vit-large-patch14\"\nexport FLUX_MODEL_PATH=\".\u002Fcheckpoints\u002FFLUX.1-dev\"\nexport DPG_VQA_MODEL_PATH=\".\u002Fcheckpoints\u002Fmplug_visual-question-answering_coco_large_en\"\nexport DINO_MODEL_PATH=\".\u002Fcheckpoints\u002Fdino-vits16\"\n```\n\n### Local Gradio Demo\n\nTo run the interactive Gradio demo locally, execute the following command:\n```bash\npython run_gradio.py\n```\n\n#### Input Settings Explained\nThe Gradio demo provides several parameters to control your image generation process:\n* **Prompt**: The textual description guiding the image generation.\n* **Generated Height\u002FWidth**: Use the sliders to set the shape of the output image.\n* **Weight_id\u002Fip**: Adjust these weight parameters. Higher values generally lead to better subject consistency but might slightly impact the naturalness of the generated image.\n* **latent_lora_scale and vae_lora_scale**: Control the LoRA scale. Similar to Weight_id\u002Fip, larger LoRA values can improve subject consistency but may reduce image naturalness.\n* **vae_skip_iter_before and vae_skip_iter_after**: Configure VAE skip iterations. Skipping more steps can result in better naturalness but might compromise subject consistency.\n\n#### Input Images\n\nThe demo provides detailed control over your input images:\n\n* **Expand Panel**: Click \"Input Image X\" to reveal the options for each image.\n* **Upload Image**: Click \"Image X\" to upload your desired reference image.\n* **Image Description**: Enter a description in the \"Caption X\" input box. You can also click \"Auto Caption\" to generate a description automatically.\n* **Detection & Segmentation**: Click \"Det & Seg\" to perform detection and segmentation on the uploaded image.\n* **Crop Face**: Use \"Crop Face\" to automatically crop the face from the image.\n* **ID Checkbox**: Check or uncheck \"ID or not\" to determine whether to use ID-related weights for that specific input image.\n\n> **⚠️ Important Usage Notes:**\n>\n> * **Prompt Construction**: The main text prompt **MUST** include the exact text you entered in the `Image Description` field for each active image. **Generation will fail if this description is missing from the prompt.**\n>     * *Example*: If you upload two images and set their descriptions as \"a man with red hair\" (for Image 1) and \"a woman with blue eyes\" (for Image 2), your main prompt might be: \"A `a man with red hair` walking beside `a woman with blue eyes` in a park.\"\n>     * You can then write your main prompt simply as: \"`ENT1` walking beside `ENT2` in a park.\" The code will **automatically replace** these placeholders with the full description text before generation.\n> * **Active Images**: Only images in **expanded** (un-collapsed) panels will be fed into the model. Collapsed image panels are ignored.\n\n### Inference with Single Sample\n\nTo perform inference on a single sample, run the following command. You can customize the image generation by adjusting the parameters such as the prompt, seed, and output size:\n```bash\npython inference_single_sample.py --prompt \"ENT1 wearing a tiny hat\" --seed 42 --cond_size 256 --target_height 768 --target_width 768 --weight_id 3 --weight_ip 5 --latent_lora_scale 0.85 --vae_lora_scale 1.3 --vae_skip_iter_s1 0.05 --vae_skip_iter_s2 0.8 --images \"sample\u002Fhamster.jpg\" --captions \"a hamster\" --idips false --save_path \"generated_image_1.png\" --num_images 1\n```\n\nFor inference with multiple condition images, use the command below. This allows you to incorporate multiple reference images into the generation process. Make sure to match the number of --images, --captions, and --ids values:\n```bash\npython inference_single_sample.py --prompt \"ENT1, and ENT2 standing together in a park.\" --seed 42 --cond_size 256 --target_height 768 --target_width 768 --weight_id 2 --weight_ip 5 --latent_lora_scale 0.85 --vae_lora_scale 1.3 --vae_skip_iter_s1 0.05 --vae_skip_iter_s2 0.8 --images \"sample\u002Fwoman.jpg\" \"sample\u002Fgirl.jpg\" --captions \"a woman\" \"a girl\" --idips true true --save_path \"generated_image_2.png\" --num_images 1\n```\n\n## ⚡️ Low-VRAM Inference\n\n### Offload Modules to CPU\n\n- During inference with a single sample or running gradio demo, you can enable low VRAM mode by adding the parameter `--use_low_vram True` or `--use_lower_vram True`. \n- `use_low_vram` allows you to perform inference with up to two conditional images on a GPU equipped with 24GB of VRAM.\n- `use_lower_vram` allows you to perform inference with up to three conditional images on a GPU equipped with 16GB of VRAM. \n- Note that CPU offload significantly reduces inference speed and should only be enabled when necessary.\n\n### Quantized Diffusion Models\n\n- You can download the quantized model from [here](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002Fdiffusers\u002Fflux-quantized-checkpoints-682c951aebd378a2462984a0) into the checkpoints folder‌. Using the bnb-nf4 quantized model, you can run inference with a single condition on 32GB of VRAM, or perform inference with three conditions on 24GB of VRAM by enabling the CPU offloading feature. You need to modify the `FLUX_MODEL_PATH` environment variable and add the parameter `--dit_quant None`.\n- You can also download the GGUF quantized model from [here](https:\u002F\u002Fhuggingface.co\u002Fcity96\u002FFLUX.1-dev-gguf) into the checkpoints folder‌. Using this GGUF quantized model, you can perform two-condition inference with 32GB of video memory, or achieve four-condition-based inference in a 24GB video memory environment by enabling the CPU offloading feature. You can run the inference using the following commands:\n```bash\nexport FLUX_TRANSFORMERS_PATH=\".\u002Fcheckpoints\u002FFLUX.1-dev-gguf\u002Fflux1-dev-Q3_K_S.gguf\"\nexport FLUX_MODEL_PATH=\".\u002Fcheckpoints\u002FFLUX.1-dev\"\npython inference_single_sample.py --prompt \"ENT1, and ENT2 standing together in a park.\" --seed 42 --cond_size 256 --target_height 768 --target_width 768 --weight_id 3 --weight_ip 5 --latent_lora_scale 0.7 --vae_lora_scale 1.2 --vae_skip_iter_s1 0.05 --vae_skip_iter_s2 0.8 --images \"sample\u002Fwoman.jpg\" \"sample\u002Fgirl.jpg\" --captions \"a woman\" \"a girl\" --idips true true --save_path \"generated_image_2-GGUF.png\" --num_images 1 --dit_quant GGUF\n```\n**Note**: Quantized models may degrade the model's performance to some extent, and parameters like `weight_id`, `weight_ip`, and `lora_scale` may need to be re-adjusted.\n\n## Inference with XVerseBench\n\n![XVerseBench](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbytedance_XVerse_readme_81ea70a42e8c.png)\n\nFirst, please download XVerseBench according to the contents in the `assets` folder. Then, when running inference, please execute the following command:\n```bash\nbash .\u002Feval\u002Feval_scripts\u002Frun_eval.sh\n```\nThe script will automatically evaluate the model on the XVerseBench dataset and save the results in the `.\u002Fresults` folder.\n\n## 📌 ToDo\n\n- [x] Release github repo.\n- [x] Release arXiv paper.\n- [x] Release model checkpoints.\n- [x] Release inference data: XVerseBench.\n- [x] Release inference code for XVerseBench.\n- [x] Release inference code for gradio demo.\n- [x] Release inference code for single sample.\n- [x] Support inference in consumer-grade GPUs.\n- [x] Release huggingface space demo.\n- [x] Support quantized diffusion models.\n- [ ] Release Benchmark Leaderboard.\n- [ ] Release ComfyUI implementation.\n\n## License\n    \nThe code in this project is licensed under Apache 2.0; the dataset is licensed under CC0, subject to the intellctual property owned by Bytedance. Meanwhile, the dataset is adapted from [dreambench++](https:\u002F\u002Fdreambenchplus.github.io\u002F), you should also comply with the license of dreambench++.\n\n## Acknowledgments\nWe sincerely thank Alex Nasa for deploying the Hugging Face demo with the FLUX.1-schnell model. You can experience this online demo by clicking [here](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Falexnasa\u002FXVerse).\n    \n##  Citation\nIf XVerse is helpful, please help to ⭐ the repo.\n\nIf you find this project useful for your research, please consider citing our paper:\n```bibtex\n@article{chen2025xverse,\n  title={XVerse: Consistent Multi-Subject Control of Identity and Semantic Attributes via DiT Modulation},\n  author={Chen, Bowen and Zhao, Mengyi and Sun, Haomiao and Chen, Li and Wang, Xu and Du, Kang and Wu, Xinglong},\n  journal={arXiv preprint arXiv:2506.21416},\n  year={2025}\n\n\n}\n","# XVerse：通过DiT调制实现身份与语义属性的一致性多主体控制\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2506.21416\">\n            \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv%20paper-2506.21416-b31b1b.svg\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fbytedance.github.io\u002FXVerse\u002F\">\n        \u003Cimg alt=\"Project Page\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-blue\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fbytedance\u002FXVerse\u002Ftree\u002Fmain\u002Fassets\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FXVerseBench-Dataset-green\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002FByteDance\u002FXVerse\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-HF%20Model-yellow\">\n    \u003C\u002Fa>    \n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002FByteDance\u002FXVerse\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-HF%20Demo-yellow\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n## 🔥 最新消息\n- **2025年9月19日**：🎉 恭喜！XVerse已被NeurIPS 2025接收！🎉\n- **2025年7月18日**：支持量化扩散模型，并新增分组卸载功能，可在16GB显存下运行XVerse模型。\n- **2025年7月10日**：发布Hugging Face Space演示。\n- **2025年7月8日**：支持低显存推理，可在24GB显存下运行XVerse模型。\n- **2025年6月26日**：代码已公开！\n\n![XVerse在单\u002F多主体个性化及语义属性控制（姿态、风格、光照）方面的能力](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbytedance_XVerse_readme_96af29488fdc.png)\n\n## 📖 简介\n\n**XVerse**提出了一种全新的多主体图像合成方法，能够在不破坏整体图像潜在空间或特征的情况下，对**各个主体进行精确且独立的控制**。我们通过将参考图像转换为针对特定标记的文本流调制偏移量来实现这一目标。\n\n这一创新使得高保真、可编辑的图像生成成为可能，您可以稳健地控制**个体主体特征**（身份）及其**语义属性**。XVerse显著提升了个性化和复杂场景生成的能力。\n\n## ⚡️ 快速入门\n\n### 环境要求与安装\n\n首先，安装必要的依赖项：\n\n```bash\n# 创建名为XVerse的conda环境，Python版本为3.10.16\nconda create -n XVerse python=3.10.16 -y\n# 激活XVerse环境\nconda activate XVerse\n# 安装适合您硬件的PyTorch版本\npip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu124\n# 使用pip安装requirements.txt中列出的依赖\npip install -r requirements.txt\n# 安装flash-attn\npip install flash-attn==2.7.4.post1 --no-build-isolation\n# 更新httpx版本\npip install httpx==0.23.3\n```\n\n接下来，下载所需的检查点文件：\n```bash\ncd checkpoints\nbash .\u002Fdownload_ckpts.sh\ncd ..\n```\n**重要提示**：您还需要从[InsightFace_Pytorch](https:\u002F\u002Fgithub.com\u002FTreB1eN\u002FInsightFace_Pytorch)下载人脸识别模型`model_ir_se50.pth`，并将其直接放置在`.\u002Fcheckpoints\u002F`文件夹中。\n\n之后，您可以将模型路径导出为环境变量。这一步骤确保后续的推理脚本能够正确找到所需的模型：\n``` bash\nexport FLORENCE2_MODEL_PATH=\".\u002Fcheckpoints\u002FFlorence-2-large\"\nexport SAM2_MODEL_PATH=\".\u002Fcheckpoints\u002Fsam2.1_hiera_large.pt\"\nexport FACE_ID_MODEL_PATH=\".\u002Fcheckpoints\u002Fmodel_ir_se50.pth\"\nexport CLIP_MODEL_PATH=\".\u002Fcheckpoints\u002Fclip-vit-large-patch14\"\nexport FLUX_MODEL_PATH=\".\u002Fcheckpoints\u002FFLUX.1-dev\"\nexport DPG_VQA_MODEL_PATH=\".\u002Fcheckpoints\u002Fmplug_visual-question-answering_coco_large_en\"\nexport DINO_MODEL_PATH=\".\u002Fcheckpoints\u002Fdino-vits16\"\n```\n\n### 本地Gradio演示\n\n要在本地运行交互式Gradio演示，请执行以下命令：\n```bash\npython run_gradio.py\n```\n\n#### 输入设置说明\nGradio演示提供了多个参数来控制您的图像生成过程：\n* **Prompt**：指导图像生成的文本描述。\n* **生成高度\u002F宽度**：使用滑块设置输出图像的尺寸。\n* **Weight_id\u002Fip**：调整这些权重参数。较高的值通常能提升主体一致性，但可能会略微影响生成图像的自然度。\n* **latent_lora_scale和vae_lora_scale**：控制LoRA比例。与Weight_id\u002Fip类似，较大的LoRA值可以提高主体一致性，但可能降低图像自然度。\n* **vae_skip_iter_before和vae_skip_iter_after**：配置VAE跳过迭代次数。跳过更多步骤可以使图像更自然，但可能会影响主体一致性。\n\n#### 输入图像\n演示对输入图像提供了详细的控制选项：\n* **展开面板**：点击“Input Image X”以显示每张图像的选项。\n* **上传图像**：点击“Image X”上传您希望使用的参考图像。\n* **图像描述**：在“Caption X”输入框中输入描述。您也可以点击“Auto Caption”自动生成描述。\n* **检测与分割**：点击“Det & Seg”对上传的图像进行检测和分割。\n* **裁剪人脸**：使用“Crop Face”自动裁剪图像中的人脸。\n* **ID复选框**：勾选或取消勾选“ID or not”，以决定是否对该输入图像使用与身份相关的权重。\n\n> **⚠️ 重要使用说明：**\n>\n> * **Prompt构建**：主文本提示**必须**包含您为每个启用的图像在“Image Description”字段中输入的确切文本。如果提示中缺少该描述，**生成将失败**。\n>     * *示例*：如果您上传两张图像，并分别设置其描述为“红发男子”（图像1）和“蓝眼睛女子”（图像2），那么您的主提示可能是：“一位 `红发男子` 在公园里与 `蓝眼睛女子` 并肩行走。”\n>     * 您随后只需简单地写下主提示：“`ENT1` 在公园里与 `ENT2` 并肩行走。”代码会在生成前将这些占位符**自动替换**为完整的描述文本。\n> * **启用的图像**：只有处于**展开**状态（未折叠）的图像才会被送入模型。折叠的图像面板将被忽略。\n\n### 单样本推理\n\n要对单个样本进行推理，请运行以下命令。您可以通过调整提示词、种子值、输出尺寸等参数来自定义图像生成：\n```bash\npython inference_single_sample.py --prompt \"ENT1戴着一顶小帽子\" --seed 42 --cond_size 256 --target_height 768 --target_width 768 --weight_id 3 --weight_ip 5 --latent_lora_scale 0.85 --vae_lora_scale 1.3 --vae_skip_iter_s1 0.05 --vae_skip_iter_s2 0.8 --images \"sample\u002Fhamster.jpg\" --captions \"一只仓鼠\" --idips false --save_path \"generated_image_1.png\" --num_images 1\n```\n\n对于使用多张条件图像的推理，请使用下面的命令。这允许您在生成过程中纳入多张参考图像。请确保 `--images`、`--captions` 和 `--ids` 的数量一致：\n```bash\npython inference_single_sample.py --prompt \"ENT1和ENT2一起站在公园里。\" --seed 42 --cond_size 256 --target_height 768 --target_width 768 --weight_id 2 --weight_ip 5 --latent_lora_scale 0.85 --vae_lora_scale 1.3 --vae_skip_iter_s1 0.05 --vae_skip_iter_s2 0.8 --images \"sample\u002Fwoman.jpg\" \"sample\u002Fgirl.jpg\" --captions \"一位女性\" \"一位女孩\" --idips true true --save_path \"generated_image_2.png\" --num_images 1\n```\n\n## ⚡️ 低显存推理\n\n### 将模块卸载到 CPU\n\n- 在单样本推理或运行 Gradio 演示时，您可以通过添加参数 `--use_low_vram True` 或 `--use_lower_vram True` 来启用低显存模式。\n- `use_low_vram` 允许在配备 24GB 显存的 GPU 上进行最多两张条件图像的推理。\n- `use_lower_vram` 允许在配备 16GB 显存的 GPU 上进行最多三张条件图像的推理。\n- 请注意，CPU 卸载会显著降低推理速度，因此仅在必要时才应启用。\n\n### 量化扩散模型\n\n- 您可以从 [这里](https:\u002F\u002Fhuggingface.co\u002Fcollections\u002Fdiffusers\u002Fflux-quantized-checkpoints-682c951aebd378a2462984a0) 下载量化模型，并将其放入 checkpoints 文件夹中。使用 bnb-nf4 量化模型，在 32GB 显存环境下可以进行单条件推理；而在 24GB 显存环境下，则可通过启用 CPU 卸载功能来实现三条件推理。您需要修改 `FLUX_MODEL_PATH` 环境变量，并添加参数 `--dit_quant None`。\n- 您也可以从 [这里](https:\u002F\u002Fhuggingface.co\u002Fcity96\u002FFLUX.1-dev-gguf) 下载 GGUF 量化模型，并将其放入 checkpoints 文件夹中。使用此 GGUF 量化模型，在 32GB 显存环境下可进行两条件推理；而在 24GB 显存环境下，则可通过启用 CPU 卸载功能实现四条件推理。您可以使用以下命令进行推理：\n```bash\nexport FLUX_TRANSFORMERS_PATH=\".\u002Fcheckpoints\u002FFLUX.1-dev-gguf\u002Fflux1-dev-Q3_K_S.gguf\"\nexport FLUX_MODEL_PATH=\".\u002Fcheckpoints\u002FFLUX.1-dev\"\npython inference_single_sample.py --prompt \"ENT1和ENT2一起站在公园里。\" --seed 42 --cond_size 256 --target_height 768 --target_width 768 --weight_id 3 --weight_ip 5 --latent_lora_scale 0.7 --vae_lora_scale 1.2 --vae_skip_iter_s1 0.05 --vae_skip_iter_s2 0.8 --images \"sample\u002Fwoman.jpg\" \"sample\u002Fgirl.jpg\" --captions \"一位女性\" \"一位女孩\" --idips true true --save_path \"generated_image_2-GGUF.png\" --num_images 1 --dit_quant GGUF\n```\n**注意**：量化模型可能会在一定程度上降低模型性能，`weight_id`、`weight_ip` 和 `lora_scale` 等参数可能需要重新调整。\n\n## 使用 XVerseBench 进行推理\n\n![XVerseBench](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbytedance_XVerse_readme_81ea70a42e8c.png)\n\n首先，请根据 `assets` 文件夹中的内容下载 XVerseBench。然后，在运行推理时，请执行以下命令：\n```bash\nbash .\u002Feval\u002Feval_scripts\u002Frun_eval.sh\n```\n该脚本将自动在 XVerseBench 数据集上评估模型，并将结果保存到 `.\u002Fresults` 文件夹中。\n\n## 📌 待办事项\n\n- [x] 发布 GitHub 仓库。\n- [x] 发表 arXiv 论文。\n- [x] 发布模型检查点。\n- [x] 发布推理数据：XVerseBench。\n- [x] 发布 XVerseBench 的推理代码。\n- [x] 发布 Gradio 演示的推理代码。\n- [x] 发布单样本推理代码。\n- [x] 支持消费级 GPU 上的推理。\n- [x] 发布 Hugging Face Space 演示。\n- [x] 支持量化扩散模型。\n- [ ] 发布基准排行榜。\n- [ ] 发布 ComfyUI 实现。\n\n## 许可证\n\n本项目的代码采用 Apache 2.0 许可证；数据集采用 CC0 许可证，但受字节跳动拥有的知识产权约束。同时，该数据集改编自 [dreambench++](https:\u002F\u002Fdreambenchplus.github.io\u002F)，您也应遵守 dreambench++ 的许可证。\n\n## 致谢\n我们衷心感谢 Alex Nasa 部署了基于 FLUX.1-schnell 模型的 Hugging Face 演示。您可以通过点击 [这里](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Falexnasa\u002FXVerse) 体验该在线演示。\n\n## 引用\n如果 XVerse 对您有所帮助，请为本仓库点赞（⭐）。\n\n如果您认为本项目对您的研究有帮助，请考虑引用我们的论文：\n```bibtex\n@article{chen2025xverse,\n  title={XVerse: 通过 DiT 调制实现身份与语义属性的一致性多主体控制},\n  author={Chen, Bowen and Zhao, Mengyi and Sun, Haomiao and Chen, Li and Wang, Xu and Du, Kang and Wu, Xinglong},\n  journal={arXiv 预印本 arXiv:2506.21416},\n  year={2025}\n\n\n}","# XVerse 快速上手指南\n\nXVerse 是一个基于 DiT 调制技术的开源工具，支持在多主体图像生成中精确控制每个主体的身份（Identity）和语义属性（如姿态、风格、光照），且互不干扰。\n\n## 环境准备\n\n*   **操作系统**: Linux (推荐)\n*   **Python 版本**: 3.10.16\n*   **GPU 要求**: \n    *   标准推理：建议 24GB+ VRAM\n    *   低显存模式：支持 16GB VRAM (需开启 CPU Offload 或量化模型)\n*   **CUDA 版本**: 12.4 (对应 PyTorch 2.6.0)\n\n## 安装步骤\n\n### 1. 创建并激活 Conda 环境\n```bash\nconda create -n XVerse python=3.10.16 -y\nconda activate XVerse\n```\n\n### 2. 安装 PyTorch 及依赖\n请根据您的机器 CUDA 版本调整 PyTorch 安装命令（以下默认为 cu124）：\n```bash\npip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu124\npip install -r requirements.txt\npip install flash-attn==2.7.4.post1 --no-build-isolation\npip install httpx==0.23.3\n```\n\n### 3. 下载模型权重\n运行脚本下载基础检查点：\n```bash\ncd checkpoints\nbash .\u002Fdownload_ckpts.sh\ncd ..\n```\n\n**重要补充**：需手动下载人脸识别模型 `model_ir_se50.pth`。\n*   来源：[InsightFace_Pytorch](https:\u002F\u002Fgithub.com\u002FTreB1eN\u002FInsightFace_Pytorch)\n*   操作：将下载好的 `model_ir_se50.pth` 直接放入 `.\u002Fcheckpoints\u002F` 目录。\n\n### 4. 配置环境变量\n设置模型路径以便推理脚本正确加载：\n```bash\nexport FLORENCE2_MODEL_PATH=\".\u002Fcheckpoints\u002FFlorence-2-large\"\nexport SAM2_MODEL_PATH=\".\u002Fcheckpoints\u002Fsam2.1_hiera_large.pt\"\nexport FACE_ID_MODEL_PATH=\".\u002Fcheckpoints\u002Fmodel_ir_se50.pth\"\nexport CLIP_MODEL_PATH=\".\u002Fcheckpoints\u002Fclip-vit-large-patch14\"\nexport FLUX_MODEL_PATH=\".\u002Fcheckpoints\u002FFLUX.1-dev\"\nexport DPG_VQA_MODEL_PATH=\".\u002Fcheckpoints\u002Fmplug_visual-question-answering_coco_large_en\"\nexport DINO_MODEL_PATH=\".\u002Fcheckpoints\u002Fdino-vits16\"\n```\n\n## 基本使用\n\n### 方式一：启动本地 Gradio 交互界面（推荐）\n适合快速测试和调整参数。\n\n```bash\npython run_gradio.py\n```\n启动后在浏览器打开指定地址即可。\n\n**使用提示**：\n1.  **图片上传**：点击 \"Input Image X\" 展开面板，上传图片并填写描述（Caption）。\n2.  **提示词构建**：主 Prompt **必须** 包含图片描述或使用占位符。\n    *   若图片描述为 \"a man with red hair\"，Prompt 可写为：\"`ENT1` walking in a park.\" (代码会自动替换 `ENT1`)。\n    *   或者直接写全：\"A `a man with red hair` walking in a park.\"\n3.  **生效条件**：只有**展开状态**的图片面板会被模型处理，折叠的面板将被忽略。\n\n### 方式二：命令行单样本推理\n适合批量任务或集成到工作流中。\n\n**单主体生成示例**：\n```bash\npython inference_single_sample.py --prompt \"ENT1 wearing a tiny hat\" --seed 42 --cond_size 256 --target_height 768 --target_width 768 --weight_id 3 --weight_ip 5 --latent_lora_scale 0.85 --vae_lora_scale 1.3 --vae_skip_iter_s1 0.05 --vae_skip_iter_s2 0.8 --images \"sample\u002Fhamster.jpg\" --captions \"a hamster\" --idips false --save_path \"generated_image_1.png\" --num_images 1\n```\n\n**多主体生成示例**：\n```bash\npython inference_single_sample.py --prompt \"ENT1, and ENT2 standing together in a park.\" --seed 42 --cond_size 256 --target_height 768 --target_width 768 --weight_id 2 --weight_ip 5 --latent_lora_scale 0.85 --vae_lora_scale 1.3 --vae_skip_iter_s1 0.05 --vae_skip_iter_s2 0.8 --images \"sample\u002Fwoman.jpg\" \"sample\u002Fgirl.jpg\" --captions \"a woman\" \"a girl\" --idips true true --save_path \"generated_image_2.png\" --num_images 1\n```\n\n### 低显存优化（可选）\n如果您的显存不足（16GB-24GB），可在上述命令中添加以下参数：\n*   **24GB 显存**：添加 `--use_low_vram True`\n*   **16GB 显存**：添加 `--use_lower_vram True`\n*   **量化模型**：下载 GGUF 或 BNB 量化模型后，设置相应环境变量并添加 `--dit_quant GGUF` 参数（详见原文 Low-VRAM Inference 章节）。","某电商视觉团队需要为“双十一”大促快速生成一组包含多位特定模特、穿着不同风格服饰且姿态各异的商品宣传海报。\n\n### 没有 XVerse 时\n- **身份一致性难以维持**：当尝试让同一位模特出现在多张不同背景或动作的图片中时，传统方法往往导致模特面部特征发生漂移，看起来像不同的人。\n- **多主体控制混乱**：一旦画面中出现两位以上特定人物，模型容易混淆特征，导致“张冠李戴”，无法精准指定谁穿什么衣服或摆什么姿势。\n- **属性编辑相互干扰**：调整其中一个人的姿态或光影时，往往会意外改变另一个人的身份特征或整体画面的语义逻辑。\n- **重绘成本极高**：为了修正上述错误，设计师不得不反复进行局部重绘（Inpainting）和后期 PS 修补，单张海报耗时数小时。\n\n### 使用 XVerse 后\n- **身份精准锁定**：利用 DiT 调制技术，XVerse 能将参考图转化为独立的令牌偏移量，确保每位模特在任何场景下都能保持高度一致的面部 identity。\n- **独立的多主体操控**：支持对画面中的每个主体进行解耦控制，可分别指定模特 A 穿红衣挥手、模特 B 穿蓝衣微笑，互不干扰。\n- **语义属性自由编辑**：在保持人物身份不变的前提下，能独立调整每个人的姿态、光照风格甚至服饰细节，实现高保真的精细化编辑。\n- **工作流大幅提速**：无需繁琐的后期修补，输入提示词与参考图即可直接生成可用素材，将单张海报的制作周期从小时级缩短至分钟级。\n\nXVerse 通过解耦身份与语义属性的控制难题，让复杂的多角色商业图像生成变得既精准又高效。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fbytedance_XVerse_81ea70a4.png","bytedance","Bytedance Inc.","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fbytedance_7fee2b15.png","",null,"ByteDanceOSS","https:\u002F\u002Fopensource.bytedance.com","https:\u002F\u002Fgithub.com\u002Fbytedance",[85,89,92],{"name":86,"color":87,"percentage":88},"Python","#3572A5",98.3,{"name":90,"color":91,"percentage":29},"Cuda","#3A4E3A",{"name":93,"color":94,"percentage":95},"Shell","#89e051",0.7,623,46,"2026-04-13T08:16:04","Apache-2.0",4,"Linux","必需 NVIDIA GPU。标准模式需 24GB+ 显存；开启低显存模式 (--use_low_vram) 需 24GB (支持 2 个条件图) 或 16GB (支持 3 个条件图，--use_lower_vram)；使用量化模型 (GGUF\u002FBNB) 配合 CPU 卸载可在 24GB-32GB 显存下运行多条件生成。安装命令指定 CUDA 12.4。","未说明 (建议系统内存充足以支持 CPU 卸载模式)",{"notes":105,"python":106,"dependencies":107},"1. 必须手动下载 InsightFace 的人脸识别模型 (model_ir_se50.pth) 并放入 checkpoints 目录。2. 需设置多个环境变量指向 Florence-2, SAM2, CLIP, FLUX 等模型路径。3. 提示词构建有严格要求：主提示词必须包含每个输入图像的描述文本，或使用 ENT1, ENT2 等占位符由代码自动替换。4. 仅展开的面板图像会被处理。5. 量化模型可能降低生成质量，需重新调整权重参数。","3.10.16",[108,109,110,111,112,113,114,115,116],"torch==2.6.0","torchvision==0.21.0","torchaudio==2.6.0","flash-attn==2.7.4.post1","httpx==0.23.3","gradio","transformers","diffusers","insightface",[18],[119],"research","2026-03-27T02:49:30.150509","2026-04-20T19:32:46.585846",[123,128],{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},45280,"如何实现风格迁移（Style Transfer）？","您可以尝试对图像风格进行简单的文字描述，并注入对应的条件图像。需要注意的是，当前发布版本主要专注于保持身份（ID\u002FIP），在风格注入和姿态注入等场景下的表现尚不稳定。后续将对风格和姿态等属性的注入效果进行进一步优化。","https:\u002F\u002Fgithub.com\u002Fbytedance\u002FXVerse\u002Fissues\u002F15",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},45281,"运行时报错 'No module named facer' 如何解决？","该问题是由于缺少依赖包导致的。维护者已更新 requirements.txt 文件和安装指南。您可以直接运行命令 \"pip install pyfacer\" 来安装缺失的包以解决问题。","https:\u002F\u002Fgithub.com\u002Fbytedance\u002FXVerse\u002Fissues\u002F6",[]]