[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-JIA-Lab-research--DreamOmni2":3,"tool-JIA-Lab-research--DreamOmni2":64},[4,17,26,35,48,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,2,"2026-04-03T11:11:01",[13,14,15],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":10,"last_commit_at":32,"category_tags":33,"status":16},4292,"Deep-Live-Cam","hacksider\u002FDeep-Live-Cam","Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具，用户仅需一张静态照片，即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点，让高质量的数字内容创作变得触手可及。\n\n这款工具不仅适合开发者和技术研究人员探索算法边界，更因其极简的操作逻辑（仅需三步：选脸、选摄像头、启动），广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换，还是制作趣味短视频和直播互动，Deep-Live-Cam 都能提供流畅的支持。\n\n其核心技术亮点在于强大的实时处理能力，支持口型遮罩（Mouth Mask）以保留使用者原始的嘴部动作，确保表情自然精准；同时具备“人脸映射”功能，可同时对画面中的多个主体应用不同面孔。此外，项目内置了严格的内容安全过滤机制，自动拦截涉及裸露、暴力等不当素材，并倡导用户在获得授权及明确标注的前提下合规使用，体现了技术发展与伦理责任的平衡。",88924,"2026-04-06T03:28:53",[13,14,15,34],"视频",{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,43,34,44,15,45,46,13,47],"数据工具","插件","其他","语言模型","音频",{"id":49,"name":50,"github_repo":51,"description_zh":52,"stars":53,"difficulty_score":10,"last_commit_at":54,"category_tags":55,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,46,45],{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74939,"2026-04-05T23:16:38",[46,14,13,45],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":76,"owner_company":78,"owner_location":78,"owner_email":78,"owner_twitter":78,"owner_website":78,"owner_url":79,"languages":80,"stars":85,"forks":86,"last_commit_at":87,"license":88,"difficulty_score":10,"env_os":89,"env_gpu":90,"env_ram":91,"env_deps":92,"category_tags":104,"github_topics":105,"view_count":23,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":109,"updated_at":110,"faqs":111,"releases":142},4209,"JIA-Lab-research\u002FDreamOmni2","DreamOmni2","This project is the official implementation of 'DreamOmni2: Multimodal Instruction-based Editing and Generation''","DreamOmni2 是一款强大的开源多模态人工智能模型，专注于基于指令的图像编辑与生成。它旨在解决传统工具在处理复杂需求时的局限性：无论是需要严格保留原图非编辑区域的精细修改，还是仅需参考主体身份或抽象风格（如材质、妆容、艺术流派）进行全新创作，DreamOmni2 都能通过结合文本指令与参考图片来精准执行。\n\n该工具的独特亮点在于其“统一架构”设计，将编辑与生成两项通常分离的任务整合到一个模型中。它不仅支持对具体物体的引用，更能理解并复现抽象属性，在保持主体一致性和姿态准确性方面表现卓越，部分能力甚至媲美商业级模型。此外，项目还配套发布了专用评测基准（Benchmark），推动了该领域的标准化发展。\n\nDreamOmni2 非常适合多元用户群体：研究人员可利用其开源代码和基准数据探索多模态前沿技术；开发者能将其集成到 ComfyUI 等工作流中构建应用；设计师和普通用户则可通过 Hugging Face 提供的在线演示，轻松实现高质量的图像创意编辑与生成，无需深厚的技术背景即可享受先进的 AI 视觉能力。","# DreamOmni2: Multimodal Instruction-based Editing and Generation\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fhtml\u002F2510.06679v1\">\n            \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv%20paper-2510.06679v1-b31b1b.svg\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fpbihao.github.io\u002Fprojects\u002FDreamOmni2\u002Findex.html\">\n        \u003Cimg alt=\"Project Page\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-blue\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=8xpoiRK57uU\">\n        \u003Cimg alt=\"Video Demo\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FVideo-Demo-red\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fxiabs\u002FDreamOmni2Bench\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDreamOmni2-Benchmark-green\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fxiabs\u002FDreamOmni2\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-HF%20Model-yellow\">\n    \u003C\u002Fa>    \n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwcy1122\u002FDreamOmni2-Edit\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-HF%20Editing%20Demo-yellow\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwcy1122\u002FDreamOmni2-Gen\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-HF%20Generation%20Demo-yellow\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fwww.runninghub.ai\u002Fworkflow\u002F1980131298238959618\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FComfyUI-Runninghub-blue\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n## 🔥 News\n- 🔥**2025.10.10**: Release DreamOmni2 [editing demo](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwcy1122\u002FDreamOmni2-Edit) and [generation demo](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwcy1122\u002FDreamOmni2-Gen)\n- 🔥**2025.10.10**: Release DreamOmni2 [Benchmark](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fxiabs\u002FDreamOmni2Bench).\n- 🔥**2025.10.10**: Release DreamOmni2's [codes](https:\u002F\u002Fgithub.com\u002Fdvlab-research\u002FDreamOmni2) and [models](https:\u002F\u002Fhuggingface.co\u002Fxiabs\u002FDreamOmni2).\n- 🔥**2025.10.09**: Release DreamOmni2 [tech report](https:\u002F\u002Farxiv.org\u002Fhtml\u002F2510.06679v1).\n\n\n\u003Cp align=\"center\">\n  \u003Cimg width=\"600\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FJIA-Lab-research_DreamOmni2_readme_1ffadc3d476e.png\">\n\u003C\u002Fp>\n\n\n\u003Cdiv align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fcloud.video.taobao.com\u002Fvod\u002FHxWB8i8sYkh0DdfvfByoMHqRtezNMCpWJdjzWTOCqdY.mp4\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FJIA-Lab-research_DreamOmni2_readme_cbcff866b960.png\" alt=\"Watch the video\" style=\"width: 600px;\">\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\n## Introduction\n\n**(1) Multimodal Instruction-based Generation**\n\nFor traditional subject-driven generation based on concrete objects, DreamOmni2 achieves the best results among open-source models, showing superior identity and pose consistency. Additionally, DreamOmni2 can reference abstract attributes (such as material, texture, makeup, hairstyle, posture, design style, artistic style, etc.), even surpassing commercial models in this area.\n\n**(2) Multimodal Instruction-based Editing**\n\nBeyond traditional instruction-based editing models, DreamOmni2 supports multimodal instruction editing. In everyday editing tasks, there are often elements that are difficult to describe purely with language and require reference images. Our model addresses this need, supporting references to any concrete objects and abstract attributes, with performance comparable to commercial models.\n\n**(3) Unified Generation and Editing Model**\n\nBuilding upon these two new tasks, we introduce DreamOmni2, which is capable of multimodal instruction-based editing and generation under any concrete or abstract concept guidance. Overall, DreamOmni2 is a more intelligent and powerful open-sourced unified generation and editing model, offering enhanced capabilities across a wide range of tasks.\n\n## Editing and Generation Model?\nEditing and generation are distinct tasks. Editing requires strict consistency in preserving the non-edited areas of the source image, while generation only needs to retain the ID, IP, or attribution from the reference image as per the instructions, allowing the entire image to be regenerated with a focus on aesthetics. We’ve found that the instructions for generation and editing are often similar, so we’ve separated these two tasks to make it easier for users to choose the appropriate task type.\n\n## Quick Start\n\n### Requirements and Installation\n\nFirst, install the necessary dependencies:\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fdvlab-research\u002FDreamOmni2\ncd .\u002FDreamOmni2\npip install -r requirements.txt\n```\n\nNext, download the DreamOmni2 weights into the models folder.\n\n```bash\nhuggingface-cli download --resume-download --local-dir-use-symlinks False xiabs\u002FDreamOmni2 --local-dir .\u002Fmodels\n```\n\n### Inference\n\nMultimodal Instriction-based Editing\n\n**Notably, for editing tasks, due to the format settings of the training data, we need to place the image to be edited in the first position.**\n\n```bash\npython3 \u002Fmnt\u002Fbn\u002Funifygen\u002Fxiabin_dev\u002Ficlr2026\u002FDreamOmni2\u002Finference_edit.py \\\n    --input_img_path \"example_input\u002Fedit_tests\u002Fsrc.jpg\" \"example_input\u002Fedit_tests\u002Fref.jpg\" \\\n    --input_instruction \"Make the woman from the second image stand on the road in the first image.\" \\\n    --output_path \"example_input\u002Fedit_tests\u002Fedit_res.png\"\n```\n\nMultimodal Instriction-based Generation\n```bash\npython3 \u002Fmnt\u002Fbn\u002Funifygen\u002Fxiabin_dev\u002Ficlr2026\u002FDreamOmni2\u002Finference_gen.py \\\n    --input_img_path \"example_input\u002Fgen_tests\u002Fimg1.jpg\" \"example_input\u002Fgen_tests\u002Fimg2.jpg\" \\\n    --input_instruction \"In the scene, the character from the first image stands on the left, and the character from the second image stands on the right. They are shaking hands against the backdrop of a spaceship interior.\" \\\n    --output_path \"example_input\u002Fgen_tests\u002Fgen_res.png\" \\\n    --height 1024 \\\n    --width 1024\n```\n\n\n### Web Demo\n```\nCUDA_VISIBLE_DEVICES=0 python web_edit.py \\\n    --vlm_path PATH_TO_VLM \\\n    --edit_lora_path PATH_TO_DEIT_LORA \\\n    --server_name \"0.0.0.0\" \\\n    --server_port 7860\n\n\nCUDA_VISIBLE_DEVICES=1 python web_generate.py \\\n    --vlm_path PATH_TO_VLM \\\n    --gen_lora_path PATH_TO_GENERATION_LORA \\\n    --server_name \"0.0.0.0\" \\\n    --server_port 7861\n```\n\n\n## Disclaimer\n\nThis project strives to impact the domain of AI-driven image generation positively. Users are granted the freedom to\ncreate images using this tool, but they are expected to comply with local laws and utilize it responsibly.\nThe developers do not assume any responsibility for potential misuse by users.\n\n\n##  Citation\n\nIf DreamOmni2 is helpful, please help to ⭐ the repo.\n\nIf you find this project useful for your research, please consider citing our [paper](https:\u002F\u002Farxiv.org\u002Fhtml\u002F2510.06679v1).\n\n## Contact\nIf you have any comments or questions, please [open a new issue](https:\u002F\u002Fgithub.com\u002Fxxx\u002Fxxx\u002Fissues\u002Fnew\u002Fchoose) or contact [Bin Xia](zjbinxia@gmail.com).\n\n\n\n\n\n\n\n\n\n","# DreamOmni2：多模态指令驱动的编辑与生成\n\n\u003Cp align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fhtml\u002F2510.06679v1\">\n            \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv%20paper-2510.06679v1-b31b1b.svg\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fpbihao.github.io\u002Fprojects\u002FDreamOmni2\u002Findex.html\">\n        \u003Cimg alt=\"Project Page\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FProject-Page-blue\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=8xpoiRK57uU\">\n        \u003Cimg alt=\"Video Demo\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FVideo-Demo-red\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fxiabs\u002FDreamOmni2Bench\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDreamOmni2-Benchmark-green\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fxiabs\u002FDreamOmni2\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-HF%20Model-yellow\">\n    \u003C\u002Fa>    \n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwcy1122\u002FDreamOmni2-Edit\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-HF%20Editing%20Demo-yellow\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwcy1122\u002FDreamOmni2-Gen\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002F🤗-HF%20Generation%20Demo-yellow\">\n    \u003C\u002Fa>\n    \u003Ca href=\"https:\u002F\u002Fwww.runninghub.ai\u002Fworkflow\u002F1980131298238959618\">\n        \u003Cimg alt=\"Build\" src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FComfyUI-Runninghub-blue\">\n    \u003C\u002Fa>\n\u003C\u002Fp>\n\n## 🔥 新闻\n- 🔥**2025年10月10日**：发布DreamOmni2 [编辑演示](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwcy1122\u002FDreamOmni2-Edit)和[生成演示](https:\u002F\u002Fhuggingface.co\u002Fspaces\u002Fwcy1122\u002FDreamOmni2-Gen)\n- 🔥**2025年10月10日**：发布DreamOmni2 [基准测试](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002Fxiabs\u002FDreamOmni2Bench)。\n- 🔥**2025年10月10日**：发布DreamOmni2的[代码](https:\u002F\u002Fgithub.com\u002Fdvlab-research\u002FDreamOmni2)和[模型](https:\u002F\u002Fhuggingface.co\u002Fxiabs\u002FDreamOmni2)。\n- 🔥**2025年10月9日**：发布DreamOmni2 [技术报告](https:\u002F\u002Farxiv.org\u002Fhtml\u002F2510.06679v1)。\n\n\n\u003Cp align=\"center\">\n  \u003Cimg width=\"600\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FJIA-Lab-research_DreamOmni2_readme_1ffadc3d476e.png\">\n\u003C\u002Fp>\n\n\n\u003Cdiv align=\"center\">\n  \u003Ca href=\"https:\u002F\u002Fcloud.video.taobao.com\u002Fvod\u002FHxWB8i8sYkh0DdfvfByoMHqRtezNMCpWJdjzWTOCqdY.mp4\">\n    \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FJIA-Lab-research_DreamOmni2_readme_cbcff866b960.png\" alt=\"观看视频\" style=\"width: 600px;\">\n  \u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\n## 简介\n\n**(1) 多模态指令驱动的生成**\n\n对于基于具体对象的传统主题驱动生成任务，DreamOmni2在开源模型中表现最佳，展现出卓越的身份和姿态一致性。此外，DreamOmni2还能参考抽象属性（如材质、纹理、妆容、发型、姿势、设计风格、艺术风格等），在这方面甚至超越了商业模型。\n\n**(2) 多模态指令驱动的编辑**\n\n除了传统的指令式编辑模型外，DreamOmni2还支持多模态指令编辑。在日常编辑任务中，常常存在一些难以仅用语言描述、需要参考图像的元素。我们的模型正好解决了这一需求，支持对任何具体对象和抽象属性的参考，其性能可与商业模型相媲美。\n\n**(3) 统一的生成与编辑模型**\n\n基于上述两项新任务，我们推出了DreamOmni2，它能够在任何具体或抽象概念的指导下，实现多模态指令驱动的编辑和生成。总体而言，DreamOmni2是一款更加智能、功能更强大的开源统一生成与编辑模型，在多种任务上都具备更强的能力。\n\n## 编辑与生成模型？\n编辑和生成是两种不同的任务。编辑要求严格保持源图像未编辑区域的一致性，而生成则只需根据指令保留参考图像中的ID、IP或归属信息，允许对整张图像进行重新生成，重点在于美学效果。我们发现，生成和编辑的指令往往相似，因此我们将这两项任务分开，以便用户更容易选择合适的任务类型。\n\n## 快速开始\n\n### 要求与安装\n\n首先，安装必要的依赖：\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fdvlab-research\u002FDreamOmni2\ncd .\u002FDreamOmni2\npip install -r requirements.txt\n```\n\n接下来，将DreamOmni2的权重下载到models文件夹中。\n\n```bash\nhuggingface-cli download --resume-download --local-dir-use-symlinks False xiabs\u002FDreamOmni2 --local-dir .\u002Fmodels\n```\n\n### 推理\n\n多模态指令驱动的编辑\n\n**值得注意的是，对于编辑任务，由于训练数据的格式设置，我们需要将待编辑的图像放在第一位。**\n\n```bash\npython3 \u002Fmnt\u002Fbn\u002Funifygen\u002Fxiabin_dev\u002Ficlr2026\u002FDreamOmni2\u002Finference_edit.py \\\n    --input_img_path \"example_input\u002Fedit_tests\u002Fsrc.jpg\" \"example_input\u002Fedit_tests\u002Fref.jpg\" \\\n    --input_instruction \"让第二张图片中的女人站在第一张图片的道路中央。\" \\\n    --output_path \"example_input\u002Fedit_tests\u002Fedit_res.png\"\n```\n\n多模态指令驱动的生成\n```bash\npython3 \u002Fmnt\u002Fbn\u002Funifygen\u002Fxiabin_dev\u002Ficlr2026\u002FDreamOmni2\u002Finference_gen.py \\\n    --input_img_path \"example_input\u002Fgen_tests\u002Fimg1.jpg\" \"example_input\u002Fgen_tests\u002Fimg2.jpg\" \\\n    --input_instruction \"场景中，第一张图片的角色站在左侧，第二张图片的角色站在右侧。两人在飞船内部背景下握手。\" \\\n    --output_path \"example_input\u002Fgen_tests\u002Fgen_res.png\" \\\n    --height 1024 \\\n    --width 1024\n```\n\n\n### Web演示\n```\nCUDA_VISIBLE_DEVICES=0 python web_edit.py \\\n    --vlm_path PATH_TO_VLM \\\n    --edit_lora_path PATH_TO_DEIT_LORA \\\n    --server_name \"0.0.0.0\" \\\n    --server_port 7860\n\n\nCUDA_VISIBLE_DEVICES=1 python web_generate.py \\\n    --vlm_path PATH_TO_VLM \\\n    --gen_lora_path PATH_TO_GENERATION_LORA \\\n    --server_name \"0.0.0.0\" \\\n    --server_port 7861\n```\n\n\n## 免责声明\n\n本项目致力于以积极的方式影响AI驱动的图像生成领域。用户可以自由使用此工具创作图像，但应遵守当地法律并负责任地使用。开发者不对用户的潜在滥用行为承担任何责任。\n\n\n## 引用\n\n如果DreamOmni2对您有所帮助，请为本仓库点个赞⭐。\n\n如果您认为本项目对您的研究有帮助，请考虑引用我们的[论文](https:\u002F\u002Farxiv.org\u002Fhtml\u002F2510.06679v1)。\n\n## 联系方式\n如有任何意见或问题，请[新建议题](https:\u002F\u002Fgithub.com\u002Fxxx\u002Fxxx\u002Fissues\u002Fnew\u002Fchoose)或联系[Bin Xia](zjbinxia@gmail.com)。","# DreamOmni2 快速上手指南\n\nDreamOmni2 是一个强大的多模态指令编辑与生成统一模型。它支持基于具体物体或抽象属性（如材质、风格、姿态等）的图像编辑与生成，在开源模型中表现卓越，甚至媲美商业模型。\n\n## 环境准备\n\n*   **操作系统**: Linux (推荐 Ubuntu)\n*   **Python**: 3.8 或更高版本\n*   **GPU**: 支持 CUDA 的 NVIDIA 显卡（建议显存 16GB 以上以获得最佳体验）\n*   **依赖管理**: pip\n\n## 安装步骤\n\n### 1. 克隆代码库\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fdvlab-research\u002FDreamOmni2\ncd .\u002FDreamOmni2\n```\n\n### 2. 安装依赖\n```bash\npip install -r requirements.txt\n```\n> **提示**：国内用户若下载缓慢，可添加清华源加速：\n> `pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`\n\n### 3. 下载模型权重\n使用 Hugging Face CLI 下载模型至 `.\u002Fmodels` 目录：\n```bash\nhuggingface-cli download --resume-download --local-dir-use-symlinks False xiabs\u002FDreamOmni2 --local-dir .\u002Fmodels\n```\n> **注意**：如果无法访问 Hugging Face，请自行配置镜像代理或使用国内镜像站下载后放入 `.\u002Fmodels` 文件夹。\n\n## 基本使用\n\nDreamOmni2 将**编辑**和**生成**分为两个独立任务，请根据需求选择对应的脚本。\n\n### 场景一：多模态指令编辑 (Editing)\n**特点**：严格保留源图像未编辑区域，仅根据指令和参考图修改特定内容。\n**关键点**：输入图片列表中，**待编辑的原图必须放在第一位**。\n\n```bash\npython3 inference_edit.py \\\n    --input_img_path \"example_input\u002Fedit_tests\u002Fsrc.jpg\" \"example_input\u002Fedit_tests\u002Fref.jpg\" \\\n    --input_instruction \"Make the woman from the second image stand on the road in the first image.\" \\\n    --output_path \"example_input\u002Fedit_tests\u002Fedit_res.png\"\n```\n*   `src.jpg`: 背景\u002F源图像（第一位）\n*   `ref.jpg`: 参考图像（提供人物或物体特征）\n*   `instruction`: 英文指令，描述如何将参考图元素融合进源图。\n\n### 场景二：多模态指令生成 (Generation)\n**特点**：基于参考图的 ID、IP 或属性重新生成整张图像，注重美学效果，不强制保留原图背景。\n\n```bash\npython3 inference_gen.py \\\n    --input_img_path \"example_input\u002Fgen_tests\u002Fimg1.jpg\" \"example_input\u002Fgen_tests\u002Fimg2.jpg\" \\\n    --input_instruction \"In the scene, the character from the first image stands on the left, and the character from the second image stands on the right. They are shaking hands against the backdrop of a spaceship interior.\" \\\n    --output_path \"example_input\u002Fgen_tests\u002Fgen_res.png\" \\\n    --height 1024 \\\n    --width 1024\n```\n*   `img1.jpg`, `img2.jpg`: 参考图像列表（顺序对应指令中的描述）\n*   `instruction`: 英文指令，描述场景构图、动作及背景。\n*   `height\u002Fwidth`: 生成图像的分辨率。\n\n### 启动 Web 演示 (可选)\n如果你更喜欢图形化界面，可以分别启动编辑和生成的本地 Web Demo：\n\n**启动编辑 Demo:**\n```bash\nCUDA_VISIBLE_DEVICES=0 python web_edit.py \\\n    --vlm_path PATH_TO_VLM \\\n    --edit_lora_path PATH_TO_DEIT_LORA \\\n    --server_name \"0.0.0.0\" \\\n    --server_port 7860\n```\n\n**启动生成 Demo:**\n```bash\nCUDA_VISIBLE_DEVICES=1 python web_generate.py \\\n    --vlm_path PATH_TO_VLM \\\n    --gen_lora_path PATH_TO_GENERATION_LORA \\\n    --server_name \"0.0.0.0\" \\\n    --server_port 7861\n```\n*(请将 `PATH_TO_VLM` 和 `PATH_TO_..._LORA` 替换为实际的模型路径)*","一位电商设计师正在为新款珠宝系列制作营销素材，需要基于产品实拍图快速生成多风格广告图并精准修改细节。\n\n### 没有 DreamOmni2 时\n- **抽象属性难控制**：仅靠文字提示词（如“磨砂质感”、“复古雕花”）难以让模型准确理解并还原珠宝的特定材质与工艺细节，往往需要反复试错。\n- **编辑一致性差**：在修改背景或模特姿态时，传统编辑工具容易破坏珠宝本身的光影和结构，导致产品主体失真。\n- **工作流割裂**：生成新图和修改旧图需要使用两套不同的模型或软件，切换成本高且风格难以统一。\n- **参考图利用低效**：无法直接上传一张“参考风格图”来指导生成，只能依赖设计师手动描述，效率低下且偏差大。\n\n### 使用 DreamOmni2 后\n- **多模态指令精准执行**：直接上传珠宝实拍图作为主体参考，再配合一张“丝绸纹理”图片作为风格指引，DreamOmni2 能瞬间生成兼具精准产品特征与指定抽象质感的广告图。\n- **智能编辑保真度高**：输入“将模特手势改为托举”的多模态指令，DreamOmni2 在调整姿态的同时，完美保留珠宝原有的反光细节和金属质感，无需后期修图。\n- **统一模型高效流转**：无论是从零生成创意海报，还是对现有素材进行局部微调，DreamOmni2 均在同一框架下完成，确保了整套素材视觉风格的高度一致。\n- **复杂概念一键落地**：面对“赛博朋克风镶嵌工艺”等复杂抽象概念，DreamOmni2 能结合图像参考与文本指令，输出超越商业模型水准的创意效果。\n\nDreamOmni2 通过融合具体对象与抽象属性的多模态指令能力，将原本繁琐的“描述 - 试错 - 修补”流程简化为“参考 - 指令 - 成品”，极大提升了视觉内容的生产精度与效率。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FJIA-Lab-research_DreamOmni2_1ffadc3d.png","JIA-Lab-research","JIA Lab","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FJIA-Lab-research_a2efb296.png",null,"https:\u002F\u002Fgithub.com\u002FJIA-Lab-research",[81],{"name":82,"color":83,"percentage":84},"Python","#3572A5",100,2237,186,"2026-04-04T08:04:31","Apache-2.0","Linux","需要 NVIDIA GPU (通过 CUDA_VISIBLE_DEVICES 环境变量指定)，具体型号和显存未说明，但运行多模态大模型通常建议 16GB+ 显存","未说明",{"notes":93,"python":94,"dependencies":95},"1. 需通过 huggingface-cli 下载模型权重至 .\u002Fmodels 目录。2. 编辑任务推理时，必须将待编辑的源图片放在输入图片列表的第一位。3. 提供独立的编辑 (web_edit.py) 和生成 (web_generate.py) Web 演示脚本，可分别部署在不同 GPU 上。4. 支持 ComfyUI 工作流 (通过 Runninghub)。5. 具体依赖版本需查看项目根目录下的 requirements.txt 文件。","3.x (通过 python3 命令推断，具体小版本未说明)",[96,97,98,99,100,101,102,103],"torch","transformers","accelerate","diffusers","gradio","huggingface-cli","Pillow","opencv-python",[14],[106,107,108],"image-editing","image-generation","unified-generation-editing-model","2026-03-27T02:49:30.150509","2026-04-06T14:05:08.040885",[112,117,122,127,132,137],{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},19173,"你们会发布模型权重吗？","是的，维护者已确认将发布所有代码和模型。该项目是基于 Kontext 模型并添加了两个 LoRA 适配器，赋予了多模态指令编辑和生成能力，旨在作为研究工具而非商业产品。","https:\u002F\u002Fgithub.com\u002FJIA-Lab-research\u002FDreamOmni2\u002Fissues\u002F2",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},19174,"运行推理时遇到 'offload_state_dict' 错误怎么办？","该错误通常由依赖版本不兼容引起。用户反馈尝试调整 transformers、diffusers 和 accelerate 的版本组合可以解决此问题。如果仍有问题，可能是显存（VRAM）不足导致，建议检查 GPU 显存是否满足要求（例如 32GB 可能仍不足）。","https:\u002F\u002Fgithub.com\u002FJIA-Lab-research\u002FDreamOmni2\u002Fissues\u002F4",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},19175,"为什么选择基于 Kontext 而不是效果更好的 Qwen-Edit？","在项目开发初期，Qwen-Edit 尚未开源，因此团队选择了当时可用的基座模型 Kontext。维护者表示未来也会适配 Qwen-Edit 版本。","https:\u002F\u002Fgithub.com\u002FJIA-Lab-research\u002FDreamOmni2\u002Fissues\u002F18",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},19176,"是否支持 FP8 量化版本或 ComfyUI 工作流？","社区已经完成了 ComfyUI 的支持工作。关于量化版本（FP8\u002FFP4），已有相关项目在探索中。用户可以参考社区提供的 ComfyUI 工作流示例以及相关的量化实现仓库。","https:\u002F\u002Fgithub.com\u002FJIA-Lab-research\u002FDreamOmni2\u002Fissues\u002F17",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},19177,"训练代码什么时候发布？","维护者计划在 10 月底至 11 月初发布训练代码。","https:\u002F\u002Fgithub.com\u002FJIA-Lab-research\u002FDreamOmni2\u002Fissues\u002F5",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},19178,"运行生成模式示例时出现 Token 长度超限错误或结果异常怎么办？","如果在本地运行出现 Token 序列过长错误或输出仅为图片拼接，可能是随机噪声导致的偶然现象。建议重新运行一次，因为扩散模型基于噪声，小概率会输出不正确结果。也可以先在 Hugging Face 的官方 Demo 空间测试，确认输入指令和图片是否正常生效。","https:\u002F\u002Fgithub.com\u002FJIA-Lab-research\u002FDreamOmni2\u002Fissues\u002F6",[]]