强大的可控扩散模型

在 AIGC 时代，为扩散模型添加条件控制的相关论文与资源。

🗂️ 目录

1. 📝 论文
• 2025 年
• 2024 年
• 2023 年
2. 🔗 其他资源
3. 🌟 其他优秀列表
4. ✍️ 贡献

📝 论文

2024 年

1. IFAdapter：用于接地文本到图像生成的实例特征控制。 🔥 [项目] [论文] [代码]

   吴银伟、周先潘、马冰、苏雪峰、马凯、王新超。 预印本 2024 年。

   

   

2. CSGO：文本到图像生成中的内容-风格组合。 [项目] [论文] [代码]

   邢鹏、王浩凡、孙延鹏、王奇勋、白旭、艾浩、黄仁远、李泽超。 预印本 2024 年。

   

3. 生成式照片蒙太奇。 [项目] [论文] [代码]

   刘Sean J.、库玛丽·努普尔、沙米尔·阿里埃尔、朱俊彦。 预印本 2024 年。

   

4. Sketch2Scene：根据用户随意草图自动生成交互式 3D 游戏场景。 [项目] [论文]

   徐永志、吴勇汉、王义夫、萨英奎、段云飞、李阳、季攀、李洪东。 预印本 2024 年。

   

5. IPAdapter-Instruct：利用指令提示解决基于图像的条件模糊性。 [项目] [论文] [代码]

   西阿拉·罗尔斯、希蒙·韦纳、丹特·德尼格里斯、斯拉瓦·埃利扎罗夫、康斯坦丁·库茨伊、西蒙·多内。 预印本 2024 年。

   

6. ViPer：通过个体偏好学习对生成模型进行视觉个性化。 [项目] [论文] [代码]

   索甘德·萨莱希、马赫迪·沙菲伊、特蕾莎·叶欧、罗曼·巴赫曼、阿米尔·扎米尔。 ECCV'24。

   

7. 无需训练的复合场景生成用于布局到图像合成。 [论文] [代码]

   刘佳琪、黄涛、许昌。 ECCV'24。

   

8. SEED-Story：使用大型语言模型进行多模态长篇故事生成。 [论文] [代码]

   杨帅、葛宇莹、李阳、陈宇康、葛一肖、山英、陈英聪。 预印本 2024 年。

   

9. 草图引导的场景图像生成。 [论文]

   张天宇、谢晓轩、杜旭升、谢浩然。 预印本 2024 年。

   

10. 使用图像扩散模型即时生成 3D 人体化身。 [项目] [论文]

    尼科斯·科洛托罗斯、蒂莫·阿尔迪克、恩里克·科罗纳、爱德华·加布里埃尔·巴扎万、克里斯蒂安·斯明奇塞斯库。 ECCV'24。

    

11. Ctrl-X：无需指导的文本到图像生成中的结构与外观控制。 🔥 [项目] [论文] [代码]

    林宽衡、莫思成、本·克林格、穆方舟、周博磊。 预印本 2024年。

    

    

12. Zero-Painter：用于文本到图像合成的免训练布局控制。 [论文] [代码]

    玛丽安娜·奥哈尼扬、海克·马努基扬、张阳王、桑特·纳瓦萨尔迪扬、亨弗莱·施伊。 CVPR'24。

    

13. pOps：受照片启发的扩散算子。 🔥 [项目] [论文] [代码]

    埃拉德·理查森、尤瓦尔·阿拉卢夫、阿里·马赫达维-阿米里、丹尼尔·科恩-奥尔。 预印本 2024年。

    

    

14. RB调制：利用随机最优控制对扩散模型进行免训练个性化。 [项目] [论文] [代码]

    利图·劳特、陈宇佳、纳塔尼尔·鲁伊斯、阿比舍克·库马尔、康斯坦丁·卡拉马尼斯、桑杰·沙科泰、朱文生。 预印本 2024年。🔥

    

    

15. FreeCustom：用于多概念组合的免调优定制化图像生成。 [项目] [论文] [代码]

    丁刚贵、赵灿宇、王文、杨振、刘子德、陈浩、沈春华。 CVPR'24。

    

16. 面向概念驱动的文本到图像生成的个性化残差。 [项目] [论文]

    库苏·哈姆、马修·费舍尔、詹姆斯·海斯、尼古拉斯·科尔金、刘雨辰、理查德·张、托比亚斯·欣茨。 CVPR'24。

    

17. 基于密集块表示的组合式文本到图像生成。 🔥 [项目] [论文]

    聂伟力、刘思飞、莫特扎·马尔达尼、刘超、本杰明·埃卡特、阿拉什·瓦赫达特。 ICML'24。

    

    

18. 仅用一对图像即可定制文本到图像模型。 [项目] [论文] [代码]

    麦克斯韦尔·琼斯、王圣宇、努普尔·库玛丽、大卫·鲍、朱俊彦。 预印本 2024年。

    

19. StoryDiffusion：用于长序列图像和视频生成的一致性自注意力机制。 [论文]

    周宇鹏、周大泉、程明明、冯家世、侯启斌。 预印本 2024年。

    

20. InstantFamily：基于掩码注意力的零样本多身份图像生成。 [论文]

    金婵兰、李正仁、郑始昌、金奉模、白悦敏。 预印本 2024年。

    

21. PuLID：通过对比对齐实现纯净且快速的身份定制。 [论文] [代码]

    郭子楠、吴言泽、陈卓伟、陈朗、何倩。 技术报告 2024年。

    

22. MultiBooth：从文本生成包含所有概念的图像。 [项目] [论文] [代码]

    朱晨阳、李凯、马月、何春明、修丽。 预印本 2024年。

    

23. StyleBooth：通过多模态指令编辑图像风格。 [项目] [论文] [代码]

    韩震、毛超杰、蒋泽音、潘玉琳、张景峰。 预印本 2024年。

    

24. MoMA：用于快速个性化图像生成的多模态LLM适配器。 🔥 [项目] [论文] [代码]

    Kunpeng Song, Yizhe Zhu, Bingchen Liu, Qing Yan, Ahmed Elgammal, Xiao Yang. ECCV'24。

    

    

25. 用于抽象概念理解的文生图扩散模型提示优化器。 [论文]

    Zezhong Fan, Xiaohan Li, Chenhao Fang, Topojoy Biswas, Kaushiki Nag, Jianpeng Xu, Kannan Achan. WWW'24。

    

26. MoA：用于个性化图像生成中主体与上下文解耦的注意力混合机制。 [项目] [论文] [代码]

    Kuan-Chieh Wang, Daniil Ostashev, Yuwei Fang, Sergey Tulyakov, Kfir Aberman. 2024年预印本。

    

27. MaxFusion：文生图扩散模型中的即插即用多模态生成。 [项目] [论文] [代码]

    Nithin Gopalakrishnan Nair, Jeya Maria Jose Valanarasu, Vishal M Patel. ECCV'24。

    

28. Ctrl-Adapter：一种高效且通用的框架，可将多种控制方式适配到任何扩散模型。 [项目] [论文] [代码]

    Han Lin, Jaemin Cho, Abhay Zala, Mohit Bansal. 2024年预印本。

    

29. ControlNet++：通过高效的连贯性反馈改进条件控制。 [项目] [论文] [代码]

    Ming Li, Taojiannan Yang, Huafeng Kuang, Jie Wu, Zhaoning Wang, Xuefeng Xiao, Chen Chen. ECCV'24。

    

30. 面向多主体个性化的文生图模型身份解耦技术。 [项目] [论文]

    Sangwon Jang, Jaehyeong Jo, Kimin Lee, Sung Ju Hwang. 2024年预印本。

    

31. Concept Weaver：实现文生图模型中的多概念融合。 [论文]

    Gihyun Kwon, Simon Jenni, Dingzeyu Li, Joon-Young Lee, Jong Chul Ye, Fabian Caba Heilbron. CVPR'24。

    

32. FlashFace：高保真度身份保留的人像个性化生成。 [项目] [论文] [代码]

    Shilong Zhang, Lianghua Huang, Xi Chen, Yifei Zhang, Zhi-Fan Wu, Yutong Feng, Wei Wang, Yujun Shen, Yu Liu, Ping Luo. 2024年预印本。

    

33. 做你自己：用于多主体文生图生成的有界注意力机制。 [项目] [论文] [代码]

    Omer Dahary, Or Patashnik, Kfir Aberman, Daniel Cohen-Or. ECCV'24。

    

34. 通过识别语义方向实现T2I模型中的连续主体特异性属性控制。 [项目] [论文] [代码]

    Stefan Andreas Baumann, Felix Krause, Michael Neumayr, Nick Stracke, Vincent Tao Hu, Björn Ommer. 2024年预印本。

    

35. Make-Your-3D：快速且一致的主体驱动型3D内容生成。 [项目] [论文] [代码]

    Fangfu Liu, Hanyang Wang, Weiliang Chen, Haowen Sun, Yueqi Duan. ECCV'24。

    

36. FeedFace：基于扩散模型的高效推理式人脸个性化。 [论文] [代码]

    Chendong Xiang, Armando Fortes, Khang Hui Chua, Hang Su, Jun Zhu. Tiny Papers @ ICLR'24。

    

37. 用于图像生成的多LoRA组合。 [项目] [论文] [代码]

    钟明、沈烨龙、王硕航、陆亚东、焦一竹、欧阳思儒、于东汉、韩家伟、陈伟柱。 预印本 2024年。

    

38. Gen4Gen：面向生成式多概念组合的生成式数据流水线。 [项目] [论文] [代码]

    叶春孝、程大英、谢荷妍、林传恩、马毅、安德鲁·马卡姆、尼基·特里戈尼、H.T. 康格、陈宇贝。 技术报告 2024年。

    

39. 通过交换式自注意力进行视觉风格提示。 [项目] [论文] [代码]

    郑在锡、金俊浩、崔允洁、李佳莹、禹英中。 预印本 2024年。

    

40. RealCompo：现实感与构图之间的动态平衡提升文本到图像扩散模型。 [论文] [代码]

    张新晨、杨凌、蔡雅琪、俞兆辰、谢嘉克、田野、徐敏凯、唐勇、杨宇久、崔斌。 预印本 2024年。

    

41. 用于组合型文本到图像个性化的直接一致性优化。 [项目] [论文] [代码]

    李京民、郭尚京、孙基赫、申振宇。 预印本 2024年。

    

42. InstanceDiffusion：图像生成中的实例级控制。 [项目] [论文] [代码]

    王旭东、特雷弗·达雷尔、赛·萨凯斯·兰巴特拉、罗希特·吉达尔、伊山·米斯拉。 CVPR'24。

    

43. 无需训练的一致性文本到图像生成。 [项目] [论文]

    约阿德·特韦尔、奥姆里·卡杜里、里农·加尔、约尼·卡斯滕、利奥尔·沃尔夫、加尔·切奇克、尤瓦尔·阿茨蒙。 SIGGRAPH'24。

    

44. UNIMO-G：通过多模态条件扩散实现统一的图像生成。 🔥 [项目] [论文]

    李伟、许雪、刘嘉晨、肖欣燕。 ACL'24。

    

    

45. 掌握文本到图像扩散：利用多模态LLM进行重新描述、规划和生成。 🔥 [论文] [代码]

    杨凌、俞兆辰、孟晨琳、徐敏凯、斯特凡诺·埃尔蒙、崔斌。 ICML'24。

    

    

46. InstantID：零样本身份保留生成，几秒钟内完成。 [项目] [论文] [代码]

    王启勋、白旭、王浩帆、秦泽奎、安东尼·陈、李华夏、唐旭、胡耀。 技术报告 2024年。🔥

    

    

47. PALP：文本到图像模型的提示对齐个性化。 [项目] [论文]

    王启勋、白旭、王浩帆、秦泽奎、安东尼·陈。 预印本 2024年。

    

48. SCEdit：通过跳过连接编辑实现高效可控的图像扩散生成。 [项目] [论文] [代码]

    蒋泽音、毛超杰、潘玉林、韩震、张景峰。 CVPR'24。

    

49. PhotoMaker：通过堆叠ID嵌入定制逼真的人像照片。 [项目] [论文] [代码]

    李振、曹明登、王新涛、齐仲刚、程明明、单颖。 CVPR'24。🔥

    

    

50. 上下文扩散：上下文感知的图像生成。 [项目] [论文]

伊沃娜·纳杰登科斯卡、阿尼梅什·辛哈、阿比曼纽·杜贝、德鲁夫·马哈詹、维格内什·拉马纳坦、菲利普·拉德诺维奇。 ECCV'24。

![](https://img.shields.io/badge/Image-blue?style=flat-square)![](https://img.shields.io/badge/Layout-a50b5e?style=flat-square)

1. 通过共享注意力实现风格对齐的图像生成。 🔥 [项目] [论文] [代码]

   阿米尔·赫兹、安德烈·沃伊诺夫、什洛米·弗鲁赫特、丹尼尔·科恩-奥尔。 CVPR'24。

   

   

2. 视觉字谜：利用扩散模型生成多视角光学幻象。 [项目] [论文] [代码]

   丹尼尔·耿、朴仁范、安德鲁·欧文斯。 CVPR'24。

   

3. MagicPose：基于身份感知扩散模型的真实人体姿态与面部表情重定向。 [项目] [论文] [代码]

   迪昌、史一春、高权凯、杰西卡·傅、徐宏毅、宋国贤、严青、杨晓、穆罕默德·索莱曼尼。 ICML'24。

   

4. 被选中的人：文本到图像扩散模型中的一致性角色。 [项目] [论文] [代码]

   奥姆里·阿夫拉米、阿米尔·赫兹、雅埃尔·温克尔、摩阿布·阿拉尔、什洛米·弗鲁赫特、欧哈德·弗里德、丹尼尔·科恩-奥尔、丹尼·利希金斯基。 SIGGRAPH'24。

   

5. 用于零样本外观迁移的跨图像注意力。 [项目] [论文] [代码]

   尤瓦尔·阿拉卢夫、丹尼尔·加里比、奥尔·帕塔什尼克、哈达尔·阿韦尔布赫-埃洛尔、丹尼尔·科恩-奥尔。 SIGGRAPH'24。

   

6. Kosmos-G：利用多模态大型语言模型在上下文中生成图像 🔥 [项目] [论文] [代码]

   潘熙晨、董力、黄绍涵、彭志良、陈文虎、魏福儒。 ICLR'24。

   

   

7. InstantBooth：无需测试时微调的个性化文本到图像生成。 [论文]

   石静、熊伟、林哲、郑贤俊。 CVPR'24。

   

2023年

1. ZipLoRA：通过有效合并LoRA实现任意主题、任意风格的生成。 [项目] [论文]

   维拉吉·沙阿、纳塔尼尔·鲁伊斯、福雷斯特·科尔、艾丽卡·卢、斯维特兰娜·拉泽布尼克、李元振、瓦伦·詹帕尼。 2023年预印本。

   

2. IP-Adapter：兼容文本的图像提示适配器，用于文本到图像扩散模型。 🔥 [项目] [论文] [代码]

   胡叶、张军、刘思博、韩晓、杨伟。 2023年技术报告。

   

   

3. 文本到图像扩散模型的零样本空间布局条件化。

   纪尧姆·库瓦龙、玛琳·卡雷尔、马蒂厄·科尔德、斯蒂芬·拉图耶尔、雅各布·费尔贝克。 ICCV'23。

   

4. 通过正交微调控制文本到图像扩散。 [项目] [论文] [代码]

   邱泽宇、刘伟阳、冯海文、薛宇轩、冯瑶、刘震、张丹、阿德里安·韦勒、伯恩哈德·舍尔科普夫。 NeurIPS'23。

   

5. Face0：将文本到图像模型瞬间条件化为一张人脸。 [论文]

   达尼·瓦列夫斯基、丹尼·瓦瑟曼、约西·马蒂亚斯、亚尼夫·列维坦。 SIGGRAPH Asia'23。

   

6. StyleDrop：以任意风格生成文本到图像。 🔥 [项目] [论文]

   苏基赫、纳塔尼尔·鲁伊斯、金民李、丹尼尔·卡斯特罗·钦、伊琳娜·布洛克、常慧雯、贾瑞德·巴伯、江璐、格伦·恩蒂斯、李元振、袁浩、伊尔凡·埃萨、迈克尔·鲁宾斯坦、迪利普·克里希南。 NeurIPS'23。

   

   

7. BLIP-Diffusion：用于可控文本到图像生成和编辑的预训练主体表示。 🔥 [项目] [论文] [代码]

   李东旭、李俊楠、史蒂文·C·H·霍伊. NeurIPS'23。

   

   

8. 基于学徒学习的主体驱动型文本到图像生成。 [论文]

   陈文虎、胡恒祥、李彦东、纳塔尼尔·鲁伊斯、贾旭辉、张明伟、威廉·W·科恩. NeurIPS'23。

   

9. T2I-Adapter：学习适配器以挖掘文本到图像扩散模型的更多可控能力。 🔥 [论文] [代码]

   牟冲、王新涛、谢良斌、吴延泽、张健、齐中刚、单颖、切晓虎. 2023年技术报告。

   

   

10. 向文本到图像扩散模型添加条件控制。 🔥 [论文] [代码]

    张吕敏、饶安怡、马尼什·阿格拉瓦拉. ICCV'23。

    

    

11. GLIGEN：开放集接地文本到图像生成。 🔥 [项目] [论文] [代码]

    李宇恒、刘浩天、吴庆阳、穆方舟、杨建伟、高建峰、李春元、李永在. CVPR'23。

    

12. 文本到图像扩散的多概念定制。 [项目] [论文] [代码]

    努普尔·库玛丽、张炳亮、理查德·张、埃利·谢赫特曼、朱俊彦. CVPR'23。

    

13. DreamBooth：针对主体驱动型生成对文本到图像扩散模型进行微调。 🔥 [项目] [论文]

    纳塔尼尔·鲁伊斯、李远振、瓦伦·詹帕尼、雅埃尔·普里奇、迈克尔·鲁宾斯坦、克菲尔·阿伯曼. CVPR'23。

    

    

↑ 返回顶部 ↑

🔗 其他资源#

1. 区域提示器 将提示设置到划分的区域。

↑ 返回顶部 ↑

🌟 其他精彩列表

1. Awesome-LLM-Reasoning 大型语言模型推理领域的论文与资源合集。

2. Awesome-Controllable-T2I-Diffusion-Models 文本到图像扩散模型可控生成相关资源合集。

↑ 返回顶部 ↑

✍️ 贡献 #

• 添加一篇新论文或更新现有论文，并思考该工作应归入哪个类别。
• 使用与现有条目相同的格式来描述该工作。
• 添加论文的摘要链接（如果是 arXiv 出版物，则使用 /abs/ 格式）。

即使你犯了错误，也会有人帮你修正！

贡献者

星标历史

Awesome-Controllable-Diffusion 快速上手指南

Awesome-Controllable-Diffusion 并非一个单一的可执行软件或 Python 包，而是一个精选资源列表（Awesome List），汇集了为扩散模型（Diffusion Models）添加条件控制（如布局、风格、主体一致性等）的前沿论文、项目代码和开源实现。

本指南将指导你如何利用该列表中的资源，快速在本地运行一个典型的可控生成项目（以列表中热门的 IPAdapter 或 ControlNet 类项目为例）。

1. 环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04) 或 macOS (M1/M2/M3 芯片需特定配置)。Windows 用户建议使用 WSL2。
• 硬件要求:
  • GPU: NVIDIA GPU (推荐 RTX 3090/4090 或更高)，显存建议 16GB+ (运行复杂控制任务如 3D 或多主体生成时)。
  • CUDA: 版本 11.8 或 12.1+。
• 前置依赖:
  • Python 3.10 或 3.11
  • Git
  • Conda 或 Mamba (推荐用于环境管理)

国内加速建议:

• 使用清华源或阿里源配置 pip 和 conda。
• 模型权重下载推荐使用 ModelScope (魔搭) 或 Wisemodel (始智 AI) 作为 HuggingFace 的替代镜像。

2. 安装步骤

由于该仓库包含多个独立项目，以下步骤以克隆仓库并运行其中一个典型项目（例如 IPAdapter 或列表中的其他具体实现）为例。

2.1 克隆资源列表

首先获取该 Awesome 列表，以便查阅最新的项目链接：

git clone https://github.com/atfortes/Awesome-Controllable-Diffusion.git
cd Awesome-Controllable-Diffusion

2.2 选择并克隆具体项目

在 README.md 的 "Papers" 部分选择一个你感兴趣的项目（例如 2024 年的 IPAdapter-Instruct 或 Ctrl-X）。假设我们选择 IPAdapter-Instruct：

# 进入你希望存放项目的目录
cd ..
git clone https://github.com/unity-research/IP-Adapter-Instruct.git
cd IP-Adapter-Instruct

2.3 创建虚拟环境并安装依赖

大多数项目都提供 requirements.txt。建议使用国内镜像源加速安装：

# 创建 conda 环境
conda create -n ctrl-diff python=3.10 -y
conda activate ctrl-diff

# 配置 pip 国内镜像 (清华大学)
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装基础依赖
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

注意: 如果项目依赖特定的 Diffusers 版本或 Gradio 版本，请严格参照该项目根目录下的 README 指示进行调整。

2.4 下载预训练模型

根据项目说明下载基础扩散模型（如 SDXL 或 SD1.5）及特定的控制适配器权重。 国内开发者推荐: 检查项目是否提供了 ModelScope 下载链接，若无，可使用 huggingface-cli 配合镜像站下载。

# 示例：使用 huggingface-cli 下载 (需配置 HF_ENDPOINT)
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download unity-research/IP-Adapter-Instruct --local-dir ./models

3. 基本使用

安装完成后，通常可以通过命令行脚本或 Web UI 进行测试。以下是基于典型项目的通用使用流程。

3.1 命令行推理 (Inference)

大多数项目提供一个 infer.py 或 generate.py 脚本。以下是一个通用的调用示例（具体参数请参考所选项目的文档）：

python infer.py \
    --prompt "A cyberpunk cat sitting on a neon roof, high detail" \
    --image_path "./assets/reference_cat.jpg" \
    --control_type "style" \
    --output_dir "./outputs" \
    --steps 30 \
    --guidance_scale 7.5

• --prompt: 文本提示词。
• --image_path: 参考图像（用于风格迁移、主体保持或布局控制）。
• --control_type: 控制类型（如 layout, style, subject 等，视具体项目支持情况而定）。

3.2 启动 Web UI (如果支持)

许多现代可控生成项目集成了 Gradio 界面，方便调试：

python app.py

运行后，终端会显示一个本地地址（通常是 http://127.0.0.1:7860），在浏览器中打开即可上传参考图、输入提示词并生成图像。

3.3 探索更多项目

回到 Awesome-Controllable-Diffusion 目录，查看 README.md 中的分类标签：

• Layout: 布局控制 (如 Zero-Painter, Ctrl-X)
• Subject-Driven: 主体驱动 (如 IPAdapter, FreeCustom)
• Style: 风格迁移 (如 CSGO, ViPer)
• 3D: 三维生成 (如 Sketch2Scene)

根据需要切换到对应项目的仓库重复上述“安装”与“使用”步骤。