ComfyUI-IC-Light-Native

GitHub
644 35 中等 1 次阅读 1周前Apache-2.0图像
AI 解读 由 AI 自动生成,仅供参考

ComfyUI-IC-Light-Native 是 IC-Light 项目在 ComfyUI 平台上的原生实现,旨在为图像生成带来革命性的光影控制能力。它核心解决了合成图像中前景与背景光照不一致的难题,能够根据用户指定的光源方向或光照图,自动重新打光并生成协调的背景,让合成效果如同实拍般自然真实。

这款工具特别适合视觉设计师、数字艺术家以及熟悉 ComfyUI 工作流的进阶用户。无论是需要将独立物体无缝融入新场景,还是想为现有图片重塑氛围光影,它都能提供强大的支持。其技术亮点在于提供了两种专用模型:一种专注于仅给定前景时生成背景并重绘光照,另一种则支持在已知背景和光照图的情况下进行精细合成。此外,它还具备独特的高频细节迁移功能,能有效保留原图中的文字、纹理等细微特征,避免重绘过程中的细节丢失。配合遮罩灰度处理机制,ComfyUI-IC-Light-Native 确保了输出结果的色彩准确与光影逻辑自洽,是提升图像合成质量的得力助手。

使用场景

一位电商设计师正在为一款新发布的智能手表制作宣传图,需要将产品从白底照片中抠出,并合成到充满光影质感的户外场景中。

没有 ComfyUI-IC-Light-Native 时

  • 光影割裂感强:手动调整产品层的亮度与背景不匹配,导致手表看起来像“贴”在背景上,缺乏真实的环境光遮蔽(AO)效果。
  • 细节丢失严重:在使用重绘或生成背景时,手表表盘上的微小文字和金属高光纹理容易被 AI 模糊化,失去产品质感。
  • 调试成本高昂:为了模拟不同角度的光源(如左侧光或右侧光),需要反复在 Photoshop 中绘制遮罩并尝试多种混合模式,耗时且难以精准控制。
  • 背景融合生硬:透明通道处理不当常导致边缘出现黑边或灰边,使得前景物体与新生成的背景之间界限分明,无法自然过渡。

使用 ComfyUI-IC-Light-Native 后

  • 自动全局光照统一:利用 iclight_sd15_fbc_unet_ldm 模型,仅需输入前景和背景,工具即可自动计算并生成符合物理规律的环境光,让手表完美“融入”场景。
  • 高频细节无损保留:结合 DetailTransfer 节点,能从原图中提取并恢复表盘文字及金属纹理等高频细节,确保生成后的产品图依然清晰锐利。
  • 灵活的光源控制:通过简单的灰度掩码(Light Map)节点,即可精确指定光线从左或右射入,实时预览不同布光下的产品立体感,无需手动修图。
  • 智能遮罩预处理:内置的 IC Light Apply Mask Grey 节点自动校正透明区域颜色,彻底消除了合成时的边缘黑边问题,实现无缝衔接。

ComfyUI-IC-Light-Native 通过将复杂的光照物理计算自动化,让设计师能在几分钟内产出电影级质感的商品合成图,极大提升了视觉创作的真实度与效率。

运行环境要求

操作系统
  • 未说明
GPU

未说明(基于 ComfyUI 和 IC-Light 特性,通常建议 NVIDIA GPU 以支持 CUDA 加速,具体显存需求取决于工作流复杂度)

内存

未说明

依赖
notes该工具是 ComfyUI 的自定义节点,需安装到 ComfyUI 的 custom_nodes 目录。必须手动下载转换为 ldm 格式的特定模型文件(iclight_sd15_fc_unet_ldm 用于前景工作流,iclight_sd15_fbc_unet_ldm 用于背景工作流)并放置于 models/unet 目录。强烈建议安装 ComfyUI-KJNodes、ComfyUI-Easy-Use、ComfyUI_essentials 等辅助节点包以完整运行示例工作流。使用前需注意前景图像的遮罩/透明区域必须处理为灰色,否则会导致生成错误。加载模型时需严格区分前景(FG)和背景(BG)模型,混用会导致通道数不匹配的运行时错误。
python未说明
ComfyUI
diffusers
torch
ComfyUI-IC-Light-Native hero image

快速开始

ComfyUI-IC-Light-Native

IC-Light 的 ComfyUI 原生实现,基于 IC-Light

安装

下载仓库并解压到 ComfyUI 安装目录下的 custom_nodes 文件夹中。

或者从 ComfyUI 安装目录使用 GIT 克隆:

cd custom_nodes
git clone git@github.com:huchenlei/ComfyUI-IC-Light-Native.git

下载模型

IC-Light 的主仓库基于 diffusers。为了在 ComfyUI 中使用 UnetLoader 加载它,需要将 state_dict 的键转换为 ldm 格式。你可以在这里下载带有 ldm 键的模型:https://huggingface.co/huchenlei/IC-Light-ldm/tree/main

共有两种模型:

  • iclight_sd15_fc_unet_ldm:用于前景工作流。
  • iclight_sd15_fbc_unet_ldm:用于背景工作流。

下载这些模型后,请将其放置在 ComfyUI/models/unet 目录下,并使用 UNETLoader 节点加载它们。

推荐节点

  • ComfyUI-KJNodes:提供多种掩码节点来创建光照贴图。
  • ComfyUI-Easy-Use:一个包含各种功能的巨大节点包。工作流中使用的移除背景节点来自该包。
  • ComfyUI_essentials:许多实用的工具节点。工作流中使用的图像缩放节点来自该包。
  • ComfyUI-IC-Light:kijai 实现的 IC-Light,其中包含一个非常有用的 DetailTransfer 节点,可以帮助保留输入前景图像中的高频细节。

工作流

请确保在将前景图像传递给 VAE 之前,其遮罩或透明区域为灰色。否则,在 FC 工作流中可能会出现背景被遮挡的情况,而在 FBC 工作流中则可能出现背景变暗的问题。可以使用 IC Light Apply Mask Grey 节点来确保遮罩区域的颜色正确。请参阅以下示例: 12 05 2024_16 22 48_REC 12 05 2024_16 19 02_REC

给定前景,生成背景并重新打光

image 如果你想保留前景物体的原始颜色,可以将前景物体放入潜在空间中,以进一步引导生成过程。工作流 image

给定前景和光照贴图,生成背景并重新打光

右侧光源 image

左侧光源 image

给定前景和背景,将前景合成到背景上并重新打光

image

从原始输入图像中恢复高频细节(文字等)

06 06 2024_12 19 35_REC

  • 输入图像: image
  • 原始生成结果: image
  • 细节转移后: image

常见问题

IC-Light 的 UNET 在常规噪声输入的基础上还接受额外的输入。前景模型接受 1 个额外的输入(4 个通道),而背景模型则接受 2 个额外的输入(8 个通道)。原始 UNET 的输入也是 4 个通道。

如果你看到以下错误,说明你正在使用前景工作流,但却加载了背景模型:

RuntimeError: Given groups=1, weight of size [320, 8, 3, 3], expected input[2, 12, 64, 64] to have 8 channels, but got 12 channels instead

如果你看到以下错误,说明你正在使用前景工作流,但却加载了背景模型:

RuntimeError: Given groups=1, weight of size [320, 12, 3, 3], expected input[2, 8, 64, 64] to have 12 channels, but got 8 channels instead

常见问题

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手,旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚,能够直接接入你日常使用的各类通讯渠道,包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息,OpenClaw 都能即时响应,甚至支持在 macOS、iOS 和 Android 设备上进行语音交互,并提供实时的画布渲染功能供你操控。 这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地,用户无需依赖云端服务即可享受快速、私密的智能辅助,真正实现了“你的数据,你做主”。其独特的技术亮点在于强大的网关架构,将控制平面与核心助手分离,确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者,以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力(支持 macOS、Linux 及 Windows WSL2),即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

349.3k|★★★☆☆|1周前
Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面,旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点,将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师,还是想要深入探索模型潜力的开发者与研究人员,都能从中获益。其核心亮点在于极高的功能丰富度:不仅支持文生图、图生图、局部重绘(Inpainting)和外绘(Outpainting)等基础模式,还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外,它内置了 GFPGAN 和 CodeFormer 等人脸修复工具,支持多种神经网络放大算法,并允许用户通过插件系统无限扩展能力。即使是显存有限的设备,stable-diffusion-webui 也提供了相应的优化选项,让高质量的 AI 艺术创作变得触手可及。

162.1k|★★★☆☆|1周前
开发框架图像Agent

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎,专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式,采用直观的节点式流程图界面,让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景,也能自由组合模型、调整参数并实时预览效果,轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性,不仅支持 Windows、macOS 和 Linux 全平台,还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构,并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者,还是追求极致创作自由度的设计师与资深 AI 绘画爱好者,ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能,使其成为当前最灵活、生态最丰富的开源扩散模型工具之一,帮助用户将创意高效转化为现实。

108.3k|★★☆☆☆|1周前
开发框架图像Agent

gemini-cli

gemini-cli 是一款由谷歌推出的开源 AI 命令行工具,它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言,它提供了一条从输入提示词到获取模型响应的最短路径,无需切换窗口即可享受智能辅助。 这款工具主要解决了开发过程中频繁上下文切换的痛点,让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用,还是执行复杂的 Git 操作,gemini-cli 都能通过自然语言指令高效处理。 它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口,具备出色的逻辑推理能力;内置 Google 搜索、文件操作及 Shell 命令执行等实用工具;更独特的是,它支持 MCP(模型上下文协议),允许用户灵活扩展自定义集成,连接如图像生成等外部能力。此外,个人谷歌账号即可享受免费的额度支持,且项目基于 Apache 2.0 协议完全开源,是提升终端工作效率的理想助手。

100.8k|★★☆☆☆|1周前
插件Agent图像

LLMs-from-scratch

LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目,旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型(LLM)。它不仅是同名技术著作的官方代码库,更提供了一套完整的实践方案,涵盖模型开发、预训练及微调的全过程。 该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型,却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码,用户能够透彻掌握 Transformer 架构、注意力机制等关键原理,从而真正理解大模型是如何“思考”的。此外,项目还包含了加载大型预训练权重进行微调的代码,帮助用户将理论知识延伸至实际应用。 LLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API,而是渴望探究模型构建细节的技术人员而言,这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计:将复杂的系统工程拆解为清晰的步骤,配合详细的图表与示例,让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础,还是为未来研发更大规模的模型做准备

90.1k|★★★☆☆|1周前
语言模型图像Agent

Deep-Live-Cam

Deep-Live-Cam 是一款专注于实时换脸与视频生成的开源工具,用户仅需一张静态照片,即可通过“一键操作”实现摄像头画面的即时变脸或制作深度伪造视频。它有效解决了传统换脸技术流程繁琐、对硬件配置要求极高以及难以实时预览的痛点,让高质量的数字内容创作变得触手可及。 这款工具不仅适合开发者和技术研究人员探索算法边界,更因其极简的操作逻辑(仅需三步:选脸、选摄像头、启动),广泛适用于普通用户、内容创作者、设计师及直播主播。无论是为了动画角色定制、服装展示模特替换,还是制作趣味短视频和直播互动,Deep-Live-Cam 都能提供流畅的支持。 其核心技术亮点在于强大的实时处理能力,支持口型遮罩(Mouth Mask)以保留使用者原始的嘴部动作,确保表情自然精准;同时具备“人脸映射”功能,可同时对画面中的多个主体应用不同面孔。此外,项目内置了严格的内容安全过滤机制,自动拦截涉及裸露、暴力等不当素材,并倡导用户在获得授权及明确标注的前提下合规使用,体现了技术发展与伦理责任的平衡。

88.9k|★★★☆☆|1周前
开发框架图像Agent