xplique

741 61 简单 1 次阅读 2周前NOASSERTION开发框架其他

AI 解读由 AI 自动生成，仅供参考

Xplique 是一款专为神经网络可解释性打造的 Python 工具箱，旨在帮助用户深入理解复杂深度学习模型的决策逻辑。它解决了人工智能领域长期存在的“黑盒”难题，让模型如何得出结论变得透明、可信且易于分析。

这款工具非常适合 AI 研究人员、数据科学家以及需要调试或优化模型的开发者使用。无论是基于 TensorFlow 构建的模型，还是部分 PyTorch 模型，Xplique 都能提供强大的支持。其核心亮点在于模块化设计：内置的“归因方法”模块集成了 Saliency、Grad-CAM、Integrated-Gradients 等前沿算法，并附带论文链接与实例；“特征可视化”模块能展示神经元如何识别图像特征；“概念”模块支持提取并验证人类可理解的概念；而独特的“基于示例”模块则能通过检索相似或对比样本来解释模型行为。此外，Xplique 还提供了完善的评估指标，帮助用户量化和比较不同解释方法的效果。

作为连接理论与实践的桥梁，Xplique 不仅汇总了可解释性人工智能（XAI）领域的最新成果，还通过丰富的教程和文档降低了使用门槛。如果你希望让模型决策过程不再神秘，Xplique 将是你值得信赖的得力助手。

使用场景

某医疗影像初创团队的算法工程师正在开发一款基于深度学习的肺结节检测模型，急需向医院合作方证明模型决策的可靠性以满足合规审查。

没有 xplique 时

决策过程如“黑盒”：医生质疑模型为何将良性阴影误判为恶性，团队无法提供直观的视觉证据来解释模型关注了图像的哪些区域。
归因方法实现繁琐：试图手动复现 Grad-CAM 或 Integrated-Gradients 等前沿算法，需耗费数周编写底层代码且容易出错，难以快速对比不同方法的效果。
缺乏量化评估标准：仅凭肉眼观察热力图觉得“合理”，却无法用客观指标（如忠实度、稳定性）证明解释结果的可信度，导致验收报告缺乏说服力。
概念验证困难：想要验证模型是否真的学到了“毛刺”、“分叶”等医学特征概念，却找不到有效工具从神经网络中提取并测试这些人类可理解的概念。

使用 xplique 后

可视化决策依据：利用 Attribution Methods 模块一键生成高质量热力图，清晰展示模型聚焦于结节边缘的毛刺特征，让医生直观理解判罚逻辑。
高效集成多种算法：直接调用内置的 Saliency、FEM 等多种 State-of-the-Art 算法，几天内即可完成多方法对比实验，大幅缩短研发周期。
科学量化解释质量：通过 Metrics 模块计算解释的忠实度分数，用数据证明模型关注区域与病灶高度重合，为合规审查提供坚实的量化支撑。
提取人类医学概念：借助 Concepts 模块成功提取并验证了模型对特定病理特征的敏感度，证明了模型学习到了符合医学常识的特征表示。

xplique 将晦涩的神经网络内部机制转化为可视、可测、可信的证据链，成为连接高精度算法与人类信任的关键桥梁。

运行环境要求

GPU

未说明

内存

未说明

依赖

notes该工具主要为 TensorFlow 模型构建，部分支持 PyTorch 模型。重要提示：由于 TensorFlow 2.16 引入了 Keras 3.X，部分方法可能无法按预期工作，建议暂时使用 TensorFlow 2.15 或更早版本以获得最佳兼容性。

python3.10, 3.11, 3.12, 3.13, 3.14

tensorflow>=2.5, <=2.15

numpy

快速开始

🦊 Xplique（发音为\ɛks.plik\) 是一个专注于可解释性的 Python 工具包。该库旨在汇集可解释人工智能领域的最新成果，帮助您理解复杂的神经网络模型。它最初是为 TensorFlow 模型设计的，目前也部分支持 PyTorch 模型。
📘 探索 Xplique 文档 · 探索 Xplique 教程 🔥

归因方法 · 概念提取 · 特征可视化 · 评估指标 . 基于示例的方法

[!IMPORTANT]
自 TensorFlow 2.16 引入 Keras 3.X 以来，部分方法可能无法按预期工作。我们正在积极修复此问题。在此期间，建议使用 TensorFlow 2.15 或更早版本以获得最佳兼容性。

该库由多个模块组成：_归因方法_模块实现了多种方法（如显著图、Grad-CAM、FEM、积分梯度等），并提供详细说明、示例以及官方论文链接。_特征可视化_模块允许通过寻找使神经元、通道、层或这些元素组合激活程度最大的输入，来观察神经网络如何构建对图像的理解。_概念提取_模块则可以从模型中提取人类可理解的概念，并测试其与特定类别的相关性。最后，_评估指标_模块涵盖了当前可解释性领域常用的各类指标。结合 归因方法 模块使用，可以对不同方法进行测试，或评估模型生成的解释质量。

[!NOTE]
我们很荣幸地宣布推出 基于示例的方法 模块！该模块专注于通过从数据集中检索相关示例来解释模型的方法。它包括来自不同类别的方法：相似示例、对比示例（反事实和半事实示例）以及原型示例（关于基于概念的方法的内容已单独列出）。

🔥 教程

我们提供了一些动手实践教程，帮助您熟悉该库及其 API：

归因方法：入门

概念方法：CRAFT：TensorFlow 入门

概念方法：CRAFT：PyTorch 入门

基于示例的方法：入门

您还可以在此处找到一些其他实用教程。本部分正在积极开发中，未来还将添加更多内容。我们将努力覆盖该库的所有可能用法，如果您有任何建议或希望看到的教程，请随时与我们联系。

🚀 快速入门

Xplique 需要 Python 3.7 或更高版本，以及 TensorFlow 和 NumPy 等多个库。可以通过 PyPI 安装：

pip install xplique

现在 Xplique 已安装完毕，以下是一些使用可用模块的基本示例。

归因方法

我们从一个简单的例子开始，为训练好的模型对多张图像（或整个数据集）计算 Grad-CAM。

from xplique.attributions import GradCAM

# 加载图像、标签和模型
# ...

explainer = GradCAM(model)
explanations = explainer.explain(images, labels)
# 或者直接使用 `explainer(images, labels)`

所有归因方法都共享一个通用的 API，详见归因 API 文档。

归因指标

为了衡量我们的方法所提供的解释是否忠实（即是否准确反映了模型的行为），我们可以使用诸如 Deletion 之类的忠实度指标。

from xplique.attributions import GradCAM
from xplique.metrics import Deletion

# 加载图像、标签和模型
# ...

explainer = GradCAM(model)
explanations = explainer(inputs, labels)
metric = Deletion(model, inputs, labels)

score_grad_cam = metric(explanations)

所有归因指标也共享一个通用的 API。更多信息请参见这里。

概念提取

CAV

在基于概念的方法中，例如可以从模型的某一层提取一个概念向量。为此，我们需要两个数据集：一个包含具有该概念的输入样本 positive_samples，另一个包含不具有该概念的样本 negative_samples。

from xplique.concepts import Cav

# 加载模型、包含概念的样本（正样本）和不包含概念的样本（负样本）
# ...

extractor = Cav(model, 'mixed3')
concept_vector = extractor(positive_samples,
                           negative_samples)

关于 CAV 的更多信息请参见这里，关于 TCAV 的更多信息请参见这里。

CRAFT

使用 CRAFT 来研究单个类别。

from xplique.concepts import CraftTf as Craft

# 将模型分为两部分：g 和 h
# 使用这两个模型创建一个 CRAFT 概念提取器
craft = Craft(input_to_latent_model = g,
              latent_to_logit_model = h)

# 使用 CRAFT 计算特定类别的概念
craft.fit(images_preprocessed, class_id=rabbit_class_id)

# 计算 Sobol 指数以了解哪些概念更重要
importances = craft.estimate_importance()

# 显示这些概念，展示每个概念的最佳 10 张图像
craft.plot_concepts_crops(nb_crops=10)

更多信息请参见 CRAFT 文档。

特征可视化

最后，为了找到一张既能最大化某个神经元激活又能最大化某一层激活的图像，我们可以构建两个目标并将其结合在一起。然后调用优化器来生成这些图像。

from xplique.features_visualizations import Objective
from xplique.features_visualizations import optimize

# 加载模型...

neuron_obj = Objective.neuron(model, "logits", 200)
channel_obj = Objective.layer(model, "mixed3", 10)

obj = neuron_obj + 2.0 * channel_obj
images, obj_names = optimize(obj)

想了解更多？请查看特征可视化文档。

Xplique 与 PyTorch

尽管该库主要是为 TensorFlow 设计的工具箱，但我们开发了一个非常实用的封装器，可以方便地将你的 PyTorch 模型集成到 Xplique 的框架中！

import torch

from xplique.wrappers import TorchWrapper
from xplique.attributions import Saliency
from xplique.metrics import Deletion

# 加载图像、目标和模型
# ...

device = 'cuda' if torch.cuda.is_available() else 'cpu'
wrapped_model = TorchWrapper(torch_model, device)

explainer = Saliency(wrapped_model)
explanations = explainer(inputs, targets)

metric = Deletion(wrapped_model, inputs, targets)
score_saliency = metric(explanations)

想了解更多？请查看 PyTorch 文档。

📦 包含内容

Xplique 包含 4 个模块：归因方法、归因指标、概念和特征可视化。特别是，归因方法模块支持多种任务：分类、回归、目标检测和语义分割。适用于多种数据类型：图像、时间序列和表格数据。与这些任务兼容的方法在下表中突出显示：

可用归因方法表

归因方法	模型类型	来源	图像	时间序列与表格数据
反卷积	TF	论文	C✔️ OD❌ SS❌	C✔️ R✔️
有限元法	TF	论文	C✔️ OD❌ SS❌	❌
Grad-CAM	TF	论文	C✔️ OD❌ SS❌	❌
Grad-CAM++	TF	论文	C✔️ OD❌ SS❌	❌
梯度输入	TF、PyTorch**	论文	C✔️ OD✔️ SS✔️	C✔️ R✔️
引导反向传播	TF	论文	C✔️ OD❌ SS❌	C✔️ R✔️
集成梯度	TF、PyTorch**	论文	C✔️ OD✔️ SS✔️	C✔️ R✔️
核 SHAP	TF、PyTorch*、可调用	论文	C✔️ OD✔️ SS✔️	C✔️ R✔️
LIME	TF、PyTorch*、可调用	论文	C✔️ OD✔️ SS✔️	C✔️ R✔️
屏蔽	TF、PyTorch*、可调用	论文	C✔️ OD✔️ SS✔️	C✔️ R✔️
RISE	TF、PyTorch*、可调用	论文	C✔️ OD✔️ SS✔️	C✔️ R✔️
显著性图	TF、PyTorch**	论文	C✔️ OD✔️ SS✔️	C✔️ R✔️
平滑梯度	TF、PyTorch**	论文	C✔️ OD✔️ SS✔️	C✔️ R✔️
平方梯度	TF、PyTorch**	论文	C✔️ OD✔️ SS✔️	C✔️ R✔️
方差梯度	TF、PyTorch**	论文	C✔️ OD✔️ SS✔️	C✔️ R✔️
Sobol 归因	TF、PyTorch**	论文	C✔️ OD✔️ SS✔️	🔵
HSIC 归因	TF、PyTorch**	论文	C✔️ OD✔️ SS✔️	🔵
FORGrad 增强	TF、PyTorch**	论文	C✔️ OD✔️ SS✔️	❌

TF : 兼容 Tensorflow

C : 分类 | R : 回归 | OD : 目标检测 | SS : 语义分割 (SS)

* : 参见可调用文档

** : 参见 Xplique for PyTorch 文档，以及 PyTorch 模型：入门笔记本。

✔️ : Xplique 支持 | ❌ : 不适用 | 🔵 : 正在开发中

归因指标可用表

归因指标	模型类型	属性	来源
MuFidelity	TF, PyTorch**	忠实度	论文
删除法	TF, PyTorch**	忠实度	论文
插入法	TF, PyTorch**	忠实度	论文
平均下降指标	TF, PyTorch**	忠实度	论文
平均上升指标	TF, PyTorch**	忠实度	论文
平均增益指标	TF, PyTorch**	忠实度	论文
平均稳定性	TF, PyTorch**	稳定性	论文
MeGe	TF, PyTorch**	表征性	论文
ReCo	TF, PyTorch**	一致性	论文
复杂度	TF, PyTorch**	复杂度	论文
稀疏性	TF, PyTorch**	复杂度	论文
随机Logit指标	TF, PyTorch**	随机化	论文
模型随机化指标	TF, PyTorch**	随机化	论文
(进行中) e-鲁棒性

TF : 兼容TensorFlow

** : 参见Xplique for PyTorch文档，以及PyTorch模型：入门笔记本。

可用概念方法表

概念方法	模型类型	来源
概念激活向量 (CAV)	TF	论文
CAV测试 (TCAV)	TF	论文
CRAFT TensorFlow	TF	论文
CRAFT PyTorch	PyTorch**	论文
(进行中) 鲁棒TCAV
(进行中) 自动概念提取 (ACE)

TF : 兼容TensorFlow

** : 参见Xplique for Pytorch文档，以及PyTorch的模型：入门笔记本

可用特征可视化方法表

特征可视化 (论文)	模型类型	详情
神经元	TF	针对特定神经元进行优化
层	TF	针对特定层进行优化
通道	TF	针对特定通道进行优化
方向	TF	针对特定向量进行优化
傅里叶预处理	TF	在傅里叶基下优化（参见预处理)
目标组合	TF	允许组合多个目标
MaCo	TF	固定幅度优化，参见论文

TF : 兼容TensorFlow

尽管我们仍处于早期阶段，但最近也新增了一个基于示例的方法模块。欢迎随时向我们提供反馈！目前可用的方法汇总于下表：

可用基于示例的方法表

方法	家族	文档
`SimilarExamples`	相似示例	SimilarExamples
`Cole`	相似示例	Cole

`NaiveCounterFactuals`	对照反事实	NaiveCounterFactuals
`LabelAwareCounterFactuals`	对照反事实	LabelAwareCounterFactuals

`KLEORSimMiss`	半事实	KLEOR
`KLEORGlobalSim`	半事实	KLEOR

`ProtoGreedy`	原型	ProtoGreedy
`ProtoDash`	原型	ProtoDash
`MMDCritic`	原型	MMDCritic

👍 贡献方式

欢迎提出您的想法，或加入我们，共同为Xplique工具箱贡献力量！我们有一份专门的文档，以简单易懂的方式介绍了如何提交您的首次拉取请求：请在此处查看。

👀 更多相关信息

本库只是解释您模型的众多方法之一。我们并不认为它是完美的解决方案，而是为了探索可能性空间中的一个方向而创建的。

其他有趣的模型解释工具：

Lucid，由OpenAI开发的专注于特征可视化的优秀库。
Captum，PyTorch框架下的可解释性研究专用库。
Tf-explain，实现了多种归因方法，并为TensorFlow提供了回调API。
Alibi Explain，用于模型检查与解释的工具。
SHAP，一种非常流行的库，使用经典博弈论中的Shapley值及其相关扩展来计算局部解释。

想要了解更多关于可解释人工智能的一般知识：

可解释机器学习，克里斯托夫·莫尔纳著。
超越特征归因的可解释性，作者：Been Kim。
解释机器学习预测：现状、挑战与机遇，作者：Himabindu Lakkaraju、Julius Adebayo和Sameer Singh。
可解释性严谨科学研究路线图，作者：Finale Doshi-Velez。
DEEL白皮书，DEEL团队关于可认证AI挑战以及可解释性在此过程中作用的总结。

DEEL项目的更多内容：

deel-lip，用于在TensorFlow上训练k-Lipschitz神经网络的Python库。
deel-torchlip，用于在PyTorch上训练k-Lipschitz神经网络的Python库。
Influenciae，一款专门用于计算影响值的Python工具，旨在发现数据集中可能存在问题的样本。
LARD，跑道着陆引导检测（LARD）是一个包含飞机正面航拍图像的数据集，专为飞机着陆阶段设计。
PUNCC，Puncc（预测不确定性校准与置信度调整）是一个开源Python库，整合了回归和分类问题中一系列最先进的置信度预测算法及相关技术。
OODEEL，OODEEL是一款对已训练好的神经网络图像分类器进行事后深度OOD检测的库。该库的理念是注重质量而非数量，并促进易于采用。
DEEL白皮书，DEEL团队关于可认证AI挑战以及数据质量、代表性与可解释性在此过程中的作用的总结。

🙏 致谢

本项目获得了法国“面向未来的投资计划——PIA3”项目在图卢兹人工与自然智能研究所（ANITI）框架下的资助。作者谨此感谢 DEEL 项目的支持。

👨‍🎓 创建者

本库最初是由Thomas FEL作为副业项目启动的，他目前是图卢兹人工与自然智能研究所的一名研究生，在Thomas SERRE的指导下进行研究。他的论文工作主要集中在深度神经网络的可解释性方面。

随后，他得到了来自 DEEL 团队部分成员的帮助，进一步完善了该库，尤其是来自Lucas Hervier和Antonin Poché的支持。

🗞️ 引用

如果您在科学出版物的工作流中使用 Xplique，请考虑引用 🗞️ Xplique 官方论文：

@article{fel2022xplique,
  title={Xplique: 一种深度学习可解释性工具箱},
  author={Fel, Thomas 和 Hervier, Lucas 和 Vigouroux, David 和 Poche, Antonin 和 Plakoo, Justin 和 Cadene, Remi 和 Chalvidal, Mathieu 和 Colin, Julien 和 Boissin, Thibaut 和 Bethune, Louis 和 Picard, Agustin 和 Nicodeme, Claire 
          和 Gardes, Laurent 和 Flandin, Gregory 和 Serre, Thomas},
  journal={计算机视觉可解释人工智能研讨会（CVPR）},
  year={2022}
}

📝 许可证

该软件包采用 MIT 许可证发布。

Xplique 快速上手指南

Xplique 是一个专注于可解释性人工智能（Explainable AI）的 Python 工具包，旨在帮助开发者理解复杂的神经网络模型。它最初为 TensorFlow 构建，同时也部分支持 PyTorch 模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

操作系统：Linux, macOS 或 Windows
Python 版本：3.10, 3.11, 3.12, 3.13 或 3.14
核心依赖：
- TensorFlow：推荐版本 2.15 或更早版本。
  
  ⚠️ 重要提示：由于 TensorFlow 2.16+ 引入了 Keras 3.X，部分方法可能无法按预期工作。官方正在修复中，目前为了获得最佳兼容性，建议使用 TensorFlow 2.15 及以下版本。
- NumPy
- PyTorch（可选，如需使用 PyTorch 模型）

安装步骤

您可以直接通过 PyPI 安装 Xplique：

pip install xplique

如果您在中国大陆地区，建议使用国内镜像源以加速下载：

pip install xplique -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

安装完成后，您可以立即开始使用 Xplique 的各个模块。以下是两个最常用的核心功能示例。

1. 生成归因图 (Attribution Methods)

使用 Grad-CAM 等方法生成热力图，以可视化模型关注的图像区域。

from xplique.attributions import GradCAM

# 加载图片、标签和训练好的模型
# images, labels, model = ...

# 初始化解释器
explainer = GradCAM(model)

# 生成解释结果
explanations = explainer.explain(images, labels)

# 或者简写为：
# explanations = explainer(images, labels)

2. 评估解释质量 (Attribution Metrics)

使用指标（如 Deletion）来衡量生成的解释是否忠实反映了模型的行为。

from xplique.attributions import GradCAM
from xplique.metrics import Deletion

# 加载图片、标签和模型
# inputs, labels, model = ...

# 生成解释
explainer = GradCAM(model)
explanations = explainer(inputs, labels)

# 初始化评估指标
metric = Deletion(model, inputs, labels)

# 计算得分
score_grad_cam = metric(explanations)

更多高级功能（如概念提取、特征可视化、基于示例的方法等）及详细教程，请访问 Xplique 官方文档或查看其提供的 Colab 实战教程。

版本历史

v1.5.22026/02/24

v1.5.12026/02/13

v1.5.02026/02/10

v1.4.02024/10/08

v1.3.32023/12/13

v1.3.22023/12/13

v1.3.12023/11/09

v1.3.02023/10/19

v1.2.12023/10/18

v1.2.02023/10/05

v1.1.02023/09/07

v1.0.02023/05/29

v0.4.32022/12/19

v0.2-alpha2021/10/01

v0.1-alpha2021/06/21

常见问题

CRAFT PyTorch 方法是否适用于时间序列数据（如 12 通道 ECG）的概念可视化？

如何为 Lime 和 KernelShap 方法自定义分割函数（map_to_interpret_space），特别是当需要针对每张图像动态调整参数时？

为什么在相同数据和条件下重新训练模型后，使用 XAI 方法（如 Saliency）得到的可解释性结果完全不同且不稳定？

运行 Getting Started 笔记本时报错 `plot_attributions` 无法处理 3 维或 4 维的解释数据（如包含通道维度），如何解决？

Xplique 是否支持表格数据（Tabular Data）模型的保真度（Fidelity）指标评估？

目前是否有针对单通道图像进行特征可视化（Feature Visualization）时的维度错误解决方案？

Xplique 计划何时支持时间序列解释的可视化功能？

相似工具推荐

openclaw

OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。 OpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你

★ 349.3k|★★★☆☆|1周前

Agent开发框架图像

stable-diffusion-webui

stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。

★ 162.1k|★★★☆☆|1周前

开发框架图像Agent

everything-claude-code

everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上

★ 155.4k|★★☆☆☆|今天

开发框架Agent语言模型

ComfyUI

ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。

★ 108.3k|★★☆☆☆|4天前

开发框架图像Agent

gemini-cli

gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。

★ 100.8k|★★☆☆☆|4天前

插件Agent图像

markitdown

MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器

★ 93.4k|★★☆☆☆|1周前

插件开发框架