MotionGPT
MotionGPT 是一款将人体动作视为“外语”的统一生成模型，旨在打通自然语言与三维动作数据之间的语义壁垒。它主要解决了以往模型难以同时高质量处理多种动作任务（如根据文字生成动作、为动作添加描述、动作预测及中间帧补全）的难题，实现了跨模态数据的深度耦合。
这款工具非常适合人工智能研究人员、动画开发者以及需要智能动作生成能力的创作者使用。对于研究者，它提供了基于大语言模型（LLM）的多模态预训练新范式；对于开发者与设计师，它能通过简单的文本指令快速生成流畅、符合语义的 3D 人物动画，大幅降低内容创作门槛。
MotionGPT 的核心技术亮点在于其独特的“动作词汇表”构建方式。它利用离散向量量化技术，将复杂的 3D 动作序列转化为类似单词的“动作令牌（Motion Tokens）”，从而让大语言模型能够像处理文本一样直接理解和生成动作。此外，项目引入了提示学习（Prompt Learning）机制，支持通过问答形式灵活交互。作为 NeurIPS 2023 的收录成果，MotionGPT 在多项基准测试中均达到了业界领先水平，并提供了便捷的 HuggingFace 演示与开源代码，便于用户快速上手体验。
使用场景
某独立游戏开发团队正在为一款叙事驱动的动作 RPG 制作过场动画，需要让角色根据剧本对话自然地完成行走、战斗和互动动作。
没有 MotionGPT 时
- 动画师必须手动逐帧调整关键姿势来匹配每一句台词，耗时且难以保证动作与语义的精准对齐。
- 想要修改剧本中的动作描述（如将“愤怒地挥拳”改为“沮丧地垂手”），需重新制作整套动画序列，迭代成本极高。
- 缺乏统一工具处理多种任务，生成动作、编写动作描述文案、预测下一帧动作需分别使用不同软件或插件，工作流割裂。
- 非专业动画出身的策划人员无法直接通过文字快速预览动作效果，沟通依赖大量口头描述和草图，效率低下。
使用 MotionGPT 后
- 策划人员直接输入剧本台词或动作指令（如“角色悲伤地转身离开”），MotionGPT 即刻生成流畅且语义匹配的 3D 动作序列。
- 修改剧情时只需调整文本提示词，MotionGPT 能实时重新生成对应的新动作，将迭代时间从数天缩短至几分钟。
- 利用其统一模型架构，同一套系统即可胜任动作生成、自动撰写动作说明文案、以及补全缺失的中间帧动作，工作流高度整合。
- 团队成员无需具备深厚动画知识，通过自然语言问答即可让 MotionGPT 理解意图并输出结果，大幅降低协作门槛。
MotionGPT 通过将人体运动转化为大语言模型可理解的“外语”，彻底打破了文本创意与 3D 动作执行之间的壁垒，实现了“所言即所得”的高效内容生产。
运行环境要求
- Linux
需要 NVIDIA GPU (训练和渲染步骤明确使用 --cuda 参数)，具体型号和显存未说明，需支持 PyTorch 2.0 的 CUDA 版本
未说明
快速开始
MotionGPT 官方仓库 
| 预告视频 | 演示视频 |
|---|---|
🏃 简介 MotionGPT
MotionGPT 是一个统一且用户友好的运动-语言模型，用于学习两种模态之间的语义关联，并在多种运动任务上生成高质量的运动序列及文本描述。
技术细节
尽管预训练大型语言模型取得了显著进展，但构建能够处理语言与其他多模态数据（如运动）的统一模型，至今仍面临挑战且鲜有探索。幸运的是，人类运动表现出与人类语言相似的语义耦合性，常被视为一种肢体语言。通过将语言数据与大规模运动模型相结合，实现运动-语言预训练以提升运动相关任务的性能成为可能。基于这一洞察，我们提出了 MotionGPT，一个统一、多功能且用户友好的运动-语言模型，可应对多种与运动相关的任务。具体而言，我们采用离散向量量化技术对人类运动进行编码，将其转换为运动标记，类似于单词标记的生成过程。在此“运动词汇表”的基础上，我们以统一的方式对运动和文本进行语言建模，将人类运动视为一种特定的语言。此外，受提示学习启发，我们使用混合的运动-语言数据对 MotionGPT 进行预训练，并在基于提示的问答任务上进行微调。大量实验表明，MotionGPT 在多项运动任务上均达到了最先进的性能，包括文本驱动的运动生成、运动字幕生成、运动预测以及运动插值等。
🚩 最新消息
- [2025/06/30] 发布 🔥 MotionGPT3 🔥 一个基于 MoT 架构的双模态运动-语言框架。
- [2023/09/22] MotionGPT 被 NeurIPS 2023 接收
- [2023/09/11] 发布 HuggingFace 演示 🔥🔥🔥
- [2023/09/09] 开始训练 MotionGPT V1.0 🔥🔥🔥
- [2023/06/20] 上传论文并启动项目
⚡ 快速入门
环境搭建与下载
1. Conda 环境
conda create python=3.10 --name mgpt
conda activate mgpt
安装 requirements.txt 中的依赖包，并安装 PyTorch 2.0
pip install -r requirements.txt
python -m spacy download en_core_web_sm
我们已在 Python 3.10.6 和 PyTorch 2.0.0 上测试过代码。
2. 依赖项
运行脚本下载所需材料：
bash prepare/download_smpl_model.sh
bash prepare/prepare_t5.sh
用于文本到运动评估：
bash prepare/download_t2m_evaluators.sh
3. 预训练模型
运行脚本下载预训练模型：
bash prepare/download_pretrained_models.sh
4. （可选）手动下载
访问 Google Drive，下载之前的依赖文件。
访问 HuggingFace，下载预训练模型。
▶️ 演示
批量演示
我们支持文本文件输入，输出的运动数据为 npy 文件，文本输出为 txt 文件。请检查 configs/assets.yaml 中的路径配置，其中 TEST.FOLDER 为输出文件夹。
然后，运行以下脚本：
python demo.py --cfg ./configs/config_h3d_stage3.yaml --example ./demos/t2m.txt
一些参数：
--example=./demo/t2m.txt：输入文件为文本提示--task=t2m：评估任务包括 t2m、m2t、预测和插值
输出结果：
npy 文件：生成的运动序列，形状为 (nframe, 22, 3)txt 文件：输入的文本提示或生成的文本输出
💻 训练您自己的模型
训练指南
1. 准备数据集
请参考 HumanML3D 了解文本到运动数据集的设置方法。
将说明文档放入
prepare/instructions目录中，与 HumanML3D 数据集放在同一文件夹内。
2.1. 准备训练运动标记化模型
首先，请检查 configs/config_h3d_stage1.yaml 中的参数，例如 NAME 和 DEBUG。
然后，运行以下命令：
python -m train --cfg configs/config_h3d_stage1.yaml --nodebug
2.2. 准备预训练 MotionGPT 模型
请更新 configs/config_h3d_stage2.yaml 中的参数，例如 NAME、DEBUG 和 PRETRAINED_VAE（替换为您在上一步中获得的最新检查点路径）。
随后，运行以下命令以存储训练集中所有运动标记，方便后续使用：
python -m scripts.get_motion_code --cfg configs/config_h3d_stage2.yaml
之后，再运行以下命令：
python -m train --cfg configs/config_h3d_stage2.yaml --nodebug
2.3. 准备指导微调 MotionGPT 模型
请更新 configs/config_h3d_stage3.yaml 中的参数，例如 NAME、DEBUG、PRETRAINED（将其更改为上一步中您的 最新检查点模型路径）。
然后运行以下命令：
python -m train --cfg configs/config_h3d_stage3.yaml --nodebug
3. 评估模型
请先将训练好的模型检查点路径放入 configs/config_h3d_stage3.yaml 中的 TEST.CHECKPOINT。
然后运行以下命令：
python -m test --cfg configs/config_h3d_stage3.yaml --task t2m
一些参数说明：
--task：评估任务包括 t2m（文本到运动）、m2t（运动翻译）、pred（运动预测）、inbetween（运动插值）。
由于 Python 包冲突的问题，当前发布的运动翻译任务中的语言学指标实现来自 nlg-metricverse，这可能与 nlg-eval 实现的结果不一致。我们将在未来修复这一问题。
👀 可视化
渲染 SMPL 模型
1. 设置 Blender - 进行中
请参考 TEMOS-Rendering motions 获取 Blender 的设置方法，然后安装以下依赖项。
YOUR_BLENDER_PYTHON_PATH/python -m pip install -r prepare/requirements_render.txt
2. （可选）渲染绑定的圆柱体
使用 Blender 运行以下命令：
YOUR_BLENDER_PATH/blender --background --python render.py -- --cfg=./configs/render.yaml --dir=YOUR_NPY_FOLDER --mode=video
2. 使用以下命令创建 SMPL 网格：
python -m fit --dir YOUR_NPY_FOLDER --save_folder TEMP_PLY_FOLDER --cuda
这将输出：
mesh npy 文件：生成的 SMPL 顶点数据，形状为 (nframe, 6893, 3)ply 文件：用于 Blender 或 MeshLab 的网格文件
3. 渲染 SMPL 网格
运行以下命令以使用 Blender 渲染 SMPL：
YOUR_BLENDER_PATH/blender --background --python render.py -- --cfg=./configs/render.yaml --dir=YOUR_NPY_FOLDER --mode=video
可选参数：
--mode=video：渲染 mp4 视频--mode=sequence：将整个动作序列渲染成一张 PNG 图像。
⚠️ 常见问题解答
问答
MotionGPT 的目的与能力
MotionGPT 的研究动机。
答： 我们提出 MotionGPT 旨在通过统一的语言词汇表，将运动建模与语言结合，从而在一个统一的模型中解决各种人类运动相关任务。为了训练这一统一模型，我们提出了 基于多模态运动-语言协议的指令式训练方案，进一步揭示了大型语言模型在运动任务中的潜力，而不仅仅局限于语言生成领域。然而，这种结合并非易事，因为它需要从头开始对两种截然不同的模态进行建模和生成。与之前利用 CLIP 提取文本嵌入作为运动生成条件的工作不同，例如 T2M-GPT，MotionGPT 引入了 基于 LLM 的运动-语言预训练，这样它就可以充分利用预训练语言模型强大的语言生成能力和零样本迁移能力，并在统一的模型中同时生成人类语言和运动。
指令式微调与零样本学习。
答： 我们提出指令式微调是为了 让单一的 MotionGPT 模型能够跨所有运动相关任务进行训练，而针对特定任务的微调则是分别在单个任务上训练和评估 MotionGPT。我们采用这两种训练方式来研究 MotionGPT 在多任务上的表现。如图所示，我们提供了 零样本案例。得益于强大的语言模型，MotionGPT 能够理解文本到运动训练集中未见过的词汇，例如“scuttling”和“barriers”，并根据句子含义生成正确的动作。然而，即使 MotionGPT 能够理解输入文本，它仍然难以生成 未见过的动作，比如体操动作。
鉴于近期 LLM 的成功，MotionGPT 应当关注如何整合现有的数据集，以便在处理大规模数据时充分发挥语言模型的可扩展性，而不仅仅是单纯地增加模型规模。
答： 在实施 MotionGPT 以及后续研究过程中，我们确实遇到了 数据集有限的问题。整合并收集更大规模的运动数据集是一项艰巨但极具价值的工作。幸运的是，目前已有研究人员致力于解决这一问题，例如最近推出的 Motion-X 等数据集，这些数据集有望推动大规模运动模型的发展。一旦这些更大的数据集可用，我们将进一步在这些数据集中评估 MotionGPT。
MotionGPT 对运动与语言之间关系的学习效果如何？
答： 不同于以往那些使用 CLIP 的文本编码器作为条件的运动生成模型，需要注意的是，MotionGPT 是通过语言模型来学习运动与语言之间的关系，而不是依赖 CLIP 提供的文本特征。根据我们的零样本实验结果（参见 图 12）以及在多任务上的表现（参见 图 10），MotionGPT 在简单或复杂文本与简单动作之间的关联上建立了较为稳固的联系，但在处理复杂文本到 复杂运动翻译的任务时仍显不足。
更多技术细节
为什么选择T5这种编码器-解码器架构作为基础模型？为什么不选择像LLaMA这样的纯解码器模型呢？
回答： 我们用来构建MotionGPTs的第一个语言模型是LLaMA-13B。然而，它表现出性能不足和训练效率低的问题。我们认为原因在于，与LLaMA庞大的参数量和语言数据相比，我们的数据集规模有限。随后，我们尝试了更小规模的纯解码器骨干模型GPT2-Medium，结果见表15。因此，我们最终选择了小型但通用的语言模型T5-770M作为骨干模型，因为许多先前的视觉-语言多模态工作，如Unified-IO和BLIP，都选择了T5这种编码器-解码器架构。它在处理多模态任务方面表现出强大的能力。此外，纯解码器模型的优势在于无需配对数据即可进行自监督学习，而我们拥有配对数据，这一优势因此被大大削弱。目前，我们仍在努力收集大规模的动作数据，以支持更大规模的动作-语言模型。
文本词汇表和动作词汇表是如何详细合并的？是简单地将它们拼接在一起吗？
回答： 为了确保语言和动作之间共享统一的分布，我们分别初始化动作标记，并将其与语言标记拼接在一起。这一步骤确保了两种模态的均衡表示。此外，这些标记嵌入在整个阶段2和阶段3中都会被主动训练，从而确保语言和动作知识的全面融合。
针对每个任务的微调，是微调整个模型，还是只微调其中一部分？
回答： 为了应对不同的具体任务，我们采用的是对整个模型进行微调的方法。我们的理由在于，对于每个特定的任务，我们的重点是优化该任务的性能，而不保留从其他任务中学到的过多知识。另外，我们仅对文本到动作的任务进行了专门的微调，而其他任务则未进行专门的微调。
更多实验细节
MotionGPT能否像MotionDiffuse和MDM一样进行动作编辑或动作组合？
| 方法 | FID $\downarrow$ | DIV $\rightarrow$ | ADE $\downarrow$ | FDE $\downarrow$ |
|---|---|---|---|---|
| 真实 | 0.002 | 9.503 | - | - |
| MDM | 6.031 | 7.813 | 5.446 | 8.561 |
| T2M-GPT | 2.056 | 8.635 | 6.161 | 8.302 |
| MotionGPT (我们的) | 0.905 | 8.972 | 4.745 | 6.040 |
仅使用动作数据在HumanML3D数据集上进行动作预测的比较。
回答： 参照MDM，动作编辑可分为两类：身体部位编辑和时间域上的动作补全。MotionGPT能够完成后者，包括动作预测和动作插值。在上表中，它在这些任务上均优于MDM和T2M-GPT。然而，在身体部位编辑方面，基于向量量化（VQ）的方法，如MotionGPT和T2M-GPT，不如那些利用扩散去噪技术直接作用于原始动作数据的扩散模型。通过大语言模型和提示词来编辑身体部位是一个很有前景的方向，但仍需进一步探索。
如何在动作预测和插值任务上实现MDM的技术方案？
回答： 请参考我们论文中的附录B.4和第296行，其中我们指出，MDM通过一种掩码式“修复”技术来实现动作插值任务。具体来说，就是固定动作的起始和结束部分，让模型生成中间部分。为了将这一概念应用于动作预测，我们同样固定动作的一部分——在我们的例子中是前20%——并生成后续序列。
如果仅提供起始帧和结束帧作为插值输入，动作下采样是否会影响模型的表现？
回答： 基于VQ的方法，如MotionGPT和T2M-GPT，会采用下采样的技巧来提高代码本或标记的密度，并降低计算成本。当操作的粒度小于下采样率时，这确实会成为一个限制。不过，为了解决这个问题，我们可以只提供起始和结束帧作为插值输入。一些技术手段可以应用，比如将单一的起始或结束帧重复到窗口大小作为输入，并在输出中去除冗余部分。这样做并不会显著影响模型的效果，因为在真实动作数据中，常常存在静止的开始或结束部分。
下采样率是如何选择的？这是一个决定模型整体粒度的基础超参数。
| 下采样 | MPJPE $\downarrow$ | MPJPE $\downarrow$ | ACCL $\downarrow$ | FID $\downarrow$ | DIV $\rightarrow$ |
|---|---|---|---|---|---|
| $l=1$ | 76.2 | 49.5 | 19.5 | 0.421 | 9.613 |
| $l=2$ | 52.6 | 37.7 | 9.5 | 0.135 | 9.722 |
| $l=4$ | 55.8 | 40.1 | 7.5 | 0.067 | 9.675 |
| $l=8$ | 62.7 | 45.3 | 8.7 | 0.223 | 9.584 |
回答： 我们根据HumanML3D和KIT-ML数据集的帧率（FPS）来选择下采样率，这两个数据集的帧率均为20 fps。因此，采用4倍下采样达到5 fps，既能保证动作帧之间的清晰区分，避免冗余，又能加快训练速度。同时，这一选择也是为了确保公平比较，因为我们采用了与T2M-GPT相同的下采样率。如上表所示，我们对这些参数进行了消融实验研究，结果表明，4倍下采样在动作重建的弗雷歇初始距离（FID）指标上表现最佳。
失败分析。模型在零样本情况下处理具有语义意义但可能未曾见过的词语的能力。
回答： 如 图12 所示，我们同时展示了零样本案例和失败案例。得益于强大的语言模型，MotionGPT能够理解文本到运动训练集中未见过的动作描述，例如“scuttling”和“barriers”，并根据句子的语义生成正确的动作。然而，即使MotionGPT能够理解输入文本，它仍然难以生成未见过的动作，比如体操动作。
TM2T、T2M 和 poseGPT 是否在其训练数据集的离散潜在代码中捕捉到了所有的人体动作？
| 方法 | MPJPE$\downarrow$ | MPJPE $\downarrow$ | ACCL $\downarrow$ | FID $\downarrow$ | DIV $\rightarrow$ |
|---|---|---|---|---|---|
| VPoser-t | 75.6 | 48.6 | 9.3 | 1.430 | 8.336 |
| ACTOR | 65.3 | 41.0 | 7.0 | 0.341 | 9.569 |
| MLD-1 | 54.4 | 41.6 | 8.3 | 0.247 | 9.630 |
| MotionGPT (我们的) | 55.8 | 40.1 | 7.5 | 0.067 | 9.675 |
运动重建比较。
| 方法 | FID $\downarrow$ |
|---|---|
| MotionGPT (我们的) | $0.510^{\pm.016}$ |
| T2M-GPT | $0.514^{\pm.029}$ |
| MLD | $\boldsymbol{0.404}^{\pm.027}$ |
KIT-ML 数据集上文本到运动任务中的 FID 比较。
回答： 在拥有足够来自同一数据集的训练或测试数据的情况下，无论是 VAE 还是 VQ-VAE，运动重建都不是一项具有挑战性的任务。我们在 表8 中提供了运动重建的评估结果。然而，当处理有限数量的运动数据时，例如 KIT 数据集，VAE 模型在运动插值方面表现出更强的能力，优于 VQ-VAE。 相关的评估如上所示（也在 表7 中），其中 MLD（VAE）在 FID 方面优于 MotionGPT 和 T2M-GPT（VQ-VAEs）。 真正的挑战在于重建复杂的动作，例如跳水或体操运动。现有的运动生成器很难仅使用从日常运动数据集中提取的代码本准确地重建复杂动作。收集这些复杂但有价值的运动仍然是运动研究领域的一个重大挑战。
关于性能
运动质量和性能提升。
| 方法 | FID $\downarrow$ |
|---|---|
| MDM | $0.544^{\pm.044}$ |
| MotionGPT | $0.160^{\pm.008}$ |
| T2M-GPT | $\boldsymbol{0.116}^{\pm.004}$ |
HumanML3D 数据集上文本到运动任务中的 FID 比较。
| 方法 | FID $\downarrow$ |
|---|---|
| T2M-GPT | $0.514^{\pm.029}$ |
| MotionGPT | $0.510^{\pm.016}$ |
| MDM | $\boldsymbol{0.497}^{\pm.021}$ |
KIT-ML 数据集上文本到运动任务中的 FID 比较。
回答： FID 指标主要关注运动质量，而非运动与文本之间的相关性。尽管 MDM 是运动生成领域的成功基准，但 MotionGPT 和 T2M-GPT 在 FID 指标上仍比 MDM 高出 0.38 至 0.43。然而，这三者在视频呈现上的运动质量差异并不显著。此外，在 KIT 数据集上，MDM 的 FID 表现优于两种向量量化方法 MotionGPT 和 T2M-GPT。这可以归因于该数据集仅有 3,911 条运动序列，使得构建全面的运动代码本非常困难。更重要的是，MotionGPT 通过结合 LLM 实现了多种运动任务，尤其是在单个模型中同时生成文本和运动，而不是单纯追求 FID 指标的提升。
强大语言模型带来的性能提升有限。
回答： 我们原本认为，使用规模显著更大的语言模型的 MotionGPT 将在所有任务中超越现有方法。然而，评估结果显示，MotionGPT 在 23 项指标中取得了 18 项的 SOTA 成绩，但许多改进幅度较小。这主要是由于数据集规模有限所致。无论是 HumanML3D（14,616 条运动）还是 KIT（3,911 条运动），其词汇量和整体数据集规模都相对有限，尤其与数十亿级别的语言数据集相比，这影响了大规模模型的效果。借助近期发布的数据集工作，例如 Motion-X，一旦这些大型数据集可用，我们将进一步评估 MotionGPT 在更大规模数据集上的性能提升。
KIT 数据集中 R-Precision 的性能提升。
回答： KIT 数据集中 R-Precision 的评估依赖于基于 6,353 条文本描述构建的文本编码器。相比之下，MotionGPT 则受益于 LLM 和海量语言数据，能够为运动生成更长且更自然的语言描述。然而，这导致生成的描述与真实标注描述之间存在差异，从而降低了 R-Precision 的得分。
MotionGPT 似乎以牺牲准确性为代价来实现额外的功能。
回答： 如 图10 所示，MotionGPT 在四项运动相关任务中，共23项指标中有18项达到了 SOTA 水平。此外，HumanML3D 和 KIT 数据集的整体规模都较为有限，尤其是与数十亿级别的语言数据集相比，这会影响大规模模型的效果。未来我们将使用更大的运动-文本数据集来进一步评估 MotionGPT。另外，MotionGPT 引入了运动-语言预训练以及零样本能力，这是一个值得探索的有前景方向，可能激发进一步的研究和自训练机制。
关于插图
可视化 VQ-VAE 学习到的词汇表中的一些标记。
回答: 如 图13 所示，我们可视化了运动词汇表 $V_m$ 中的这些运动标记及其对应的局部时空上下文，这些内容被描绘在4帧的运动片段中。然而，由于训练是在标记序列上进行的，MotionGPT 在为每个单独的标记生成描述方面存在不足。
你可以运行下面的脚本以可视化更多标记：
python -m scripts.get_code_visual --cfg configs/config_h3d_stage2.yaml
📖 引用
如果你觉得我们的代码或论文对你有所帮助，请考虑引用以下文献：
@article{jiang2024motiongpt,
title={Motiongpt: Human motion as a foreign language},
author={Jiang, Biao and Chen, Xin and Liu, Wen and Yu, Jingyi and Yu, Gang and Chen, Tao},
journal={Advances in Neural Information Processing Systems},
volume={36},
year={2024}
}
@inproceedings{chen2023executing,
title={Executing your Commands via Motion Diffusion in Latent Space},
author={Chen, Xin and Jiang, Biao and Liu, Wen and Huang, Zilong and Fu, Bin and Chen, Tao and Yu, Gang},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
pages={18000--18010},
year={2023}
}
致谢
感谢 Motion-latent-diffusion、T2m-gpt、TEMOS、ACTOR、HumanML3D 和 joints2smpl，我们的代码部分借鉴了它们的工作。
许可证
本代码采用 MIT 许可证 发布。
请注意，我们的代码依赖于其他库，包括 SMPL、SMPL-X、PyTorch3D，并使用了一些数据集，而这些库和数据集各自有其相应的许可证，你也需要遵守这些许可证的规定。
版本历史
MotionGPT-V1.02023/09/09常见问题
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。