NVIDIA NeMo Curator

GPU加速的数据整理工具，助您更快、更高效地训练优质AI模型。 通过模块化的文本、图像、视频和音频处理流水线，可从笔记本电脑扩展至多节点集群。

作为NVIDIA NeMo软件套件的一部分，用于管理AI智能体的生命周期。

您可以实现的功能

模态	核心能力	入门指南
文本	去重 • 分类 • 质量过滤 • 语言检测	文本指南
图像	审美筛选 • 不适宜内容检测 • 嵌入生成 • 去重	图像指南
视频	场景检测 • 片段提取 • 运动过滤 • 去重	视频指南
音频	ASR转录 • 质量评估 • WER过滤	音频指南

快速入门

# 根据您的模态安装
uv pip install "nemo-curator[text_cuda12]"

# 运行快速入门示例
python tutorials/quickstart.py

完整设置： 安装指南 • Docker • 教程

---

各模态功能概览

文本数据整理

利用多语言支持，处理并整理高质量文本数据集，用于大型语言模型（LLM）的训练。

类别	功能	文档
数据源	Common Crawl • Wikipedia • ArXiv • 自定义数据集	加载数据
质量过滤	30余种启发式过滤器 • fastText分类 • GPU加速的领域、质量、安全及内容类型分类器	质量评估
去重	精确去重 • 模糊去重（MinHash LSH）• 语义去重（GPU加速）	去重
预处理	文本清洗 • 语言识别	内容处理

---

图像数据整理

为视觉语言模型（VLM）及生成式AI训练整理大规模图像数据集。

类别	功能	文档
数据加载	WebDataset格式 • 大规模图文对	加载数据
嵌入	CLIP嵌入用于语义分析	嵌入
筛选	审美质量评分 • NSFW检测	筛选

---

视频数据整理

使用分布式、GPU加速的流水线处理大规模视频语料库，服务于世界基础模型（WFM）。

类别	功能	文档
数据加载	本地路径 • S3兼容存储 • HTTP(S) URL	加载数据
片段切割	固定步长分割 • 场景变化检测（TransNetV2）	片段切割
处理	GPU H.264编码 • 帧提取 • 运动过滤 • 审美筛选	处理
嵌入	Cosmos-Embed1用于片段级嵌入	嵌入
去重	K-means聚类 • 成对相似度用于近似重复检测	去重

---

音频数据整理

为自动语音识别（ASR）及多模态AI训练准备高质量语音数据集。

类别	功能	文档
数据加载	本地文件 • 自定义清单 • 公共数据集（FLEURS）	加载数据
ASR处理	NeMo框架预训练模型 • 自动转录	ASR推理
质量评估	计算词错误率（WER）• 时长分析 • 基于质量的过滤	质量评估
集成	与文本处理流程集成，构建多模态管道	文本集成

---

为什么选择NeMo Curator？

大规模性能

NeMo Curator 利用 NVIDIA RAPIDS™ 库（如 cuDF、cuML 和 cuGraph）以及 Ray，在多节点、多 GPU 环境中实现工作负载的横向扩展。

经过验证的结果：

• 在 8 TB 的 RedPajama v2 数据集（1.78 万亿个标记）上，模糊去重速度提升 16 倍
• 总拥有成本（TCO）相比基于 CPU 的方案降低 40%
• 从单节点到四节点 H100 80 GB 配置时，性能呈现 近线性扩展（2.05 小时 → 0.50 小时）

质量提升

数据编排模块能够显著提升模型性能。在使用经编排后的 Common Crawl 数据训练的 3.57 亿参数 GPT 模型进行的消融实验中：

结果： 通过文本清洗、去重和质量过滤等环节，零样本下游任务的性能得到持续提升。

---

了解更多

资源	链接
文档	主文档 • API 参考 • 概念
教程	文本 • 图像 • 视频 • 音频
部署	安装 • 基础设施
社区	GitHub 讨论区 • 问题

---

参与贡献

我们欢迎社区贡献！请参阅 CONTRIBUTING.md 获取相关指南。

NVIDIA NeMo Curator 快速上手指南

NVIDIA NeMo Curator 是一款 GPU 加速的数据清洗工具，旨在帮助用户快速构建高质量的文本、图像、视频和音频数据集，以训练更优秀的 AI 模型。它支持从单机笔记本到多节点集群的弹性扩展。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04)。
• Python 版本: 3.9 - 3.11。
• GPU 硬件: 支持 CUDA 的 NVIDIA GPU（推荐使用 Ampere 架构或更新版本，如 A100/H100，以获得最佳性能）。
• CUDA 驱动: 已安装与 GPU 匹配的 NVIDIA 驱动及 CUDA Toolkit（本指南示例基于 CUDA 12.x）。
• 依赖管理: 推荐使用 uv 或 pip 进行包管理。

国内加速建议： 由于 PyPI 源在国外访问较慢，建议配置国内镜像源（如清华源或阿里源）以加速安装。

export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple
# 如果使用 uv
export UV_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

NeMo Curator 采用模块化安装方式，您可以根据需要处理的数据类型（文本、图像、视频、音频）安装对应的依赖。

使用 uv 安装（推荐）

uv 是一个极速 Python 包安装器。以下命令以安装 文本处理（Text） 模块且适配 CUDA 12 为例：

uv pip install "nemo-curator[text_cuda12]"

如需其他模态，可替换括号内的标签：

• 图像：image_cuda12
• 视频：video_cuda12
• 音频：audio_cuda12
• 全部功能：all_cuda12

使用 pip 安装

如果您未安装 uv，可使用标准 pip 命令：

pip install "nemo-curator[text_cuda12]"

注意：完整的生产环境部署（如多节点集群或 Docker 容器）请参考官方 安装指南。

3. 基本使用

安装完成后，您可以立即运行官方提供的快速入门示例，以验证环境并了解基本工作流程。

运行快速入门示例

在项目目录中执行以下命令，该脚本将演示如何加载数据并应用基础的清洗流程：

python tutorials/quickstart.py

核心功能概览

根据您的数据类型，Curator 提供了针对性的处理能力：

数据类型	核心能力	典型应用场景
文本 (Text)	去重 (精确/模糊/语义)、质量过滤、语言检测、内容分类	LLM 预训练数据清洗
图像 (Image)	美学评分、NSFW 检测、CLIP 嵌入生成、去重	视觉语言模型 (VLM) 数据集构建
视频 (Video)	场景检测、片段提取、运动过滤、Cosmos-Embed1 嵌入	世界基础模型 (WFM) 视频语料处理
音频 (Audio)	ASR 自动转录、WER 质量评估、时长分析	语音识别 (ASR) 数据集准备

下一步

• 查看文档: 完整文档
• 更多教程: 访问 tutorials/ 目录获取针对文本、图像、视频和音频的详细代码示例。
• Docker 部署: 可通过 NGC Catalog 拉取预构建的 Docker 镜像。