Data-Juicer：面向基础模型时代的数据操作系统

多模态 | 云原生 | AI就绪 | 大规模

Data-Juicer（DJ）将原始数据的混乱转化为AI就绪的智能。它将数据处理视为可组合的基础设施——提供模块化的构建块，用于在整个AI生命周期中清洗、合成和分析数据，从而释放每一字节中的潜在价值。

无论您是在去重网络规模的预训练语料库、策划智能体交互轨迹，还是准备领域特定的RAG索引，DJ都能无缝扩展，从您的笔记本电脑到上千节点的集群——无需任何胶水代码。

阿里云PAI已将Data-Juicer深度集成到其数据处理产品中。请参阅**快速提交DataJuicer任务**。

---

🚀 快速入门

零安装探索：

• 带有教程的JupyterLab Playground
• 向DJ Copilot提问

安装并运行：

uv pip install py-data-juicer
dj-process --config demos/process_simple/process.yaml

或在Python中组合：

from data_juicer.core.data import NestedDataset
from data_juicer.ops.filter import TextLengthFilter
from data_juicer.ops.mapper import WhitespaceNormalizationMapper

ds = NestedDataset.from_dict({
    "text": ["Short", "This passes the filter.", "Text   with   spaces"]
})
res_ds = ds.process([
    TextLengthFilter(min_len=10),
    WhitespaceNormalizationMapper()
])

for s in res_ds:
    print(s)

---

✨ 为什么选择Data-Juicer？

1. 模块化与可扩展架构

• 200+种算子，覆盖文本、图像、音频、视频及多模态数据
• 配方优先：可复现的YAML流水线，像代码一样可以版本控制、共享和分叉
• 可组合性：可单独插入一个算子，也可串联复杂的工作流，或编排完整的流水线
• 热加载：无需重启流水线即可迭代算子

2. 全方位数据智能

• 基础模型：预训练、微调、强化学习及评估级别的数据精选
• 智能体系统：清理工具痕迹、结构化上下文、去标识化和质量门控
• RAG与分析：提取、归一化、语义分块、去重以及数据概览

3. 生产级性能

• 规模：在50个Ray节点（6400核）上2小时内处理700亿条样本
• 效率：使用1280核在2.8小时内去重5TB数据
• 优化：自动算子融合（提速2–10倍）、适应性并行、CUDA加速、高鲁棒性
• 可观测性：内置追踪功能，便于调试、审计和迭代改进

⭐ 如果Data-Juicer为您节省了时间或提升了数据工作质量，请考虑给本仓库点个星。这有助于更多人发现该项目，并让您及时了解新版本和新功能。

---

📰 新闻

[2026-03-17] 发布 v1.5.1：LaTeX 操作符；压缩格式支持；操作符鲁棒性修复

• 📄 推出了两个新的以 LaTeX 为核心的映射器操作符，扩展了 data-juicer 的文档处理能力，可处理 .tex 归档文件和图表上下文。
• 🗜️ 增加了对压缩数据集格式的支持：现在可以直接加载 json[l].gz 文件，Ray 数据集也正式支持读取压缩的 JSON 文件。
• 📚 新增了关于缓存、导出和追踪工作流的文档，帮助用户更好地理解并调试数据处理管道。
• 🤖 完成了 data-juicer-agents 的重大重构与升级：项目架构及 CLI/会话功能得到了全面重新设计，以提升可维护性和扩展性。更多详情请参阅 data-juicer-agents。

[2026-02-12] 发布 v1.5.0：分区式 Ray 执行器、OP 级别环境管理以及更多具身智能 OP

• 🚀 增强的分布式执行框架 — 引入了分区式 Ray 执行器和 OP 级别的隔离环境，以提高容错性、可扩展性以及依赖冲突的解决能力。
• 🤖 扩展的具身智能视频处理 — 新增了用于相机标定、视频去畸变、手部重建和姿态估计的专用操作符，从而强化了多视角视频的处理能力。
• 💪🏻 系统性能与开发者体验优化 — 支持批量推理、减少内存和日志输出、重构核心逻辑，并更新了文档和模板。
• 🐳 关键 bug 修复与稳定性提升 — 解决了重复跟踪、参数冲突、首页渲染问题以及文档过时等问题，进一步提升了可靠性。

[2026-02-02] 发布 v1.4.6：Copilot、视频字节 I/O 和 Ray 追踪

• 🤖 问答 Copilot — 已在我们的 文档网站 | 钉钉 | Discord 上线。欢迎随时提问有关 Data-Juicer 生态系统的任何问题！
  • 更多详情请查看 🤖 Data-Juicer Agents | 📃 部署就绪代码 | 🎬 更多演示。
• 🎬 视频字节 I/O — 直接处理视频管道中的字节数据。
• 🫆 Ray 模式追踪器 — 在分布式处理中跟踪发生变化的样本。
• 🐳 增强与修复 — 更新了 Docker 镜像，小幅提升了性能，优化了 GitHub Insights 流量工作流程，更新了 Ray 兼容性，并修复了一些 bug 和文档问题。

[2026-01-15] 发布 v1.4.5：20 多个新 OP、Ray vLLM 管道和 Sphinx 文档升级

• 具身智能 OP：新增或增强了用于视频字幕生成 (VLM)、视频目标分割 (YOLOE+SAM2)、视频深度估计 (viz + 点云)、人体姿态估计 (MMPose)、图像标签 (VLM)、单张图像 3D 身体网格恢复 (SAM 3D Body) 的映射器，同时还增加了 S3 上传/下载 功能。
• 新型管道 OP：可将多个 OP 组合成一条管道；引入了用于 LLM/VLM 推理的 Ray + vLLM 管道。
• 文档升级：迁移到统一的基于 Sphinx 的文档构建/部署工作流，并采用了独立的主题和架构仓库。
• 增强与修复：更新了依赖项，改进了 Ray 的去重和 S3 加载功能，支持 OpenAI Responses API，提升了追踪器的一致性，Docker 基础镜像更新为 CUDA 12.6.3 + Ubuntu 24.04 + Py3.11，并修复了多个 bug。

[2025-12-01] 发布 v1.4.4：NeurIPS’25 特别关注、6 个新的视频/多模态 OP 以及 S3 I/O

• Data-Juicer 2.0 荣获 NeurIPS'25 特别关注
• 代码库拆分：sandbox/recipes/agents 被移至独立的代码库。
• S3 I/O 被添加到加载器和导出器中。
• 6 个新的视频和多模态 OP（角色检测、VGGT、全身姿态、手部重建）+ 文档/Ray/视频 I/O 的改进以及 bug 修复。

查看 所有发布 和 新闻存档

---

🔌 用户与生态系统

下列列表按字母顺序排列，重点介绍面向开发者的集成与使用情况。
如果您的项目或名字未在此列出，请随时 提交 PR 或 联系我们。

Data-Juicer 可无缝接入您现有的技术栈，并随着社区贡献不断演进：

扩展

• data-juicer-agents — DJ Copilot 和代理式工作流。
• data-juicer-hub — 社区配方与最佳实践。
• data-juicer-sandbox — 与反馈循环结合的数据模型协同开发。

框架与平台

AgentScope · Apache Arrow · Apache HDFS · Apache Hudi · Apache Iceberg · Apache Paimon · 阿里巴巴 PAI · Delta Lake · DiffSynth-Studio · EasyAnimate · Eval-Scope · 华为 Ascend · Hugging Face · LanceDB · LLaMA-Factory · ModelScope · ModelScope Swift · NVIDIA NeMo · Ray · RM-Gallery · Trinity-RFT · 火山引擎

行业

阿里巴巴集团、蚂蚁集团、比亚迪汽车、字节跳动、DTSTACK、京东、英伟达、OPPO、小红书、小米、喜马拉雅等。

学术界

中国科学院、南京大学、北京大学、中国人民大学、清华大学、中国科学院大学、浙江大学等。

贡献与社区

我们坚信共同构建。无论您是在修正拼写错误、开发新的算子，还是分享突破性的数据处理方案，每一次贡献都在塑造数据处理的未来。

我们欢迎各层次的贡献：

• 适合新手的议题 — 添加算子、改进文档、报告问题或修复 bug
• 开发者指南 — 优化引擎、添加功能或增强核心基础设施
• DJ-Hub — 分享知识：数据处理配方、论文和最佳实践
• 交流：Slack · 钉钉 · Discord

Discord	钉钉

Data-Juicer 的发展离不开用户和社区的支持：

• 发起方：阿里巴巴通义实验室
• 联合开发：阿里云 PAI、Anyscale（Ray 团队）、中山大学、NVIDIA（NeMo 团队）以及全球各地的贡献者
• 灵感来源：Apache Arrow、Ray、Hugging Face Datasets、BLOOM、RedPajama-Data 等……

---

文档

如需详细文档，请参阅此处。

快速链接：

• 算子大全 — 浏览 200 多个算子及示例
• Agent 交互质量与不良案例 — 仓库内配方、JSONL 流水线、HTML 报告（demos/agent/；诸如 agent_bad_case_signal_mapper 等算子也列在 docs/Operators.md 中）
• data-juicer-hub — 社区驱动的数据处理配方与最佳实践
• 开发者指南 — 搭建您自己的代码并为 DJ 做出贡献
• data-juicer-cookbook — 资源档案
• awesome_llm_data — 数据与模型协同开发的“Awesome 列表”

---

📄 许可与署名

Data-Juicer 采用 Apache License 2.0 开源。
如您使用本项目，请注明署名：可使用我们的徽标此处，或以文字形式标注：“本项目使用 Data-Juicer：https://github.com/datajuicer”。

---

📖 引用

若您在工作中使用了 Data-Juicer，请引用以下文献：

@inproceedings{djv1,
  title={Data-Juicer: A One-Stop Data Processing System for Large Language Models},
  author={Chen, Daoyuan and Huang, Yilun and Ma, Zhijian and Chen, Hesen and Pan, Xuchen and Ge, Ce and Gao, Dawei and Xie, Yuexiang and Liu, Zhaoyang and Gao, Jinyang and Li, Yaliang and Ding, Bolin and Zhou, Jingren},
  booktitle={SIGMOD},
  year={2024}
}

@article{djv2,
  title={Data-Juicer 2.0: Cloud-Scale Adaptive Data Processing for and with Foundation Models},
  author={Chen, Daoyuan and Huang, Yilun and Pan, Xuchen and Jiang, Nana and Wang, Haibin and Zhang, Yilei and Ge, Ce and Chen, Yushuo and Zhang, Wenhao and Ma, Zhijian and Huang, Jun and Lin, Wei and Li, Yaliang and Ding, Bolin and Zhou, Jingren},
  journal={NeurIPS},
  year={2025}
}

更多出版物（点击展开）

• (ICML'25 Spotlight) Data-Juicer Sandbox: A Feedback-Driven Suite for Multimodal Data-Model Co-development

• (CVPR'25) ImgDiff: Contrastive Data Synthesis for Vision Large Language Models

• (TPAMI'25) The Synergy between Data and Multi-Modal Large Language Models: A Survey from Co-Development Perspective

• (NeurIPS'25) Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data

• (NeurIPS'25) MindGYM: What Matters in Question Synthesis for Thinking-Centric Fine-Tuning?

• (基准数据) HumanVBench: Exploring Human-Centric Video Understanding Capabilities of MLLMs with Synthetic Benchmark Data

• (基准数据) DetailMaster: Can Your Text-to-Image Model Handle Long Prompts?

• (数据扩展) BiMix: A Bivariate Data Mixing Law for Language Model Pretraining

Data-Juicer 快速上手指南

Data-Juicer (DJ) 是面向基础模型时代的数据操作系统，旨在将原始数据转化为 AI 就绪的智能数据。它提供模块化的算子（Operators），支持文本、图像、音频、视频及多模态数据的清洗、合成与分析，可无缝扩展从单机到千节点集群的处理任务。

环境准备

• 操作系统：Linux, macOS, Windows (推荐 Linux 以获得最佳性能)
• Python 版本：Python 3.8 - 3.11 (官方 Docker 镜像基于 Python 3.11)
• 前置依赖：
  • pip 或 uv (推荐用于快速安装)
  • 若需分布式处理，需安装 Ray (通常随包自动安装或按需配置)
• 硬件建议：
  • 小规模测试：普通笔记本电脑即可。
  • 大规模处理：支持多核 CPU 集群；部分算子支持 CUDA 加速（需 NVIDIA GPU）。

提示：如果您希望零安装体验，可直接访问官方提供的 JupyterLab 在线游乐场 进行尝试。

安装步骤

推荐使用 uv 进行极速安装，也可使用标准的 pip。

方式一：使用 uv 安装（推荐）

uv pip install py-data-juicer

方式二：使用 pip 安装

pip install py-data-juicer

方式三：使用 Docker（适合生产环境）

docker pull datajuicer/data-juicer

基本使用

Data-Juicer 支持两种主要使用模式：命令行配置驱动（适合复杂流水线）和 Python 代码驱动（适合灵活开发）。

模式一：命令行运行 (YAML 配置)

这是最推荐的工程化用法。您可以定义一个 YAML 配置文件来描述数据处理流水线。

1. 执行示例命令： 运行以下命令即可处理官方提供的演示数据：

   dj-process --config demos/process_simple/process.yaml
   

2. 自定义配置： 您可以复制 demos 目录下的 yaml 文件，修改其中的 operators 列表以组合不同的清洗或增强算子，然后指向您的本地数据路径运行。

模式二：Python 代码调用

适合在 Jupyter Notebook 或现有 Python 项目中直接嵌入数据处理逻辑。

from data_juicer.core.data import NestedDataset
from data_juicer.ops.filter import TextLengthFilter
from data_juicer.ops.mapper import WhitespaceNormalizationMapper

# 1. 加载数据 (此处示例为从字典加载，实际可从文件加载)
ds = NestedDataset.from_dict({
    "text": ["Short", "This passes the filter.", "Text   with   spaces"]
})

# 2. 定义处理流水线
# 组合多个算子：先过滤短文本，再标准化空白字符
res_ds = ds.process([
    TextLengthFilter(min_len=10),
    WhitespaceNormalizationMapper()
])

# 3. 查看结果
for s in res_ds:
    print(s)

核心概念简述

• Operators (算子)：DJ 内置了 200+ 算子，分为 Filter (过滤)、Mapper (映射/转换)、Deduplicator (去重) 等类型。
• Recipes (食谱)：指代完整的 YAML 处理流程配置，可在 data-juicer-hub 社区仓库中找到大量最佳实践模板。
• NestedDataset：统一的数据结构，支持嵌套字段，兼容多种文件格式（JSON, Parquet, CSV, 压缩文件等）。