TensorFlow 数据集

TensorFlow 数据集提供了众多公开数据集，可通过 tf.data.Datasets 来访问。

文档

如需安装并使用 TFDS，我们强烈建议您从我们的 入门指南 开始。您可以交互式地在 Colab notebook 中试用。

我们的文档包含：

• 【教程与指南】（https://www.tensorflow.org/datasets/overview）
• 所有可用数据集的列表（https://www.tensorflow.org/datasets/catalog/overview#all_datasets）
• 【API 参考】（https://www.tensorflow.org/datasets/api_docs/python/tfds）

# !pip install tensorflow-datasets
import tensorflow_datasets as tfds
import tensorflow as tf

# 构建一个 tf.data.Dataset
ds = tfds.load('mnist', split='train', as_supervised=True, shuffle_files=True)

# 构建您的输入管道
ds = ds.shuffle(1000).batch(128).prefetch(10).take(5)
for image, label in ds:
  pass

TFDS 核心价值

TFDS 的构建始终秉持以下原则：

• 简洁性：标准使用场景应能即刻投入使用。
• 性能：TFDS 遵循【最佳实践】（https://www.tensorflow.org/guide/data_performance），并能够实现业界领先的运行速度。
• 确定性/可重复性：所有用户都能以相同的顺序获得相同的样本。
• 可定制性：高级用户可以实现精细的控制。

若上述使用场景未能满足您的需求，请通过 反馈 向我们提出建议。

想要特定的数据集吗？

只需按照我们的指南，即可轻松添加任意数据集——具体操作请参阅【指南】（https://www.tensorflow.org/datasets/add_dataset）。

如需申请某项数据集，请打开 数据集申请 GitHub 问题。

此外，您还可以对当前的【请求集合】（https://github.com/tensorflow/datasets/labels/dataset%20request）进行投票，只需在问题中添加一个“点赞”反应即可。

引用格式

在将 tensorflow-datasets 用于论文时，请务必附上以下引用信息，同时加入针对所用数据集的专属引用。

@misc{TFDS,
  title = {{TensorFlow 数据集}, 一套即用型数据集的集合},
  howpublished = {\url{https://www.tensorflow.org/datasets}},
}

免责声明

本库为一款工具类库，负责下载并准备公开数据集。我们不负责托管或分发这些数据集，亦不对其质量或公平性作任何背书，更不声称您拥有使用该数据集的合法授权。是否具备使用该数据集的权限，需由您自行判断，并依据数据集自身的许可协议来决定。

如果您是数据集的所有者，且希望更新数据集的任何部分（例如数据描述、引用等），或希望避免将您的数据集纳入本库，请通过 GitHub 问题与我们联系。感谢您为机器学习社区作出的贡献！

如果您对负责任的 AI 实践，包括公平性等问题感兴趣，请参阅 Google AI 的【负责任的 AI 实践】（https://ai.google/education/responsible-ai-practices）。

tensorflow/datasets 采用 Apache 2.0 许可证。请参阅【LICENSE】（https://github.com/tensorflow/datasets/blob/master/LICENSE）文件。

TensorFlow Datasets (TFDS) 快速上手指南

TensorFlow Datasets (TFDS) 是一个集合了众多公共数据集的库，可将其直接转换为 tf.data.Dataset 对象，方便用于机器学习模型的训练与评估。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS, 或 Windows
• Python 版本：3.10 或更高版本
• 前置依赖：已安装 tensorflow (推荐 2.x 版本)

安装步骤

您可以使用 pip 直接安装最新版本的 tensorflow-datasets。

标准安装

pip install tensorflow-datasets

国内加速安装（推荐）

如果您在中国大陆地区，建议使用清华或阿里镜像源以加快下载速度：

pip install tensorflow-datasets -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：首次运行代码加载数据集时，TFDS 会自动从源头下载数据。如果下载速度慢，可能需要配置网络代理或使用支持断点续传的环境。

基本使用

以下是加载数据集并构建输入管道的最简示例。本例以经典的 MNIST 手写数字数据集为例：

# !pip install tensorflow-datasets
import tensorflow_datasets as tfds
import tensorflow as tf

# 1. 构造 tf.data.Dataset
# split='train': 加载训练集
# as_supervised=True: 返回 (特征，标签) 元组
# shuffle_files=True: 打乱文件顺序
ds = tfds.load('mnist', split='train', as_supervised=True, shuffle_files=True)

# 2. 构建输入管道
# shuffle: 打乱数据
# batch: 设置批次大小
# prefetch: 预取数据以提升性能
# take: 仅取前 5 个批次用于演示（实际训练中可移除）
ds = ds.shuffle(1000).batch(128).prefetch(10).take(5)

# 3. 遍历数据
for image, label in ds:
  pass  # 在此处添加您的模型训练逻辑

核心特性说明

• 开箱即用：常用场景无需复杂配置即可运行。
• 高性能：遵循 TensorFlow 数据加载最佳实践，支持高速读取。
• 确定性：保证不同用户获取的数据示例及其顺序一致，确保实验可复现。
• 可扩展性：高级用户可根据需求自定义数据集加载逻辑。

如需查看支持的所有数据集列表，请访问 TFDS 数据集目录。