img2dataset

轻松将大量图片URL转换为图像数据集。在单台机器上，可在20小时内下载、调整大小并打包1亿个URL。

还支持保存URL+标题的数据集的标题信息。

如果您相信构建可重用工具能够让机器学习中的数据更易于使用，并希望参与贡献，请加入 DataToML 聊天群。

安装

pip install img2dataset

为了获得更好的性能，强烈建议设置一个高速DNS解析器，详情请参阅此部分。

退出指令

网站可以通过HTTP头部传递 X-Robots-Tag: noai、X-Robots-Tag: noindex、X-Robots-Tag: noimageai 和 X-Robots-Tag: noimageindex。默认情况下，img2dataset会忽略带有这些头部的图片。

若要禁用此行为并下载所有图片，可以传递 --disallowed_header_directives '[]'。

请参阅AI使用影响，以更好地理解为何您可能决定启用或禁用此功能。

示例

可在dataset_examples文件夹中找到可下载的数据集示例及相应命令。具体包括：

• mscoco 60万张图片/文本对，可在10分钟内下载完成。
• sbucaptions 86万张图片/文本对，可在20分钟内下载完成。
• cc3m 300万张图片/文本对，可在1小时内下载完成。
• cc12m 1200万张图片/文本对，可在5小时内下载完成。
• laion400m 4亿张图片/文本对，可在3.5天内下载完成。
• laion5B 50亿张图片/文本对，使用10个节点可在7天内下载完成。
• laion-aesthetic Laion aesthetic是包含1.2亿条记录的laion5B子集，其中审美评分>7，水印分数<0.8，安全分数<0.5。
• laion-art Laion aesthetic是包含800万条记录的laion5B子集，其中审美评分>8，水印分数<0.8，安全分数<0.5。
• laion-coco Laion-COCO是LAION2B-EN中的6亿条记录子集，由BLIP L/14和2种CLIP版本（L/14和RN50x64）联合生成的标题。
• laion-high-resolution Laion high resolution是从laion5B中筛选出的1.7亿条分辨率≥1024×1024的子集。
• laion-face Laion face是从LAION-400M中筛选出的人脸子集，用于大规模人脸预训练，包含5000万张图片/文本对。
• coyo-700m COYO是一个大规模数据集，包含7.47亿张图片/文本对，以及许多其他元属性，以提高其在训练各种模型时的可用性。
• commonpool CommonPool是从CommonCrawl收集的大规模数据集，包含128亿张图片/文本对。
• datacomp-1b DataComp-1B是从CommonPool中筛选出的14亿张图片/文本对的大规模数据集。

对于以上所有示例，您可以根据自己的喜好调整图片的尺寸。默认设置为256×256像素，并添加白色边框。 更多选项请见下文。

使用方法

首先获取一些图片URL列表。例如：

echo 'https://picsum.photos/200/305' >> myimglist.txt
echo 'https://picsum.photos/200/304' >> myimglist.txt
echo 'https://picsum.photos/200/303' >> myimglist.txt

然后运行该工具：

img2dataset --url_list=myimglist.txt --output_folder=output_folder --thread_count=64 --image_size=256

工具将自动下载这些URL，调整图片大小，并按以下格式存储：

• output_folder
  • 00000
    • 000000000.jpg
    • 000000001.jpg
    • 000000002.jpg

或者如果选择webdataset格式，则会以如下形式存储：

• output_folder
  • 00000.tar 文件包含：
    • 000000000.jpg
    • 000000001.jpg
    • 000000002.jpg

每个编号对应于列表中的位置。子文件夹的设计避免了单个文件夹中文件过多的问题。

如果提供了标题，它们将被保存为0.txt、1.txt等文件。

之后，这些数据即可轻松输入到机器学习训练或其他应用场景中。

此外，还会保存名为0.json、1.json等的JSON文件，包含以下键值：

• url
• 标题
• 键值，格式为000010005：前5位数字表示分片ID，后4位表示分片内的索引
• 状态：下载是否成功
• 错误信息
• 宽度
• 高度
• 原始宽度
• 原始高度
• EXIF信息

同时，还会以与子文件夹或tar文件同名的方式保存一个.parquet文件，其中包含相同的元数据。这可用于高效地分析结果。

另外，还会保存以_stats为后缀的JSON文件，其中包含下载过程中收集的统计信息（下载时间、成功次数等）。

Python示例

请查看以下示例，了解如何将其作为库调用：

• simple_example.py
• pyspark_example.py
• 分布式img2dataset教程

API

本模块暴露了一个名为 download 的函数，其参数与命令行工具的参数相同：

• url_list 一个包含待下载图片 URL 列表的文件。也可以是一个包含此类文件的文件夹。（必填）
• image_size 图片的目标尺寸（默认 256）
• output_folder 输出文件夹的路径。（默认 "images"）
• processes_count 用于下载图片的进程数。为了性能，此值应设置得较高。（默认 1）
• thread_count 用于下载图片的线程数。为了性能，此值应设置得较高。（默认 256）
• resize_mode 图片的缩放方式，可选值为 no、border 或 keep_ratio（默认 border）：
  • no 不进行任何缩放
  • border 将图片调整为 image_size x image_size 大小，并添加边框
  • keep_ratio 保持宽高比，使图片的短边长度为 image_size
  • keep_ratio_largest 保持宽高比，使图片的长边长度为 image_size
  • center_crop 保持宽高比，对长边进行居中裁剪，使图片变为正方形
• resize_only_if_bigger 仅当图片大于目标尺寸时才进行缩放（默认 False）
• upscale_interpolation 缩放时使用的插值方法（默认 "lanczos"）
• downscale_interpolation 缩放时使用的插值方法（默认 "area"）
• encode_quality 编码质量，范围为 0 到 100；使用 PNG 格式时，该参数表示压缩级别，范围为 0 到 9（默认 95）
• encode_format 编码格式（默认 jpg）：
  • jpg JPEG 格式
  • png PNG 格式
  • webp WebP 格式
• skip_reencode 如果未进行缩放，是否跳过重新编码（默认 False）
• output_format 决定如何保存图片（默认 files）：
  • files 以包含图片的子文件夹集合形式保存
  • webdataset 以包含图片的 tar 文件形式保存
  • parquet 以包含图片字节数据的 Parquet 文件形式保存
  • tfrecord 以包含图片字节数据的 TFRecord 文件形式保存
  • dummy 不保存图片，适用于基准测试
• input_format 决定如何加载 URL 列表（默认 txt）：
  • txt 以每行一个 URL 的文本文件形式加载
  • txt.gz 以 gzip 压缩的 txt.gz 文件形式加载，文件中每行包含一个 URL
  • csv 以 CSV 文件形式加载 URL 及可选标题
  • csv.gz 以 gzip 压缩的 csv.gz 文件形式加载 URL 及可选标题
  • tsv 以 TSV 文件形式加载 URL 及可选标题
  • tsv.gz 以 gzip 压缩的 tsv.gz 文件形式加载 URL 及可选标题
  • json 以 JSON 文件形式加载 URL 及可选标题
  • json.gz 以 gzip 压缩的 json.gz 文件形式加载 URL 及可选标题
  • jsonl 以 JSONL 文件形式加载 URL 及可选标题。更多信息请参见 jsonlines。
  • jsonl.gz 以 gzip 压缩的 jsonl.gz 文件形式加载 URL 及可选标题。更多信息请参见 jsonlines。
  • parquet 以 Parquet 文件形式加载 URL 及可选标题
• url_col Parquet 和 CSV 文件中 URL 列的名称（默认 url）
• caption_col Parquet 和 CSV 文件中标题列的名称（默认 None）
• bbox_col 边界框列的名称。假设边界框的格式为 [x_min, y_min, x_max, y_max]，其中所有元素均为介于 [0,1] 之间的浮点数（相对于图片尺寸）。如果设置为 None，则不会对边界框进行模糊处理（默认 None）
• number_sample_per_shard 每个分片将下载的样本数量（默认 10000）
• extract_exif 如果为真，则提取图片的 EXIF 信息并将其保存到元数据中（默认 True）
• save_additional_columns 从 CSV/Parquet 文件中提取并保存到元数据文件中的附加列列表（默认 None）
• timeout 尝试下载一张图片时的最大等待时间（以秒为单位）（默认 10）
• enable_wandb 是否启用 WandB 日志记录（默认 False）
• wandb_project 使用的 W&B 项目名称（默认 img2dataset）
• oom_shard_count 分片数量的数量级，仅用于决定为分片文件命名时应使用多少位零填充（默认 5）
• compute_hash 需要计算并存储在元数据中的原始图片哈希值，可选值为 None、md5、sha256、sha512（默认 sha256）
• verify_hash 如果不为 None，则该参数为一个包含两个元素的列表，用于根据提供的输入验证哈希值。列表的第一个元素是输入文件中包含哈希值的列的标签，第二个元素是所检查哈希值的类型（默认 None）
• distributor 选择下载任务的分配方式（默认 multiprocessing）：
  • multiprocessing 使用多进程池来启动进程
  • pyspark 使用 PySpark 会话在 Spark 集群上创建工作节点（详情见下文）
  • ray 使用 Ray 集群。请参阅 Ray 示例。
• subjob_size 支持该功能的每个子任务中要下载的分片数量，例如，一个子任务可以是一个 PySpark 作业。（默认 1000）
• retries 下载失败后重试的次数（默认 0）
• disable_all_reencoding 如果设置为 True，图片文件将保持其原始状态，不进行任何缩放或格式转换，甚至不会检查图片是否有效。适用于基准测试。仅当您计划使用其他程序对图片进行后处理且拥有充足存储空间时才使用。（默认 False）
• min_image_size 待下载图片的最小尺寸（默认 0）
• max_image_area 待下载图片的最大面积（默认 inf）
• max_aspect_ratio 待下载图片的最大宽高比（默认 inf）
• incremental_mode 可选值为 "incremental"、"overwrite" 或 "extend"。对于 "incremental"，img2dataset 将下载所有尚未下载的分片；对于 "overwrite"，img2dataset 将递归删除输出文件夹并从头开始；对于 "extend"，img2dataset 将从下一个可用的分片编号开始下载。（默认 incremental）
• max_shard_retry 在最后重试失败分片的次数（默认 1）
• user_agent_token 额外的身份标识令牌，将被添加到用于下载图片的 HTTP 请求的 User-Agent 头中；例如："img2downloader"。（默认 None）
• disallowed_header_directives X-Robots-Tags 头部指令列表，如果在下载图片时的 HTTP 响应中出现这些指令，则该图片将被排除在输出数据集之外。若要忽略 X-Robots-Tags，请传递 '[]'。（默认 '["noai", "noimageai", "noindex", "noimageindex"]'）
• ignore_ssl_certificate 如果设置为 True，下载图片时将禁用 SSL 证书验证。这允许从使用无效或自签名证书的服务器下载图片，但会降低安全性。请谨慎使用。（默认 False)

增量模式

如果首次下载因任何原因中断，您可以再次运行命令，并添加 --incremental "incremental"（这是默认设置），同时使用相同的输出文件夹、相同的 number_sample_per_shard 参数以及相同的输入 URL 列表，img2dataset 将会继续完成剩余部分的下载。

输出格式选择

Img2dataset 支持多种输出格式。不同格式各有优劣，需根据具体需求进行选择：

• files：这是最简单的格式，图像直接以文件形式保存。适用于本地文件系统中最多 100 万张样本的情况。超过这个数量后，性能问题会迅速显现。在标准文件系统中处理超过 100 万个文件通常效果不佳。
• webdataset：该格式将样本存储为 tar 文件，借助 webdataset 库，可以高效地在 PyTorch、TensorFlow 和 JAX 中加载生成的数据集。对于大多数应用场景，推荐使用此格式。它适用于任何类型的文件系统。
• parquet：Parquet 是一种列式存储格式，支持快速过滤。使用 PyArrow 和 PySpark 可以非常方便地读取这种格式的数据。如果您的数据生态系统主要基于 PySpark，则可以选择此格式。Petastorm 也可以用来读取数据，但其使用便捷性不如 webdataset。
• tfrecord：tfrecord 是一种基于 Protocol Buffers 的格式，特别适合在 TensorFlow 生态系统中使用，并可通过 tf.data API 轻松操作。如果您计划仅在 TensorFlow 环境中使用该数据集，可选择此格式。不过，TensorFlow 的写入器不支持 fsspec，因此仅支持有限的文件系统，包括本地、HDFS、S3 和 GCS。此外，在非本地文件系统上写入时，其效率也低于 webdataset 写入器，性能可能降低约 30%。

编码格式选择

图像可以采用 JPEG、PNG 或 WebP 格式进行编码，并且每种格式都支持不同的质量设置。

以下是 100 万张 256×256 分辨率图像在不同格式下的存储空间对比：

格式	质量	压缩方式	大小 (GB)
JPG	100	无	54.2
JPG	95	无	29.9
PNG	无	0	187.9
PNG	无	9	97.7
WebP	100	无	31.0
WebP	95	无	23.8

注意事项：

• JPEG 在质量设置为 100 时并非无损压缩。
• PNG 格式为无损压缩。
• WebP 在质量设置高于 100 时为无损压缩（详见 OpenCV 文档）。
• 不同格式之间的相同质量等级并不意味着图像质量完全一致。

数据集筛选

在条件允许的情况下，建议在下载数据集之前先对其进行预筛选。

如有需要，可以使用以下参数：

• --min_image_size SIZE：用于过滤掉任意一边小于 SIZE 的图像。
• --max_image_area SIZE：用于过滤掉面积大于 SIZE 的图像。
• --max_aspect_ratio RATIO：用于过滤掉宽高比大于 RATIO 的图像。

在进行数据筛选时，建议先对数据集进行打乱排序，以减少对分片大小分布的影响。

哈希值与安全性

某些数据集（例如 laion5B）会公开原始图像的哈希值。

如果您希望更加安全，可以自动排除与这些哈希值不匹配的图像。此时可以使用 --compute_hash "md5" --verify_hash '["md5","md5"]' 参数。

需要注意的是，部分图像虽然经过轻微修改，但仍属有效。

SSL 证书处理

默认情况下，img2dataset 在下载图像时会验证 SSL 证书。然而，某些服务器可能使用无效或自签名的证书。

若要从这类服务器下载图像，可以禁用 SSL 证书验证：

img2dataset --url_list=myimglist.txt --output_folder=output_folder --ignore_ssl_certificate=True

警告：禁用 SSL 证书验证会降低安全性，使下载过程容易受到中间人攻击。请仅在必要且信任来源的情况下使用此选项。

参数调优建议

对于小型数据集，默认设置通常已足够。但对于大型数据集，以下建议可能有助于提升性能：

• 将 processes_count 设置为机器的核心数。
• 在带宽和 CPU 使用未达到上限的前提下，适当增加 thread_count。
• 如果数据集规模超过 100 万条，建议将 output_format 设置为 webdataset，这样只需管理少量的 tar 文件，而非数百万个单独的图像文件。
• 保持 metadata 参数为 True，以便查看已保存的项目，避免重复下载。

为了测试系统性能及 img2dataset 与其交互情况，可以启用以下选项（仅用于测试，不应用于实际下载）：

• --output_format dummy：不会保存任何内容，可用于消除存储瓶颈。
• --disable_all_reencoding True：不会对图像进行重新编码，可用于消除 CPU 瓶颈。

当同时启用这两个选项时，剩下的唯一瓶颈就是网络相关因素，例如 DNS 配置、您的带宽或目标服务器的带宽。

文件系统支持

得益于 fsspec，img2dataset 支持在多种文件系统中读取和写入文件（详见 fsspec 文件系统列表）。使用时，只需在路径前加上相应文件系统的前缀即可，例如 hdfs://、s3://、http://、gcs://、ssh:// 或 hf://（包含 Dataset Viewer 功能）。

部分文件系统需要额外安装相应的库，例如 S3 需要 s3fs，GCS 需要 gcsfs，SSH 需要 fsspec/sshfs，而 HF 则需要 huggingface_hub。

有关详细信息，请参阅 fsspec 官方文档。

如果您的文件系统需要特定配置，可以通过 fsspec 配置系统 来解决。例如，您可以在 .config/fsspec/s3.json 文件中添加如下内容：

{
  "s3": {
    "client_kwargs": {
            "endpoint_url": "https://some_endpoint",
            "aws_access_key_id": "your_user",
           "aws_secret_access_key": "your_password"
    }
  }
}

此类配置在使用兼容 S3 协议的文件系统（如 MinIO）时尤为必要。类似的配置同样适用于其他受 fsspec 支持的文件系统。

分发模式

Img2dataset 支持多种分发方式：

• multiprocessing：启动一个进程池，利用本地进程进行下载。
• pyspark：在 Spark 集群中启动工作节点来执行下载任务。

multiprocessing 适合在单机上进行下载，因此它是默认选项。而 pyspark 则可以利用多台机器并行下载，下载速度与机器数量成正比。当处理包含超过十亿张图片的数据集时，pyspark 尤其有用。

pyspark 配置

要使用 pyspark 运行 img2dataset，您需要完成以下步骤：

1. 安装 pyspark：pip install pyspark
2. 使用 --distributor pyspark 选项
3. 调整 --subjob_size 1000 参数：该参数指定每个子任务下载的图片数量。增大此值会延长将 Feather 文件放入临时目录的准备时间；减小则意味着每次发送给 PySpark 作业的分片更少。

默认情况下，会创建一个本地 Spark 会话。根据您的具体 Spark 集群配置，您可能希望创建自定义的 Spark 会话。有关详细信息，请参阅 pyspark_example.py，您可以在其中插入自定义代码以创建 Spark 会话，然后运行 img2dataset，它将使用该会话进行下载。

如需搭建 Spark 集群，请参考 分布式 img2dataset 教程。

与 Weights & Biases 的集成

要启用 Weights & Biases 日志记录，使用 --enable_wandb=True 选项。

性能指标将通过 Weights & Biases 进行监控。

此外，最常见的错误也会被记录下来，以便于调试。

其他功能包括：

• 记录环境配置（操作系统、Python 版本、CPU 核数、主机名等）
• 监控硬件资源（GPU/CPU、内存、磁盘、网络等）
• 自定义图表和报告
• 比较不同运行结果（在优化线程数或 CPU 数等参数时非常方便）

首次运行脚本时，您可以选择将指标关联到您的账户，或者以匿名方式记录。

您也可以提前通过运行 wandb login 登录（或创建账户）。

路线图

目前，该工具在最多 1 亿个元素的情况下表现良好。未来目标包括：

• 针对 10 亿张图片的基准测试，这可能需要
  • 对图像缩放部分进一步优化
  • 更好的多节点支持
  • 集成增量下载功能（仅下载新增元素）

架构说明

该工具旨在尽可能快速地下载图片，这会对各种资源造成压力。以下是一些假设每秒下载 1350 张图片时的估算：

• 带宽：每秒下载一千张平均大小的图片大约需要 130 MB/s 的带宽。
• CPU：缩放一张图片可能需要几毫秒，每秒数千张图片可能会占用多达 16 个核心。
• DNS 查询：百万个 URL 意味着百万个域名，默认的操作系统设置通常不足以应对。可能需要配置本地 bind9 解析器。
• 磁盘：如果使用缩放功能，写入速度需要达到 30 MB/s；如果不使用缩放，则需要 130 MB/s。通过将数据写入少量 tar 文件，可以使用机械硬盘代替 SSD。

基于以上信息，设计选择了如下方案：

• 将 URL 列表拆分为 K 个分片。K 的取值应使每个分片在磁盘上具有合理大小（例如 256 MB），默认 K = 10000。
• 启动 N 个进程（使用 multiprocessing 进程池）：
  • 每个进程启动 M 个线程。M 应尽可能大，以便充分利用网络带宽，同时确保 CPU 使用率不超过 100%。
  • 每个线程下载一张图片并返回。
  • 主线程负责图像缩放（这意味着同一时刻最多只有 N 个缩放任务在运行，充分利用所有核心但不会超负荷）。
  • 主线程将数据保存到与其他进程不同的 tar 文件中。

这种设计能够高效利用 CPU 资源，每个核心只执行一次缩放操作；通过为每个核心打开一个文件来减少磁盘开销；同时利用每个进程中的 M 个线程最大限度地发挥带宽优势。

有关 Python 模块的具体划分，请参阅 architecture.md。

搭建高性能 DNS 解析器

为了获得 img2dataset 的最佳性能，使用高效的 DNS 解析器至关重要。

• Knot Resolver 可以并行运行。
• Bind Resolver 是历史悠久的解析器，虽然是单核的，但经过高度优化。

搭建 Knot Resolver

您可以按照 官方快速入门指南 操作，或者在 Ubuntu 上执行以下命令：

安装 Knot Resolver：

wget https://secure.nic.cz/files/knot-resolver/knot-resolver-release.deb
sudo dpkg -i knot-resolver-release.deb
sudo apt update
sudo apt install -y knot-resolver
sudo sh -c 'echo `hostname -I` `hostname` >> /etc/hosts'
sudo sh -c 'echo nameserver 127.0.0.1 > /etc/resolv.conf'
sudo systemctl stop systemd-resolved

然后启动 4 个实例：

sudo systemctl start kresd@1.service
sudo systemctl start kresd@2.service
sudo systemctl start kresd@3.service
sudo systemctl start kresd@4.service

通过以下命令验证是否正常工作：

dig @localhost google.com

搭建 Bind9 解析器

为了保持较高的成功率，使用高效的 DNS 解析器是必要的。我尝试过 systemd-resolved、dnsmaskq 和 bind9 等多种解决方案，最终得出结论：bind9 在此场景下表现最佳。以下是如何在 Ubuntu 上进行配置的方法。运行以下命令：

sudo apt install bind9
sudo vim /etc/bind/named.conf.options

并在 options 中添加以下内容：

	recursive-clients 10000;
	resolver-query-timeout 30000;
	max-clients-per-query 10000;
	max-cache-size 2000m;

然后运行：

sudo systemctl restart bind9
echo nameserver 127.0.0.1 | sudo tee -a /etc/resolv.conf

这样可以在进行数千次 DNS 查询的同时，保持较高的成功率。您还可以参考 Bind9 日志记录指南，以检查是否有少量 DNS 错误发生。

AI 使用的影响

img2dataset 用于从网络上抓取图像，并使其易于供机器学习用例使用。其应用场景包括：

• 进行推理和索引，以更好地理解网络上的内容（例如 https://rom1504.github.io/clip-retrieval/）；
• 训练模型。

可以使用图像/文本数据集训练的模型包括：

• CLIP：一种图像理解模型，可用于判断图像是否安全、是否具有美学价值、包含何种动物等；
• 文本到图像模型：根据文本生成图像。

关于文本到图像模型的后果，目前存在大量讨论。一些观点包括：

• AI 艺术正在使艺术更加民主化，让数亿人能够通过艺术表达自我，从而使艺术作品变得更加普遍和独特；
• 不应使用创作者不希望分享的图像来训练 AI 模型。

“退出机制”旨在允许那些不希望自己的作品被用于索引和训练的创作者，确保其作品不会被使用。

开发指南

您可以在本地或在 GitPod 中进行开发（请注意，在 GitPod 中需要执行 export PIP_USER=false 命令）。

设置虚拟环境：

python3 -m venv .env
source .env/bin/activate
pip install -e .

运行测试：

pip install -r requirements-test.txt

然后执行：

make lint
make test

您可以使用 make black 来格式化代码。

运行特定测试的命令为：

python -m pytest -x -s -v tests -k "dummy"

基准测试

10,000 张图像基准测试

cd tests/test_files
bash benchmark.sh

1800 万张图像基准测试

首先下载“在家爬取”数据集的第一部分，然后执行以下命令：

cd tests
bash large_bench.sh

下载 1800 万张图片耗时约 3.7 小时。

目前观察到的性能为每秒 1350 张图像，即每小时 480 万张图像，每天可处理 1.16 亿张图像。

3600 万张图像基准测试

下载两个各包含 1800 万条记录的 Parquet 文件（总大小 936GB），耗时 7 小时 24 分钟，平均速度为每秒 1345 张图像。

1.9 亿张图像基准测试

从“在家爬取”数据集（cah-prepro）下载 1.9 亿张图像，耗时 41 小时（总大小 5TB），平均速度为每秒 1280 张图像。

50 亿张图像基准测试

从 LAION-5B 数据集（laion5B dataset）下载 58 亿张图像，耗时 7 天（总大小 240TB），在 10 台机器上平均速度为每秒 9500 个样本。详细技术说明请参见：semantic search at billions scale。

引用

@misc{beaumont-2021-img2dataset,
  author = {Romain Beaumont},
  title = {img2dataset: Easily turn large sets of image urls to an image dataset},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/rom1504/img2dataset}}
}

img2dataset 快速上手指南

img2dataset 是一个高效的开源工具，能够将大规模图片 URL 列表快速下载、调整大小并打包为机器学习数据集。它支持单机在 20 小时内处理 1 亿个 URL，并可选保存对应的文本描述（Caption）。

环境准备

• 操作系统：Linux, macOS, Windows (推荐 Linux 以获得最佳性能)
• Python 版本：Python 3.8+
• 前置依赖：
  • pip 包管理工具
  • (可选但强烈推荐) 高性能 DNS 解析器：在处理大规模数据时，配置快速的 DNS 解析器能显著提升下载速度。

安装步骤

使用 pip 直接安装：

pip install img2dataset

国内加速建议：如果下载速度较慢，建议使用国内镜像源安装：

pip install img2dataset -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

1. 准备 URL 列表

首先创建一个文本文件（例如 myimglist.txt），每行包含一个图片 URL：

echo 'https://picsum.photos/200/305' >> myimglist.txt
echo 'https://picsum.photos/200/304' >> myimglist.txt
echo 'https://picsum.photos/200/303' >> myimglist.txt

2. 执行下载命令

运行以下命令即可自动下载图片、调整尺寸并保存到指定文件夹：

img2dataset --url_list=myimglist.txt --output_folder=output_folder --thread_count=64 --image_size=256

参数说明：

• --url_list: 输入的图片 URL 列表文件路径。
• --output_folder: 输出数据的存储目录。
• --thread_count: 下载线程数（设为 64 或更高可提升性能）。
• --image_size: 将图片调整为目标尺寸（默认 256x256）。

3. 输出结果

工具运行完成后，output_folder 中将生成如下结构的数据：

output_folder
├── 00000
│   ├── 000000000.jpg
│   ├── 000000001.jpg
│   └── ...
├── 00000.json      # 包含元数据 (URL, 状态，尺寸等)
└── 00000_stats.json # 包含下载统计信息

如果提供了包含标题（caption）的输入文件，还会生成对应的 .txt 文本文件。该格式可直接用于机器学习模型的训练输入。