概念字幕数据集

概念字幕数据集是一个包含 (图像URL, 字幕) 对的数据集，专为训练和评估机器学习图像字幕生成系统而设计。

下载

详情请参见 http://ai.google.com/research/ConceptualCaptions。

动机

自动图像字幕生成是指生成一段自然语言语句（通常是一句话），准确反映图像视觉内容的任务。迄今为止，用于该任务的主要资源是 MS-COCO 数据集，其中包含约 12 万张图像以及由付费标注人员提供的五重图像-字幕标注。

谷歌的概念字幕数据集包含超过 300 万张图像，并配有自然语言字幕。与 MS-COCO 数据集中经过精心挑选的图像风格不同，概念字幕数据集中的图像及其原始描述是从网络上抓取的，因此代表了更为多样的风格。这些原始描述来源于与网络图像关联的 HTML alt 属性。我们开发了一套自动化流程，用于提取、筛选和转换候选的图像/字幕对，旨在使最终生成的字幕在清晰度、信息量、流畅性和可学习性之间达到平衡。

更多详细信息请参阅以下论文（如果您在工作中使用或讨论本数据集，请引用该论文）：

@inproceedings{sharma2018conceptual,
  title = {Conceptual Captions: A Cleaned, Hypernymed, Image Alt-text Dataset For Automatic Image Captioning},
  author = {Sharma, Piyush and Ding, Nan and Goodman, Sebastian and Soricut, Radu},
  booktitle = {Proceedings of ACL},
  year = {2018},
}

此外，我们还为概念字幕训练集中的 200 万张图像子集提供了机器生成的标签。如果您在工作中使用这些图像标签，请引用以下论文：

@article{ng2020understanding,
  title={Understanding Guided Image Captioning Performance across Domains},
  author={Edwin G. Ng and Bo Pang and Piyush Sharma and Radu Soricut},
  journal={arXiv preprint arXiv:2012.02339},
  year={2020}
}

数据集描述

概念字幕数据集发布包含两个划分：训练集（约 330 万个样本）和验证集（约 1.6 万个样本）。更多详情请参见下表 1。

表 1：数据集统计信息。

隐藏测试集

我们并未公开官方测试划分（约 1.25 万个样本）。相反，我们举办了一场竞赛（详见 http://ai.google.com/research/ConceptualCaptions），专门用于支持针对该盲测集的模型输出提交与评估。

我们坚信这种设置具有多项优势：a) 可以利用大量无偏见的图像进行评估；b) 使测试完全保持盲测状态，从而消除对测试数据过拟合、作弊等行为的疑虑；c) 总体上提供了一个干净的环境，有助于推动该任务的最先进水平发展，包括报告可复现的研究成果等。

图像标签

图像标签是通过 Google Cloud Vision API 获取的（https://cloud.google.com/vision）。每个图像标签都附有一个机器生成的标识符 (MID)，对应于该标签在 Google 知识图谱中的条目，以及其在图像中出现的置信度分数。这些标签采用相同的模型生成，并以与 T2 引导数据集所发布的图像标签相似的方式呈现，后者可在 https://github.com/google-research-datasets/T2-Guiding 上找到。

概念字幕数据集的数据格式

概念字幕的训练集和验证集以 TSV（制表符分隔值）文本文件的形式提供，包含以下列：

表 2：训练/验证 TSV 文件中的列。

图像标签的数据格式

训练集中 200 万张图像子集的图像标签以 TSV（制表符分隔值）文本文件的形式提供，包含以下列：

表 3：图像标签 TSV 文件中的列。

联系我们

如果您对数据集、代码或论文有任何技术问题，请在此仓库中创建一个问题。这是联系我们最快的方式。

如果您希望分享反馈或提出关切，请发送邮件至 conceptual-captions@google.com。

Conceptual Captions 快速上手指南

Conceptual Captions 是一个包含超过 300 万张图像及其对应自然语言描述的数据集，专为训练和评估自动图像描述（Image Captioning）模型而设计。与人工标注的 MS-COCO 不同，该数据集源自网络图像的 Alt-text 属性，经过自动化清洗和过滤，风格更加多样化。

环境准备

本工具主要为数据集资源，无需复杂的软件安装，但需满足以下基础环境要求以进行数据下载和处理：

• 操作系统：Linux, macOS 或 Windows (推荐 Linux 环境)
• 存储空间：建议预留至少 50GB 可用空间（用于存储原始图片及处理后的数据）
• 前置依赖：
  • Python 3.6+ (用于编写数据加载脚本)
  • wget 或 curl (用于下载数据文件)
  • 稳定的网络连接（由于数据托管在 Google 服务器，国内用户可能需要配置代理或使用加速工具）

安装步骤

Conceptual Captions 不提供传统的安装包，其核心是获取数据文件。请按照以下步骤操作：

1. 访问官方下载页面 前往项目主页获取最新的下载链接和详细说明： http://ai.google.com/research/ConceptualCaptions

2. 下载数据集文件 数据集以 TSV (Tab-Separated Values) 格式提供。假设您已获取到具体的下载链接（通常为 .tsv.gz 压缩文件），使用以下命令下载训练集和验证集：

   # 示例：下载训练集 (请替换为页面提供的实际最新链接)
   wget <TRAINING_DATA_URL> -O conceptual_captions_train.tsv.gz
   
   # 示例：下载验证集 (请替换为页面提供的实际最新链接)
   wget <VALIDATION_DATA_URL> -O conceptual_captions_valid.tsv.gz
   

   注意：若需使用包含机器生成标签的子集（200 万图像），请单独下载对应的 Label 文件。

3. 解压数据 下载完成后，解压文件以便读取：

   gunzip conceptual_captions_train.tsv.gz
   gunzip conceptual_captions_valid.tsv.gz
   

基本使用

数据文件格式为 TSV，包含两列（或带标签时为五列）：Caption（已分词并小写化的文本）和 Image URL。

1. 查看数据结构

您可以直接使用命令行查看前几行数据：

head -n 5 conceptual_captions_train.tsv

输出示例（列之间由制表符分隔）：

a group of people sitting on a bench	http://example.com/image1.jpg
two dogs playing in the snow	http://example.com/image2.jpg
...

2. Python 数据加载示例

以下是最简单的 Python 脚本，用于读取数据集并解析图像链接与标题：

import csv

def load_conceptual_captions(file_path, limit=5):
    data = []
    with open(file_path, 'r', encoding='utf-8') as f:
        reader = csv.reader(f, delimiter='\t')
        for i, row in enumerate(reader):
            if i >= limit:
                break
            if len(row) >= 2:
                caption = row[0]
                image_url = row[1]
                data.append({'caption': caption, 'url': image_url})
                
                # 如果使用的是带标签的子集，row[2] 为标签列表，row[3] 为 MIDs，row[4] 为置信度
                if len(row) > 2:
                    data[-1]['labels'] = row[2].split(',')
                    
    return data

# 使用示例
dataset = load_conceptual_captions('conceptual_captions_train.tsv')

for item in dataset:
    print(f"Caption: {item['caption']}")
    print(f"Image URL: {item['url']}")
    if 'labels' in item:
        print(f"Top Label: {item['labels'][0]}")
    print("-" * 30)

3. 关于测试集

官方未公开测试集（Test Split）的具体数据，而是通过举办竞赛的方式，在盲测集上评估模型性能。如需参与评估，请访问官方竞赛页面提交结果。

引用说明

如果您在研究或工作中使用了此数据集或其图像标签，请务必引用以下论文：

• 数据集: Sharma et al., "Conceptual Captions: A Cleaned, Hypernymed, Image Alt-text Dataset For Automatic Image Captioning", ACL 2018.
• 图像标签: Ng et al., "Understanding Guided Image Captioning Performance across Domains", arXiv 2020.