引言

根据埃文斯数据公司的报告，2019年全球专业开发者人数为2390万，预计到2024年将增至2870万。随着开发者群体的不断壮大，旨在利用人工智能提升软件开发效率的代码智能技术，在软件工程和人工智能两大领域的重要性日益凸显。

当开发者希望找到他人编写的具有相同意图的代码时，代码搜索系统能够根据自然语言查询自动检索语义相关的代码片段。当开发者不确定下一步该写什么时，代码补全系统则可以根据当前编辑上下文自动补全后续代码。而当开发者需要将一段Python代码的功能移植到Java中实现时，代码到代码的翻译系统可以帮助完成从一种编程语言（Python）到另一种编程语言（Java）的转换。

因此，代码智能在微软赋能开发者这一使命中发挥着至关重要的作用。正如微软首席执行官萨蒂亚·纳德拉在微软[BUILD 2020]大会上所强调的那样，开发者的作用比以往任何时候都更加重要。GitHub正逐渐成为源代码的默认托管平台，而Visual Studio Code则是最受欢迎的代码编辑器。微软为开发者提供了最完整的工具链，整合了GitHub、Visual Studio和Microsoft Azure的优势，帮助开发者将创意转化为代码，并进一步部署到云端。

近年来，统计模型（包括神经网络）在代码智能任务中的应用呈现爆发式增长。尤其是最近，基于大规模编程语言数据预训练的模型，受到了BERT(arxiv.org/abs/1810.04805)和GPT(arxiv.org/abs/1908.09203)等自然语言处理领域大型预训练模型成功启发。这些模型，如IntelliCode和CodeBERT，在代码理解和生成方面取得了显著进展。然而，目前代码智能领域仍缺乏覆盖广泛任务的基准测试套件。我们已经看到，多样化的基准数据集对于应用型人工智能研究领域的蓬勃发展至关重要，例如计算机视觉领域的ImageNet和自然语言处理领域的GLUE。

为此，来自微软亚洲研究院、开发者事业部和必应的研究人员共同推出了CodeXGLUE——一个面向代码智能的基准数据集与开放挑战赛。它包含一系列代码智能任务以及用于模型评估和比较的平台。CodeXGLUE意为“面向代码的通用语言理解评估基准”，涵盖了10类多样化的代码智能任务，共14个数据集，具体场景如下：

• 代码-代码（克隆检测、缺陷检测、完形填空、代码补全、代码修复以及代码到代码的翻译）
• 文本-代码（自然语言代码搜索、文本到代码生成）
• 代码-文本（代码摘要生成）
• 文本-文本（文档翻译）

以下是对CodeXGLUE的简要概述，包括任务、数据集、使用的语言、各数据集的规模、基线系统、提供方以及每项任务的简要定义。其中以蓝色标注的数据集为新引入的内容。

为了方便参赛者，我们提供了三类基线模型来支持这些任务：一种是擅长问题理解的BERT风格预训练模型（即CodeBERT）；另一种是GPT风格的预训练模型，我们称之为CodeGPT，主要用于补全和生成任务；最后还提供了一个编码器-解码器框架，以支持序列到序列的生成任务。

我们提供了三条流水线，分别基于CodeBERT、CodeGPT以及编码器-解码器架构，以便参赛者轻松上手。

通过CodeXGLUE，我们旨在推动能够应用于各类代码智能问题的模型开发，从而提高软件开发者的生产力。我们鼓励研究人员积极参与这一开放挑战赛，继续推进代码智能领域的研究进展。未来，我们将把CodeXGLUE扩展到更多编程语言和下游任务中，同时通过探索新的模型结构、引入新的预训练任务、使用不同类型的数据等方式，持续优化预训练模型。

相关链接

排行榜 | CodeXGLUE论文 | HuggingFace数据集入口

任务与数据集

以下我们将详细说明每个任务的任务定义，以及上表中重点介绍的新引入数据集。

1. 克隆检测（BigCloneBench、POJ-104）。该任务要求模型衡量代码之间的语义相似度。包含两个现有数据集：一个用于代码间的二分类任务，另一个则是在给定查询代码的情况下检索语义相似的代码。
2. 缺陷检测（Devign）。该任务要求模型识别源代码中是否存在可能被用于攻击软件系统的缺陷，例如资源泄漏、释放后使用漏洞和拒绝服务攻击等。包含一个现有数据集。
3. 完形填空（CT-all、CT-max/min）。该任务要求模型从代码中预测被遮盖的标记符，并将其表述为多选分类问题。这两个数据集均为新创建，其中一个候选标记符来自（经过过滤的）词汇表，另一个则仅限于“max”和“min”这两个选项。
4. 代码补全（PY150、GitHub Java Corpus）。该任务要求模型在给定代码上下文的情况下预测后续标记符。涵盖标记符级别和行级别两种补全方式。标记符级别的任务类似于语言建模，我们在此收录了两个具有影响力的数据集。行级别数据集则是新近创建的，用于测试模型自动补全整行代码的能力。
5. 代码翻译（CodeTrans）。该任务要求模型将一种编程语言的代码翻译成另一种编程语言的代码。新创建了一个Java与C#之间的数据集。
6. 代码搜索（CodeSearchNet, AdvTest；CodeSearchNet, WebQueryTest）。该任务要求模型衡量文本与代码之间的语义相似度。在检索场景中，新创建了一个测试集，其中测试集中函数名和变量已被替换，以检验模型的泛化能力。而在文本-代码分类场景中，则创建了一个自然语言查询来源于Bing查询日志的测试集，用于测试模型对真实用户查询的表现。
7. 代码修复（Bugs2Fix）。该任务要求模型尝试自动优化代码，这些代码可能存在错误或过于复杂。包含一个现有数据集。
8. 文本到代码生成（CONCODE）。该任务要求模型根据自然语言描述生成代码。包含一个现有数据集。
9. 代码摘要（CodeSearchNet）。该任务要求模型为代码生成自然语言注释。包含现有的数据集。
10. 文档翻译（Microsoft Docs）。该任务要求模型在不同人类语言之间翻译代码文档。新创建了一个专注于低资源多语言翻译的数据集。

提交说明

当您构建的模型在开发集上的评估结果达到预期时，即可提交您的测试结果以获得测试集上的官方评估。为确保官方测试结果的公正性，我们不会公开测试集的正确答案。要提交您的模型以进行测试集上的官方评估，请按照以下步骤操作：

1. 为开发集生成预测输出。
2. 运行各任务特定Git仓库中的官方评估方法，验证您的系统运行正常。
3. 为测试集生成预测输出。
4. 通过电子邮件发送至 codexglue@microsoft.com 提交以下信息。

邮件内容应包括：

1. 测试集上的预测结果。[必填]
2. 开发集上的预测结果。[建议填写]
3. 个人/团队名称：将在排行榜上显示的个人或团队名称。[必填]
4. 个人/团队所属机构：将在排行榜上显示的个人或团队所属机构。[可选]
5. 模型代码：用于训练该模型的代码。[建议提供]
6. 模型信息：将在排行榜上显示的模型名称或技术名称。[必填]
7. 论文信息：若模型源自已发表的研究成果，需提供论文名称、引用信息及URL，以便在排行榜上展示。[可选]

为避免“P值黑客行为”，我们不鼓励同一团队在短时间内提交过多结果。

训练与推理时间成本

我们使用2块P100 GPU计算了每个数据集的训练和推理时间成本。结果见下表。

许可证

我们的代码遵循MIT许可证。

我们的数据集遵循数据计算使用协议（C-UDA）许可证。

参考文献

如果您使用此代码或CodeXGLUE，请考虑引用我们的论文。

@article{DBLP:journals/corr/abs-2102-04664,
  author    = {Shuai Lu and
               Daya Guo and
               Shuo Ren and
               Junjie Huang and
               Alexey Svyatkovskiy and
               Ambrosio Blanco and
               Colin B. Clement and
               Dawn Drain and
               Daxin Jiang and
               Duyu Tang and
               Ge Li and
               Lidong Zhou and
               Linjun Shou and
               Long Zhou and
               Michele Tufano and
               Ming Gong and
               Ming Zhou and
               Nan Duan and
               Neel Sundaresan and
               Shao Kun Deng and
               Shengyu Fu and
               Shujie Liu},
  title     = {CodeXGLUE: {A} Machine Learning Benchmark Dataset for Code Understanding
               and Generation},
  journal   = {CoRR},
  volume    = {abs/2102.04664},
  year      = {2021}
}

本研究由Alexey Svyatkovskiy、Ambrosio Blanco、Colin Clement、Dawn Drain、Daxin Jiang、Daya Guo、Duyu Tang、Junjie Huang、Lidong Zhou、Linjun Shou、Long Zhou、Michele Tufano、Ming Gong、Ming Zhou、Nan Duan、Neel Sundaresan、Shao Kun Deng、Shengyu Fu、Shuai Lu、Shujie Liu和Shuo Ren共同完成。

CodeXGLUE 快速上手指南

CodeXGLUE 是微软推出的代码智能基准数据集与挑战平台，涵盖代码克隆检测、缺陷检测、代码补全、代码翻译、代码搜索等 10 类任务。本指南帮助开发者快速搭建环境并运行基线模型。

环境准备

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS
• Python 版本: 3.6 或更高
• 硬件要求: 建议使用 NVIDIA GPU (如 P100/V100) 进行训练和推理；CPU 仅适用于小规模测试。
• 前置依赖:
  • PyTorch 1.6+
  • Transformers (Hugging Face)
  • Git

国内加速建议：

• Python 包安装推荐使用清华源：-i https://pypi.tuna.tsinghua.edu.cn/simple
• Hugging Face 模型下载可配置镜像：export HF_ENDPOINT=https://hf-mirror.com

安装步骤

1. 克隆项目仓库

   git clone https://github.com/microsoft/CodeXGLUE.git
   cd CodeXGLUE
   

2. 安装 Python 依赖 进入对应的任务目录（以 Text-Code 下的代码生成任务为例，其他任务类似），安装所需库：

   cd Text-Code/Generation-concode
   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注：若需使用预训练的 CodeBERT 或 CodeGPT 模型，请确保已安装 transformers 库。

3. 获取数据集 大部分数据集可通过 Hugging Face Datasets 直接加载，或从各任务子目录下的脚本下载。

   # 在 Python 环境中验证数据集加载 (示例)
   from datasets import load_dataset
   dataset = load_dataset("code_x_glue_ct_code_to_text", "python")
   

基本使用

以下以 代码补全 (Code Completion) 任务为例，展示如何使用提供的 CodeGPT 基线模型进行推理。

1. 进入任务目录

   cd ../..
   cd Code-Code/Completion
   

2. 运行评估脚本 使用预训练模型对开发集（dev set）进行预测。以下命令假设你已下载好相应数据并在配置中指定了路径：

   python run.py \
       --model_type gpt2 \
       --model_name_or_path microsoft/CodeGPT-small-java-adaptedGPT2 \
       --task_name completion \
       --do_eval \
       --eval_data_file ../data/java/corpus.jsonl \
       --output_dir ./saved_models
   

   • --model_name_or_path: 指定模型名称，自动从 Hugging Face 拉取（国内用户建议先配置 HF_ENDPOINT）。
   • --eval_data_file: 指向具体的评估数据文件。
   • --output_dir: 保存预测结果的目录。

3. 查看结果 运行结束后，预测结果将保存在 ./saved_models 目录下。你可以对照官方评估脚本计算准确率或 BLEU 分数。

对于其他任务（如代码搜索、缺陷检测等），请参考对应子目录（如 Text-Code/Search, Code-Code/Defect-detection）中的 run.py 脚本及参数说明，流程基本一致：选择模型 -> 指定数据路径 -> 执行训练/评估。