该仓库是一个用于编程语言机器学习的工具包。它实现了分词、数据集预处理、模型训练和模型评估等功能。

我们提供了以下论文的参考实现：

• TransCoder：无监督编程语言翻译（2020年）
• DOBF：面向编程语言的去混淆预训练目标（2021年）
• TransCoder-ST：利用自动化单元测试进行无监督代码翻译（2021年）
• TransCoder-IR：基于编译器表示的代码翻译（2022年）

我们还提供了用于语言建模、翻译和去混淆的预训练模型。

您可以在docs文件夹中找到每个项目的相关文档：

• TransCoder
• DOBF
• TransCoder-ST
• TransCoder-IR

依赖

运行install_env.sh脚本。我们使用black代码格式化工具。

数据

源代码处理器

该仓库包含针对C++、Java和Python的编程语言处理器。这些处理器包括：

• 分词与反分词
• 去混淆
• 函数提取

这些处理器基于TreeSitter解析器。由于这些解析器支持超过30种编程语言，用户可以轻松创建新的编程语言处理器。

代码分词示例：

from codegen_sources.preprocessing.lang_processors.java_processor import JavaProcessor

java_code = r"""class HelloWorld {
    public static void main(String[] args) {
        System.out.println("Hello, World!"); 
    }
}"""
java_processor = JavaProcessor(root_folder="<YOUR_TREESITER_FOLDER>")
tokenized_java_code = java_processor.tokenize_code(java_code)
print(tokenized_java_code)

BPE

该仓库提供了针对文件级别的fast BPE和Roberta BPE的封装。

数据集预处理

该仓库包含一个用于创建编程语言数据集的流水线。目前支持四种数据集模式：

• 单语（例如：Java源代码）
• 单语函数（例如：Java函数）
• 单语混淆代码（例如：混淆后的Java源代码）
• 单语混淆函数（例如：混淆后的Java函数）

首先，从Google BigQuery下载C++/Java/Python源代码。要运行我们的预处理流水线，您需要将原始源代码以JSON格式下载到本地。示例数据可在[data/test_dataset]中找到。

流水线执行以下操作：

• 从.json.gz文件中提取源代码并进行分词，生成.tok文件
• 训练BPE编码和词汇表
• 应用BPE，生成.bpe文件
• 将数据二进制化，生成.pth文件
• 创建指向.pth文件的符号链接，以便在训练时作为data_path参数传入。

运行流水线的命令如下：

python -m codegen_sources.preprocessing.preprocess \
<DATA_PATH> \                            # 包含json.gz文件的文件夹
--langs java cpp python  \               # 需要处理的语言
--mode monolingual_functions \           # 数据集模式
--bpe_mode=fast \                    # BPE模式。默认为fast，也可设置为roberta
--local=True \                           # 如果为True，则在本地运行；若为False，则在集群上运行（需配置submitit）
--train_splits=1                         # 训练分割的数量

如果您指定了多种语言，BPE编码和词汇表将基于这些语言共同学习，从而得到一个可用于训练多语言模型的通用词汇表。如果您不希望这样，可以分别对每种语言单独运行流水线。这些测试展示了流水线在不同模式下的运行情况，帮助您了解可用的选项。

此外，我们还在[data/bpe/cpp-java-python]中提供了BPE编码和词汇表。这些是TransCoder和DOBF所使用的编码和词汇表，它们是在合并的C++、Java和Python数据上学习得到的。如果您想直接使用这些编码和词汇表，而不是重新学习，只需将相应的路径作为fastbpe_code_path和fastbpe_vocab_path参数传入即可。

在TransCoder和DOBF的README文件中，我们提供了各自数据集预处理的具体命令。

模型

概述

在本仓库中，我们提供了用于训练基于Transformer的模型的代码（代码基于XLM仓库）。可用的训练任务包括：

• 掩码语言模型（MLM）
• 因果语言模型（CLM）
• 监督机器翻译（MT）
• 分类
• 去混淆 = DOBF
• 无监督机器翻译 = TransCoder（去噪自编码AE + 反向翻译BT）

我们使用针对不同任务的指标来评估模型性能，例如TransCoder中的计算准确率和BLEU分数，以及去混淆任务中的子词得分。

此外，我们还提供了用于在CodeXGLUE基准上微调和评估模型的封装。

下载模型

您可以下载以下模型：

• MLM
• TransCoder。可使用此模型在此处进行代码翻译：[codegen_sources/model/translate.py]。
• DOBF。可使用此模型在此处进行代码去混淆：[codegen_sources/model/deobfuscate.py]。

重新训练特定模型

有关如何重新训练特定模型的详细信息，请参阅各模型的README文件。

• TransCoder README
• DOBF README

参考文献

TransCoder模型（NeurIPS 2020）

[1] B. Roziere*, M.A. Lachaux*, L. Chanussot, G. Lample 无监督编程语言翻译。

@article{roziere2020unsupervised,
  title={Unsupervised translation of programming languages},
  author={Roziere, Baptiste and Lachaux, Marie-Anne and Chanussot, Lowik and Lample, Guillaume},
  journal={Advances in Neural Information Processing Systems},
  volume={33},
  year={2020}
}

DOBF

[2] B. Roziere*, M.A. Lachaux*, M. Szafraniec , G. Lample DOBF：一种用于编程语言的去混淆预训练目标。

@article{roziere2021dobf,
  title={{DOBF}: A Deobfuscation Pre-Training Objective for Programming Languages},
  author={Roziere, Baptiste and Lachaux, Marie-Anne and Szafraniec, Marc and Lample, Guillaume},
  journal={arXiv preprint arXiv:2102.07492},
  year={2021}
}

TransCoder-ST

[3] B. Roziere, J.M. Zhang, F. Charton, M. Harman, G. Synnaeve, G. Lample 利用自动化单元测试进行无监督代码翻译。

@article{roziere2021leveraging,
  title={Leveraging Automated Unit Tests for Unsupervised Code Translation},
  author={Roziere, Baptiste and Zhang, Jie M and Charton, Francois and Harman, Mark and Synnaeve, Gabriel and Lample, Guillaume},
  journal={ICLR},
  year={2022}
}

TransCoder-IR

@article{szafraniec2022code,
  title={Code translation with Compiler Representations},
  author={Szafraniec, Marc and Roziere, Baptiste and Charton, Hugh Leather Francois and Labatut, Patrick and Synnaeve, Gabriel},
  journal={ICLR},
  year={2023}
}

* 共同贡献

许可证

来自 GeeksForGeeks 的验证和测试并行数据集，以及位于 data/transcoder_evaluation_gfg 下的评估脚本，均采用知识共享署名-相同方式共享 2.0 许可证发布。更多信息请参见 https://creativecommons.org/licenses/by-sa/2.0/。

CodeGen 仓库的其余部分则采用 MIT 许可证。更多详情请参阅 LICENSE。

CodeGen 快速上手指南

CodeGen 是一个用于编程语言机器学习的工具包，支持代码分词、数据集预处理、模型训练及评估。它实现了 TransCoder（代码翻译）、DOBF（代码去混淆）等前沿算法，并提供预训练模型。

环境准备

• 操作系统：Linux / macOS（Windows 需通过 WSL 运行）
• Python 版本：建议 Python 3.7+
• 核心依赖：
  • TreeSitter：用于多语言代码解析
  • black：代码格式化工具
  • PyTorch 及相关深度学习库（由安装脚本自动处理）

注意：本项目基于 Facebook XLM 仓库构建，需确保网络通畅以下载相关依赖。国内用户若遇到连接问题，可配置 PyPI 镜像源（如 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...）。

安装步骤

1. 克隆仓库并进入目录：

   git clone https://github.com/facebookresearch/CodeGen.git
   cd CodeGen
   

2. 运行官方提供的安装脚本配置环境：

   bash install_env.sh
   

3. （可选）验证代码格式化依赖：

   black --version
   

基本使用

1. 代码分词示例

CodeGen 内置了基于 TreeSitter 的 C++、Java 和 Python 处理器。以下展示如何对 Java 代码进行分词：

from codegen_sources.preprocessing.lang_processors.java_processor import JavaProcessor

java_code = r"""class HelloWorld {
    public static void main(String[] args) {
        System.out.println("Hello, World!"); 
    }
}"""
# 请替换 <YOUR_TREESITER_FOLDER> 为实际 TreeSitter 安装路径
java_processor = JavaProcessor(root_folder="<YOUR_TREESITER_FOLDER>")
tokenized_java_code = java_processor.tokenize_code(java_code)
print(tokenized_java_code)

2. 数据集预处理

支持从原始源码构建单语、函数级或混淆数据集。首先需从 Google BigQuery 下载 JSON 格式的源码数据。

运行预处理流水线（以 Java 函数级数据集为例）：

python -m codegen_sources.preprocessing.preprocess \
<DATA_PATH> \                            # 包含 json.gz 文件的文件夹路径
--langs java cpp python  \               # 需要处理的语言
--mode monolingual_functions \           # 数据集模式：单语函数
--bpe_mode=fast \                        # BPE 模式：fast 或 roberta
--local=True \                           # 本地运行设为 True，集群运行设为 False
--train_splits=1                         # 训练集切分数量

提示：若指定多种语言，系统将学习共享的 BPE 词表，适用于多语言联合训练模型。若需独立词表，请分别对每种语言运行流水线。也可直接使用项目提供的预训练 BPE 代码和词表（位于 data/bpe/cpp-java-python）。

3. 加载预训练模型

项目提供多种预训练模型，可直接用于推理：

• 代码翻译 (TransCoder)：

  python codegen_sources/model/translate.py
  

• 代码去混淆 (DOBF)：

  python codegen_sources/model/deobfuscate.py
  

具体模型下载链接及详细参数配置请参阅 docs 文件夹下的对应文档（如 docs/transcoder.md）。