状态: 归档（代码按原样提供，预计不再更新）

finetune-transformer-lm

用于论文《通过生成式预训练提升语言理解》的代码和模型。

目前，该代码通过运行以下命令实现了论文中报告的 ROCStories 缺词测试结果： python train.py --dataset rocstories --desc rocstories --submit --analysis --data_dir [此处填写数据路径]

注意：由于使用了多种 GPU 操作，当前代码具有非确定性。在该代码库下使用默认超参数进行 10 次运行所得准确率的中位数为 85.8%，略低于论文中报告的单次运行准确率 86.5%。

ROCStories 数据集可从其官方网站下载：http://cs.rochester.edu/nlp/rocstories/。

finetune-transformer-lm 快速上手指南

注意：本项目目前处于归档状态（Archive），代码按原样提供，不再接受更新。本文档基于原始 README 整理，旨在帮助开发者快速复现论文《Improving Language Understanding by Generative Pre-Training》中的 ROCStories 完形填空测试结果。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL 或 Docker）。
• Python 版本：推荐 Python 3.6 或更高版本（需兼容 TensorFlow 1.x 环境，具体视代码依赖而定）。
• 硬件要求：需要配备 NVIDIA GPU 以加速训练过程（代码包含非确定性的 GPU 操作）。
• 前置依赖：
  • TensorFlow (建议版本参考项目 requirements.txt，通常为 TF 1.x)
  • NumPy
  • 其他常见科学计算库

安装步骤

1. 克隆仓库

   git clone https://github.com/openai/finetune-transformer-lm.git
   cd finetune-transformer-lm
   

2. 安装依赖 建议使用虚拟环境进行隔离。如果项目根目录包含 requirements.txt，请运行：

   pip install -r requirements.txt
   

   注：若国内下载缓慢，可临时使用清华源加速：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 准备数据集 本项目默认使用 ROCStories 数据集。

   • 访问官网下载数据：http://cs.rochester.edu/nlp/rocstories/
   • 将下载的数据解压并放置到您指定的本地目录（例如 /path/to/data）。

基本使用

完成环境配置和数据准备后，即可运行脚本复现论文中的 ROCStories 完形填空测试。

执行命令：

请将 [path to data here] 替换为您实际的数据集存放路径。

python train.py --dataset rocstories --desc rocstories --submit --analysis --data_dir [path to data here]

预期结果说明：

• 由于 GPU 操作的非确定性，单次运行结果可能有所波动。
• 使用该代码库默认超参数运行 10 次的中位数准确率约为 85.8%。
• 这一结果略低于论文中报告的单次运行结果（86.5%），属于正常现象。