AutoCoder

新闻 :fire:

我们上传了一个新模型 AutoCoder_QW_7B。在这个模型中，我们修复了之前的一个问题：模型只有在你要求它验证代码时才会启动代码解释器。

AutoCode_QW_7B 的基础模型是 CodeQwen1.5-7b。

介绍 :mega:

我们推出了一款专为代码生成任务设计的新模型。它在 HumanEval 基准数据集上的测试准确率超过了 GPT-4 Turbo（2024年4月）。（90.9% 对比 90.2%）。

此外，与之前的开源模型相比，AutoCoder 提供了一项新功能：当用户希望执行代码时，它能够自动安装所需的包，并尝试运行代码，直到认为没有问题为止。

• AutoCoder 的代码解释器与 GPT-4 Turbo 的区别：

以下是 GPT-4 Turbo 和 AutoCoder 代码解释器对比的视频演示：

GPT-4o 无法访问外部库。

GPT-4o

AutoCoder 可以自动安装所需的包。这一特性扩展了代码解释器的应用范围。

AutoCoder

• AutoCoder 的代码解释器与当前开源代码解释器 OpenCodeInterpreter 的区别：

AutoCoder 的代码解释器像 GPT-4 Turbo 一样，仅在用户需要验证代码时才会被调用，而 OpenCodeInterpreter 则会运行所有生成的 Python 代码。

模型 :gift:

该模型已在 Hugging Face 上发布：

AutoCoder (33B) AutoCoder-S (6.7B)

AutoCoder (33B) 和 AutoCoder-S (6.7B) 的基础模型是 deepseeker-coder。

AutoCoder_QW_7B

AutoCoder_QW_7B 的基础模型是 CodeQwen1.5-7b。

快速入门 :rocket:

1. 创建 conda 环境

conda create -n AutoCoder python=3.11
conda activate AutoCoder
pip install -r requirements.txt

2. 在 HumanEval 上进行测试 基准测试得分为 90.9%，基准+额外测试得分为 78.0%。（如果你不想测试其在基准上的表现，可跳至第 5 步）

cd Evaluation
python test_humaneval.py

完成此步骤后，你会得到一个名为 AutoCoder_HumanEval+.jsonl 的文件，该文件遵循 EvalPlus 格式。

然后按照 EvalPlus GitHub 的测试框架进行操作，即可查看结果。

注意：

• 不要忘记使用 evalplus 的 evalplus.sanitize 对代码进行后处理。
• 如果你在代码生成时未使用贪婪方法（例如设置了 do_sample=True），可能会看到不同的结果。

3. 在 MBPP 上进行测试 基准测试得分为 82.5%，基准+额外测试得分为 70.6%。（如果你不想测试其在基准上的表现，可跳至第 5 步）

python test_humaneval.py

进行后处理以删除用于测试的语言描述：

python postprocess_mbpp.py

完成此步骤后，你会得到一个 AutoCoder_Mbpp+-sanitized.jsonl 文件，其中提取了所有的代码块。然后可以直接使用 EvalPlus GitHub 进行测试（这次无需使用 evalplus 的 evalplus.sanitize 对代码进行后处理）。

4. 在 DS-1000 上进行测试。（如果你不想测试其在基准上的表现，可跳至第 5 步）

python test_ds1000.py

完成此步骤后，你会得到一个 jsonl 文件，其中提取了所有的代码块。然后可以直接使用 DS-1000 GitHub 进行测试。

5. Web 演示（包含代码解释器）

安装 Gradio 并运行：

pip install gradio==3.48.0
cd /Web_demo
python chatbot.py

注意 :warning:

• 我们建议在使用代码解释器时将 do_sample = True（此处为默认设置）。

• 部署时最好使用 Linux 系统。

联系方式 :email:

如有任何疑问，请随时提交 issue 或发送邮件至 leib2765@gmail.com。

引用 :book:

@misc{lei2024autocoder,
      title={AutoCoder: Enhancing Code Large Language Model with \textsc{AIEV-Instruct}}, 
      author={Bin Lei and Yuchen Li and Qiuwu Chen},
      year={2024},
      eprint={2405.14906},
      archivePrefix={arXiv},
      primaryClass={cs.SE}
}

致谢 :pray:

感谢 OpenCodeInterpreter 的第一作者 Tianyu Zheng，在一些技术细节上给予的指导。

AutoCoder 快速上手指南

AutoCoder 是一款专为代码生成任务设计的开源大模型，其在 HumanEval 基准测试中的准确率超越 GPT-4 Turbo。其核心特色是内置了智能代码解释器，能够自动安装所需依赖包并尝试运行代码，直至确认无误，极大提升了代码执行的成功率。

环境准备

• 操作系统：强烈建议使用 Linux 系统进行部署，以获得最佳兼容性。
• Python 版本：需要 Python 3.11。
• 依赖管理：推荐使用 conda 进行环境隔离。

安装步骤

1. 创建并激活 Conda 环境

   conda create -n AutoCoder python=3.11
   conda activate AutoCoder
   

2. 安装项目依赖

   pip install -r requirements.txt
   

   提示：国内用户若下载缓慢，可添加清华或阿里镜像源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装 Web 演示组件（可选） 如需体验包含代码解释器的网页版交互界面，需单独安装指定版本的 Gradio：

   pip install gradio==3.48.0
   

基本使用

方式一：启动 Web 交互界面（推荐）

这是最简单的使用方式，内置了代码解释器功能，支持自动安装依赖和代码验证。

1. 进入 Web 演示目录：

   cd /Web_demo
   

2. 启动聊天机器人服务：

   python chatbot.py
   

3. 在浏览器中打开终端显示的地址（通常为 http://localhost:7860），即可开始对话。

   • 使用技巧：直接让模型生成代码并执行。当需要验证代码时，模型会自动调用解释器安装缺失库并运行，无需手动干预。
   • 注意：在使用代码解释器功能时，建议保持默认设置 do_sample = True 以获得更好效果。

方式二：基准测试（进阶）

如果您需要评估模型在 HumanEval、MBPP 或 DS-1000 等基准数据集上的性能，可参考以下命令（非必需步骤）：

• HumanEval 测试:

  cd Evaluation
  python test_humaneval.py
  # 生成的文件需配合 EvalPlus 框架进一步评测
  

• MBPP 测试:

  python test_humaneval.py
  python postprocess_mbpp.py
  # 生成的 AutoCoder_Mbpp+-sanitized.jsonl 可直接用于 EvalPlus 评测
  

• DS-1000 测试:

  python test_ds1000.py
  # 生成的文件需配合 DS-1000 框架进一步评测