⭐️ 我们在 lab-ml/source_code_modelling 重写了这个项目的简化版本，并计划持续维护一段时间。

这个 是我们开始的一个小项目，旨在探索一个简单的 LSTM 模型在 Python 代码补全方面的表现。

实验结果相当不错，在大多数文件中可以节省超过 30% 的击键次数，而在某些文件中甚至接近 50%。我们通过仅做出一次（最佳）预测并用一个按键选择它来计算节省的击键数。

为了找到预测结果，我们使用束搜索，最多预测未来约 10 个字符。不过目前效率仍然较低，如果你关心与编辑器的集成问题的话。

我们在对 Python 代码进行预处理——去除注释、字符串和空行——之后再进行训练和预测。模型是在对 Python 代码进行分词后训练的。这种方法似乎比基于字节对编码的字符级预测更高效。

本仓库中包含了一个已保存的模型，它是基于 tensorflow/models 数据集训练得到的。

以下是对验证集中一个源文件的示例评估。红色字符表示自动补全开始的位置；即用户按下 Tab 键以选择补全内容。绿色字符及其后的灰色高亮部分则是自动补全的内容。可以看到，补全的起始和结束位置并不固定。例如，补全建议可能是“tensorfl”，而不是完整的标识符“tensorflow”，这在实际使用场景中可能会有些令人困扰。我们可以通过限制补全只在标记的边界处结束来解决这个问题。此外，你也可以注意到，该模型还能跨运算符进行补全。如果增加束搜索的长度，就能补全更长的代码片段。

亲自试一试

1. 克隆此仓库

2. 安装 requirements.txt 中列出的依赖项

3. 将数据复制到 ./data/source

4. 运行 extract_code.py 以收集所有 Python 文件，对其进行编码并合并为 all.py

5. 运行 evaluate.py 来评估模型。我们已在仓库中提供了一个检查点。

6. 运行 train.py 来训练模型

python_autocomplete 快速上手指南

python_autocomplete 是一个基于 LSTM 模型的趣味项目，旨在实现 Python 代码的自动补全。该模型通过清理注释、字符串和空行后进行训练，在多数文件中可节省超过 30% 的击键次数。

注意：作者已重构了一个更简洁的版本 lab-ml/source_code_modelling 并计划长期维护，建议生产环境优先考虑新版。当前版本主要用于学习和实验，尚未集成到编辑器中，且束搜索（beam search）效率有待优化。

环境准备

• 操作系统：Linux / macOS / Windows (需配置 Python 环境)
• Python 版本：建议使用 Python 3.6+
• 前置依赖：
  • Git (用于克隆仓库)
  • pip (用于安装依赖包)

安装步骤

1. 克隆仓库

   git clone https://github.com/vpj/python_autocomplete.git
   cd python_autocomplete
   

2. 安装依赖 推荐使用国内镜像源加速安装（如清华源）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 准备数据 将你的 Python 源代码数据集复制到 ./data/source 目录中。 注：本项目示例模型是在 tensorflow/models 数据集上训练的。

基本使用

本项目主要包含数据预处理、模型评估和模型训练三个核心步骤。

1. 数据提取与编码 收集所有 Python 文件，进行编码并合并为单个文件 all.py：

   python extract_code.py
   

2. 模型评估（快速体验） 仓库中已包含预训练好的检查点（checkpoint），可直接运行评估脚本查看效果：

   python evaluate.py
   

   评估输出示例说明：红色字符表示自动补全触发点（用户按 TAB 键），绿色及灰色高亮部分为模型生成的补全内容。

3. 模型训练（可选） 如果需要用自己的数据重新训练模型，运行以下命令：

   python train.py
   

---

使用提示：

• 目前的预测基于束搜索（beam search），可预测后续约 10 个字符。
• 模型在分词后的代码上进行训练，相比字符级预测更高效。
• 当前版本可能会在标识符中间停止补全（例如只补全 'tensorfl' 而非 'tensorflow'），这是已知限制，可通过限制补全在 token 结尾处来优化。