神经网络补全

Neural Complete 是一款基于 生成式 LSTM 神经网络 的自动补全工具，它不仅通过 Python 代码进行训练，还直接在 Python 源代码上进行训练。

颇具讽刺意味的是，该模型正是在包含 Keras 导入语句的文件上进行训练的。其结果就是一个能够辅助编写神经网络代码的神经网络模型。

与仅仅补全单个单词不同，它会建议直接补全整行代码，并且能够利用前面几行的信息来做出更合理的预测。

我们可以想象，未来每个人或许都会拥有一个属于自己的神经网络模型，根据个人的编程习惯自动补全脚本 :-)

不过目前这个项目还做不到这一点。

我们鼓励大家使用自己的数据来训练模型，而 Neural Complete 正是为此提供了便利。

演示

第一次输入 model 时，它会建议将其定义为一个变量（model = Sequential()）。

第二次再输入 model 时，它则会提示可以直接使用该变量（model.add(...)）。这表明模型确实能够理解上下文信息！

虽然最后一行仍存在一些错误，但随着更多数据和更丰富的上下文信息的加入，补全效果将会更加精准。

模型

该项目包含了两种模型：一种是基于字符的模型，另一种是基于 Python 语法单元（token）的模型。基于字符的模型的优势在于它可以随时进行补全，而基于 token 的模型则需要完整的语法单元才能工作（无法补全一个未完成的单词）。不过，基于 token 的模型以更高层次的语义单元为基础，因此通常能给出更有意义的建议。

基于字符的模型最多会回溯 80 个字符，而基于 token 的模型则最多回溯 20 个语法单元。

未来如果能够结合 Python 的 AST，并完全摆脱变量命名的影响，那将是非常有趣的一次尝试。

自己动手

数据抓取

遗憾的是，GitHub API 并不支持按文件名搜索，因此我编写了一个爬虫脚本，专门用于收集 Keras 源代码中的 Python 数据。你可以修改搜索查询来获取属于自己的数据。不过请注意不要过于频繁地请求，以免“打扰”GitHub。要想获得理想的效果，还需要更多的数据！

目前这两个模型仅在 26 个脚本上进行了训练。

后端

使用 Keras 训练模型，并通过 Flask 提供服务。

详情请参阅 backend。

前端

前端部分非常轻量，主要负责与后端通信以获取自动补全建议，采用 Angular 2 框架开发。项目中已包含构建后的 dist 文件夹，因此你无需额外安装依赖即可轻松运行。

详情请参阅 frontend。

致谢

该项目大量借鉴了 Keras 官方提供的 LSTM 文本生成示例 中的思想。

在使用本项目代码时，请尽可能注明出处。

Neural Complete 快速上手指南

Neural Complete 是一个基于生成式 LSTM 神经网络的代码自动补全工具。与传统补全工具不同，它不仅能补全单词，还能根据上下文预测并补全整行 Python 代码。该项目特别适合用于辅助编写神经网络相关代码（如 Keras）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows (需配置相应 Python 环境)
• Python 版本：建议 Python 3.6+
• 核心依赖：
  • keras (后端模型训练与推理)
  • tensorflow (作为 Keras 的后端)
  • flask (用于提供 API 服务)
  • numpy
• 前端依赖（如需修改前端）：Node.js, Angular 2+ (若仅使用预编译版本则无需安装)

提示：国内用户建议使用清华或阿里镜像源加速 Python 包安装。

安装步骤

1. 克隆项目

首先从 GitHub 获取源代码：

git clone https://github.com/kootenpv/neural_complete.git
cd neural_complete

2. 安装后端依赖

创建虚拟环境并安装所需的 Python 库。推荐使用国内镜像源以提高下载速度：

python -m venv venv
source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple keras tensorflow flask numpy

3. 准备模型数据

项目默认包含两个模型（基于字符和基于 Token），但为了获得最佳效果，建议根据自己的代码库进行训练。

若需抓取数据（例如抓取 GitHub 上的 Keras 源码）：

• 进入 backend/ 目录。
• 修改爬虫脚本中的搜索查询以匹配您的需求。
• 注意：请遵守 GitHub API 限制，避免频繁请求导致被封禁。原文提到默认模型仅基于 26 个脚本训练，数据量越大效果越好。

4. 启动后端服务

在 backend/ 目录下运行 Flask 服务以加载模型并提供补全接口：

cd backend
python app.py

默认情况下，服务将运行在本地端口（通常为 5000），具体请参考 app.py 配置。

5. 配置前端

前端是一个轻量级的 Angular 2 应用，用于展示补全建议。

• 直接使用预编译版本： dist 文件夹已包含构建好的文件，可直接通过静态服务器运行，或通过后端代理访问。

• 自行构建（可选）： 如果需要修改前端逻辑，请进入 frontend/ 目录：

  cd frontend
  npm install
  npm start
  

  确保前端配置指向正确的后端 API 地址。

基本使用

启动后端和前端后，即可在编辑器或演示界面中体验智能补全。

使用场景示例

Neural Complete 能够识别代码上下文，提供整行建议：

1. 变量初始化： 当您输入 model 时，如果上下文中尚未定义该变量，它可能会建议：

   model = Sequential()
   

2. 方法调用： 当 model 已被定义为 Sequential 对象后，再次输入 model 时，它会根据上下文建议后续操作：

   model.add(...)
   

自定义训练（进阶）

为了让您个人的脚本获得更精准的“自动化”补全，您可以使用自己的代码库重新训练模型：

1. 收集您的 Python 源代码文件。
2. 利用项目提供的脚本处理数据（支持字符级和 Token 级两种模式）。
   • 字符模型：可实时补全（即使单词未写完），回顾过去 80 个字符。
   • Token 模型：基于语义单元，通常更准确，但仅在完整 Token 后触发，回顾过去 20 个 Token。
3. 使用 Keras 重新训练模型并替换后端加载的文件。

注意：当前版本主要作为实验性工具，随着训练数据的增加和上下文的丰富，补全精度会显著提升。未来计划支持基于 Python AST 的模型以忽略变量命名差异。