状态：仅作为参考代码，预计不会更新。

Keras 中的注意力机制 RNN

在 Keras 中实现并可视化一个带有注意力机制的自定义 RNN 层，用于日期翻译。

本仓库附带一篇教程，地址为：https://medium.com/datalogue/attention-in-keras-1892773a4f22

仓库设置

0. 确保已安装 Python 3.4 或更高版本。

1. 将此仓库克隆到本地系统：

git clone https://github.com/datalogue/keras-attention.git

2. 安装依赖项 （如果您已经安装了所有依赖项，可以跳过此步骤）

我们建议使用 GPU，否则训练速度可能会非常慢：

pip install -r requirements-gpu.txt

如果您没有 GPU，或者想在本地机器上进行原型开发：

pip install -r requirements.txt

创建数据集

进入 data 目录并运行：

python generate.py

这将生成 4 个文件：

1. training.csv - 用于训练模型的数据
2. validation.csv - 用于评估模型性能的数据
3. human_vocab.json - 人类日期的词汇表
4. machine_vocab.json - 机器日期的词汇表

运行模型

我们强烈建议使用配备 GPU 的机器来运行此软件，否则训练速度可能会非常慢。要查看支持的参数，可以在主目录下运行 python run.py -h：

用法: run.py [-h] [-e |] [-g |] [-p |] [-t |] [-v |] [-b |]

可选参数:
  -h, --help            显示此帮助信息并退出

命名参数:
  -e |, --epochs |      运行的轮数
  -g |, --gpu |         使用的 GPU
  -p |, --padding |     填充长度
  -t |, --training-data |
                        训练数据的位置
  -v |, --validation-data |
                        验证数据的位置
  -b |, --batch-size |  批量大小

所有参数都有默认值，因此如果您只想直接运行，可以输入 python run.py。您也可以随时通过按 Ctrl+C 来提前停止模型运行。

可视化注意力机制

您可以使用脚本 visualize.py 来可视化注意力图。我们在 data/ 和 weights/ 中提供了示例权重和词汇表，以便该脚本可以直接使用示例运行。运行时加上 -h 参数即可查看支持的选项：

用法: visualize.py [-h] -e | [-w |] [-p |] [-hv |] [-mv |]

可选参数:
  -h, --help            显示此帮助信息并退出

命名参数:
  -e |, --examples |    要可视化注意力图的示例字符串或文件。如果是文件，必须以 `.txt` 结尾。
  -w |, --weights |     权重文件的位置
  -p |, --padding |     填充长度
  -hv |, --human-vocab |
                        人类词汇表的路径
  -mv |, --machine-vocab |
                        机器词汇表的路径

run.py 和 visualize.py 中的默认 padding 参数是对应的，因此如果您更改了填充长度，请务必注意这一点。您需要提供要使用的权重文件路径以及示例文件。示例文件已在 examples.txt 中提供。

示例可视化效果

以下是一些您可以获得的示例可视化结果：

模型已经学会了“星期六”没有任何预测价值！

我们可以看到格式奇怪的日期“January 2016 5”被错误地翻译成了 2016–01–02，其中的“02”来自于 2016 中的“20”。

帮助

如果您遇到问题，请创建一个 issue，我们会尽力为您提供帮助！

致谢

与所有开源项目一样，如果没有其他开源代码的帮助，我们不可能完成这个项目。特别感谢以下项目：

1. rasmusbergpalm/normalization - 提供了一些数据生成代码。
2. joke2k/faker - 提供了他们的假数据生成器。

参考文献

Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "通过联合学习对齐和翻译实现神经机器翻译。" arXiv 预印本 arXiv:1409.0473 (2014)。

Keras-Attention 快速上手指南

注意：本项目目前仅作为参考代码，预计不再更新。主要用于演示如何在 Keras 中实现带注意力机制的自定义 RNN 层（以日期翻译任务为例）。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：3.4 或更高
• 硬件建议：强烈推荐使用配备 GPU 的机器进行训练，否则训练速度可能极慢。
• 依赖管理：建议使用虚拟环境（如 venv 或 conda）隔离依赖。

安装步骤

1. 克隆仓库

   git clone https://github.com/datalogue/keras-attention.git
   cd keras-attention
   

2. 安装依赖

   如有 GPU 环境（推荐）：

   pip install -r requirements-gpu.txt
   

   (国内用户可添加清华源加速：pip install -r requirements-gpu.txt -i https://pypi.tuna.tsinghua.edu.cn/simple)

   如无 GPU 或仅需本地原型验证：

   pip install -r requirements.txt
   

基本使用

1. 生成数据集

进入 data 目录并运行生成脚本，将创建训练集、验证集及词汇表文件：

cd data
python generate.py

生成文件说明：

• training.csv: 模型训练数据
• validation.csv: 模型评估数据
• human_vocab.json: 人类日期格式词汇表
• machine_vocab.json: 机器日期格式词汇表

2. 运行模型训练

返回项目根目录，直接运行默认配置（使用默认参数）：

cd ..
python run.py

提示：训练过程中可按 Ctrl+C 随时停止。

若需查看或修改参数（如 epoch 数、GPU 指定、批次大小等），可运行：

python run.py -h

3. 可视化注意力机制

使用预提供的权重和示例数据，快速生成注意力热力图：

python visualize.py -e examples.txt

注：默认会自动加载 weights/ 下的示例权重和 data/ 下的词汇表。如需指定其他权重文件或调整填充长度，请使用 -w 或 -p 参数。