English 中文

扁平-网格-Transformer

ACL 2020论文的代码：FLAT：使用扁平-网格-Transformer进行中文命名实体识别。

模型和结果可以在我们的ACL 2020论文《FLAT：使用扁平-网格-Transformer进行中文命名实体识别》中找到，论文链接为：https://arxiv.org/pdf/2004.11795.pdf。

需求：

Python: 3.7.3
PyTorch: 1.2.0
FastNLP: 0.5.0
Numpy: 1.16.4

你可以访问 这里 来了解更多关于FastNLP的信息。

如何运行代码？

1. 下载字符嵌入和词嵌入。

   字符和二元组嵌入（gigaword_chn.all.a2b.{'uni'或'bi'}.ite50.vec）：Google Drive 或 Baidu Pan

   词（网格）嵌入：

   yj, (ctb.50d.vec)：Google Drive 或 Baidu Pan

   ls, (sgns.merge.word.bz2)：Baidu Pan

2. 修改 paths.py 文件以添加预训练的嵌入和数据集。

3. 运行以下命令：

python preprocess.py （如果需要在MSRA NER数据集上训练FLAT，请添加 '--clip_msra'）
cd V0（不带Bert） / V1（带Bert）
python flat_main.py --dataset <数据集名称> （ontonotes、msra、weibo或resume）

如果你想记录实验结果，可以使用fitlog：

pip install fitlog
fitlog init V0
cd V0
fitlog log logs

然后在 flat_main.py 中将 use_fitlog 设置为 True。

你可以访问 这里 来了解更多关于Fitlog的信息。

引用:

bibtex

---

运行环境:

Python: 3.7.3
PyTorch: 1.2.0
FastNLP: 0.5.0
Numpy: 1.16.4

你可以在 这里 深入了解 FastNLP 这个库。

如何运行？

1. 请下载预训练的embedding

   从Google Drive 或 Baidu Pan 下载字和 Bigram 的 embedding (gigaword_chn.all.a2b.{'uni'或'bi'}.ite50.vec)

   从Google Drive 或 Baidu Pan 下载词的 embedding (ctb.50d.vec)(yj)

   从Baidu Pan 下载词的embedding (sgns.merge.bigram.bz2)(ls)

2. 修改 paths.py 来添加预训练的 embedding 和你的数据集。

3. 运行下面的代码：

python preprocess.py （如果需要在MSRA NER数据集上训练FLAT，请添加 '--clip_msra'）
cd V0（不带Bert） / V1（带Bert）
python flat_main.py --dataset <数据集名称> （ontonotes、msra、weibo或resume）

如果你想方便地记录和观察实验结果, 你可以使用fitlog:

pip install fitlog
fitlog init V0
cd V0
fitlog log logs

然后把flat_main.py里的 use_fitlog 设置为 True 就行 你可以在 这里 深入了解 Fitlog 这个工具

引用:

bibtex

更新说明：

5.7共提交两个版本，其中V2使用tensor.unique()用于去除相对位置中重复组合（记为Flat_unique），V3使用标量替代了FLAt中的相对位置编码(记为Flat_scalar).详见FLAT瘦身日记
使用这两种方法的显存占用如下表所示
batch_size=10

seq_len	50	100	150	200	250	300
Flat	1096MB	1668MB	2734MB	4118MB	5938MB	8374MB
Flat_unique	964MB	1204MB	1610MB	2166MB	2922MB	3940MB
Flat_scalar	878MB	916MB	1028MB	1062MB	1148MB	1322MB
Bert+Flat	1605MB	2237MB	3333MB	4725MB	6571MB	9039MB
Bert+Flat_unique	1495MB	1685MB	2129MB	2697MB	3453MB	4585MB
Bert+Flat_scalar	1409MB	1481MB	1565MB	1617MB	1705MB	2051MB

Flat-Lattice-Transformer 快速上手指南

Flat-Lattice-Transformer (FLAT) 是 ACL 2020 论文《Chinese NER Using Flat-Lattice Transformer》的开源实现，专为中文命名实体识别（NER）设计。本指南将帮助你快速搭建环境并运行模型。

环境准备

在开始之前，请确保你的系统满足以下版本要求：

• Python: 3.7.3
• PyTorch: 1.2.0
• FastNLP: 0.5.0
• Numpy: 1.16.4

提示：你可以访问 FastNLP 官方文档 深入了解该库的使用。

安装与数据配置

1. 安装依赖

使用 pip 安装核心依赖库及实验记录工具（可选）：

pip install torch==1.2.0 fastnlp==0.5.0 numpy==1.16.4
# 可选：安装 fitlog 用于记录实验结果
pip install fitlog

2. 下载预训练 Embedding

请从以下国内镜像源（百度网盘）或 Google Drive 下载所需的向量文件：

• 字和 Bigram Embedding (gigaword_chn.all.a2b.{uni/bi}.ite50.vec)

  • 百度网盘下载
  • Google Drive 下载

• 词 Embedding (yj 数据集) (ctb.50d.vec)

  • 百度网盘下载
  • Google Drive 下载

• 词 Embedding (ls 数据集) (sgns.merge.word.bz2)

  • 百度网盘下载

3. 配置路径

下载完成后，修改项目根目录下的 paths.py 文件，填入你下载的预训练 embedding 路径以及数据集存放路径。

基本使用

1. 数据预处理

运行预处理脚本。如果你需要在 MSRA NER 数据集上训练，请添加 --clip_msra 参数。

python preprocess.py
# 若训练 MSRA 数据集：
# python preprocess.py --clip_msra

2. 运行模型

根据是否使用 BERT，进入对应的目录并执行训练命令。支持的数据集包括：ontonotes, msra, weibo, resume。

不使用 BERT (V0):

cd V0
python flat_main.py --dataset <dataset_name>

使用 BERT (V1):

cd V1
python flat_main.py --dataset <dataset_name>

3. (可选) 记录实验结果

若已安装 fitlog，可按以下步骤开启实验记录功能：

fitlog init V0
cd V0
fitlog log logs

随后，打开 flat_main.py 文件，将 use_fitlog 变量设置为 True 即可。更多用法请参考 Fitlog 文档。

---

性能优化提示： 针对显存占用问题，项目后续更新了 Flat_unique (V2) 和 Flat_scalar (V3) 版本，显著降低了长序列训练的显存需求。如需使用，请参考项目源码中的最新实现。