PyTorch-BERT-CRF-NER

基于 BERT + CRF 的韩语 NER 标注工具的 PyTorch 实现（PyTorch 1.2 / Python 3.x）

示例

日志

请输入句子：上个月28日，居住在水原的尹周成研究员参加了在COEX（首尔三星站）举行的DEVIEW 2019 Day1。在聆听LaRva团队的“超级大型语言模型工厂启动！”环节时，他想到在训练语言模型时，既想尝试多GPU，也想尝试TPU。
len: 90, input_token:['[CLS]', '▁上个月', '▁28', '日', '▁水原', '에', '▁살', '고', '▁있는', '▁尹', '周', '成', '▁研究员은', '▁COEX', '(', '首尔', '▁三星', '站', ')', '에서', '▁开', '幕', '되는', '▁D', 'E', 'V', 'I', 'E', 'W', '▁20', '19', '▁D', 'ay', '1', '에', '▁参加했다', '.', '▁L', 'a', 'R', 'v', 'a', '팀', '의', "▁'", '超', '~', '级', '▁大', '▁语言', '▁模型', '▁工厂', '▁启动', '기', "!'", '▁セ', '션', '을', '▁听', '으며', '▁语言', '▁模型', '을', '▁训练', '할', '때', '▁', 'm', 'ul', 't', 'i', '-', 'G', 'P', 'U', ',', '▁T', 'P', 'U', '▁都', '想', '试', '一下', '的想法を', '持った', '.', '[SEP]']
len: 90, pred_ner_tag:['[CLS]', 'O', 'B-DAT', 'I-DAT', 'B-LOC', 'O', 'O', 'O', 'O', 'B-PER', 'I-PER', 'I-PER', 'O', 'B-LOC', 'I-LOC', 'O', 'B-LOC', 'B-LOC', 'I-LOC', 'O', 'O', 'O', 'O', 'B-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'O', 'O', 'O', 'B-ORG', 'I-ORG', 'I-ORG', 'I-ORG', 'I-ORG', 'I-ORG', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', '[SEP]']
decoding_ner_sentence: [CLS] 上个月<28日:DAT>居住在<水原:LOC>的<尹周成:PER>研究员参加了在<COEX:LOC>(<首尔:LOC><三星站:LOC>)举办的<DEVIEW 2019 Day1:POH>活动。在聆听<LaRva团队:ORG>的“超级大型语言模型工厂启动！”环节时，他想到在训练语言模型时，既想尝试多GPU，也想尝试TPU。[SEP]
   
请输入句子：文在寅总统于28日在首尔COEX举行的‘Deview 2019’活动中出席，鼓励年轻开发者，并提出了我国政府的人工智能基本构想。来源：媒体今日（http://www.mediatoday.co.kr）
len: 66, input_token:['[CLS]', '▁文在寅', '▁总统은', '▁28', '日', '▁首尔', '▁COEX', '에서', '▁开', '幕', 'した', '▁‘', '德', '维', '夫', '▁(', 'D', 'e', 'v', 'i', 'e', 'w', ')', '▁20', '19', '’', '▁活动に', '▁参加し', '▁若', 'い', '开发', '者たち', 'を', '▁激励', 'しながら', '▁我が', '政府の', '人工', '知能', '基本', '構想', 'を', '発表', 'した', '.', '出处', '：', 'メディア', 'トゥデイ', '▁(', 'http', '://', 'www', '.', 'm', 'ed', 'i', 'at', 'o', 'd', 'ay', '.', 'co', '.', 'kr', ')', '[SEP]']
len: 66, pred_ner_tag:['[CLS]', 'B-PER', 'O', 'B-DAT', 'I-DAT', 'B-LOC', 'I-LOC', 'I-LOC', 'O', 'O', 'O', 'B-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH......### 日志

请输入句子：上个月28日，居住在水原的尹周成研究员参加了在COEX（首尔三星站）举办的DEVIEW 2019 Day1。在聆听LaRva团队的“超大型语言模型工厂启动！”环节时，他想到在训练语言模型时，既想尝试多GPU，也想尝试TPU。 len: 90, input_token:['[CLS]', '▁上个月', '▁28', '日', '▁水原', '에', '▁살', '고', '▁있는', '▁尹', '周', '成', '▁研究员은', '▁COEX', '(', '首尔', '▁三星', '站', ')', '에서', '▁开', '幕', '되는', '▁D', 'E', 'V', 'I', 'E', 'W', '▁20', '19', '▁D', 'ay', '1', '에', '▁参加했다', '.', '▁L', 'a', 'R', 'v', 'a', '팀', '의', "▁'", '超', '~', '大型', '▁语言', '▁模型', '▁工厂', '▁启动', '기', "!'", '▁セ', '션', '을', '▁听', '으며', '▁语言', '▁模型', '을', '▁训练', '할', '때', '▁', 'm', 'ul', 't', 'i', '-', 'G', 'P', 'U', ',', '▁T', 'P', 'U', '▁都', '试', 'して', 'みたい', 'と', '思', 'った', '.', '[SEP]'] len: 90, pred_ner_tag:['[CLS]', 'O', 'B-DAT', 'I-DAT', 'B-LOC', 'O', 'O', 'O', 'O', 'B-PER', 'I-PER', 'I-PER', 'O', 'B-LOC', 'I-LOC', 'O', 'B-LOC', 'B-LOC', 'I-LOC', 'O', 'O', 'O', 'O', 'B-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'O', 'O', 'O', 'B-ORG', 'I-ORG', 'I-ORG', 'I-ORG', 'I-ORG', 'I-ORG', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', 'O', '[SEP]'] decoding_ner_sentence: [CLS] 上个月<28日:DAT>居住在<水原:LOC>的<尹周成:PER>研究员参加了在COEX:LOC(<首尔:LOC><三星站:LOC>)举办的<DEVIEW 2019 Day1:POH>。在聆听<LaRva团队:ORG>的“超大型语言模型工厂启动！”环节时，他想到在训练语言模型时，既想尝试多GPU，也想尝试TPU。[SEP]

请输入句子：文在寅总统于28日在首尔COEX举行的‘Deview 2019’活动上出席，鼓励年轻开发者，并提出了我国政府的人工智能基本构想。来源：媒体今日（http://www.mediatoday.co.kr） len: 66, input_token:['[CLS]', '▁文在寅', '▁总统은', '▁28', '日', '▁首尔', '▁COEX', '에서', '▁开', '幕', 'した', '▁‘', 'デ', '뷰', '▁(', 'D', 'e', 'v', 'i', 'e', 'w', ')', '▁20', '19', '’', '▁活动に', '▁参加し', '▁若', 'い', '▁开发', '者たち', 'を', '▁激励', 'しながら', '▁我が', '政府の', '人工知能', '基本構想', 'を', '発表', 'した', '.', '出典', 'は', '▁メディア', '今日', '▁(', 'http', '://', 'www', '.', 'm', 'ed', 'i', 'at', 'o', 'd', 'ay', '.', 'co', '.', 'kr', ')', '[SEP]'] len: 66, pred_ner_tag:['[CLS]', 'B-PER', 'O', 'B-DAT', 'I-DAT', 'B-LOC', 'I-LOC', 'I-LOC', 'O', 'O', 'O', 'B-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', 'I-POH', '......

注意事项

• 在对实体进行分词时，如果分词后的标记长度超过实体本身的长度，可能会导致实体提取不准确（这是分词器的局限性）。
  • 对于这种情况，可以选择将其排除在外进行训练，但为了覆盖更广泛的范围，我们决定将其包含在内。
  • 例如：从第一集开始至<13日:DAT> -> ('▁13', 'B-DAT') ('日까지', 'I-DAT')（连同助词等一起被提取）。
• 相反，如果分词后的长度小于实体本身的长度，则可以通过使用'I-tag'标记来解决。
• 由于使用了预训练的sentencepiece模型，因此无法更改词汇表（不过，单独更改sp词汇表的方法还需要进一步查找）。
• pytorch-crf库在多GPU环境下无法正常工作。
  • 后续会进行改进。
• 由于BERT是基于语言模型的，因此对错别字也有一定的鲁棒性。
• 句子长度的不同会导致NER结果有所差异。
• 对于英文数据，模型表现不佳，因为没有针对英文数据进行训练。
• 需要注意的是，词典中出现的'▁'标记与我们常用的下划线'_'是不同的。
• 为了避免B标签和I标签的NER结果出现差异，我们也尝试了BERT+Bi(LSTM或GRU)+CRF的结构。
  • 优点：
    • 对于较长的实体标记能够较好地识别。
    • 显著减少了B标签和I标签NER结果不一致的情况。
  • 缺点：
    • 模型规模会增大。
    • 有时会出现B标签位置识别错误的情况，比如本应识别为<12日:DAT>，却因包含了前一句的标点符号而被误识别为<. 12日:DAT>；或者本应识别为<1.83%:PNT>，却被误识别为1.8<3%:PNT>。
  • 体会：
    • 由于B标签位置的错误识别，使用起来有些不便（需要进一步改进）。
    • 在训练过程中，GRU相比LSTM大约每轮都能更快地提升性能。
• 如果想将该模型应用于其他语言，无需改变模型架构，只需更换词汇表、预训练的BERT模型（来自Hugging Face）以及训练数据集即可。

数据集

• 韩国海洋大学自然语言处理实验室提供的NER数据集

NER标签集

• 总共有8个标签：
  • PER：人名
  • LOC：地名
  • ORG：机构名
  • POH：其他
  • DAT：日期
  • TIM：时间
  • DUR：时间段
  • MNY：货币
  • PNT：比例
  • NOH：其他数量表达
• 实体类别：
  • 实体名称：人名(PER)、地名(LOC)、机构名(ORG)、其他(POH)
  • 时间表达：日期(DAT)、时间(TIM)、时间段(DUR)
  • 数量表达：货币(MNY)、比例(PNT)、其他数量表达(NOH)

结果

• 训练轮数：12轮（未使用早停机制）

• 训练集样本数：23032，验证集样本数：931

• 训练集文件：00002_NER.txt, ..., EXOBRAIN_NE_CORPUS_007.txt（共1,425个文件）

• 验证集文件：EXOBRAIN_NE_CORPUS_009.txt, EXOBRAIN_NE_CORPUS_010.txt（共2个文件）

• 分类报告

  • 总体来看，DAT、PER、NOH、ORG、PNT的得分较高，而POH、LOC等则相对较低。
  • 以验证集为准，宏平均F1值为87.56。

• 混淆矩阵
  • 存在将POH预测为ORG的情况（将“其他”归类为“机构”，这种误判在一定程度上是可以理解的）。
  • 也有将ORG预测为PER的情况（需要修正）。

• 训练与评估的准确率及损失曲线图

• 基准测试（开发集F1分数）

模型	宏平均F1分数	轮数	日期
KoBERT	0.8554	12	191129
KoBERT+CRF	0.8756	12	191129
KoBERT+BiLSTM+CRF	0.8659	12	191129

环境要求

pip install -r requirements.txt

模型文件链接

• 带有验证集的BERT CRF模型文件
• 使用全部训练数据的BERT CRF模型文件
• BERT CRF、BERT_alone共享文件夹（包含BiLSTM、BiGRU）

训练

python train_bert_crf.py 

推理

python inference.py 

可视化

未来工作

• 验证流水线
• NER标签概率
• RestfulAPI
• 知识蒸馏
• Apex fp16半精度
• 重构、重构、重构

参考仓库

• aisolab的NLP实现
• pytorch-crf
• SKTBrain KoBERT
• 来自Hugging Face的微调配置
• BERT注意力可视化

pytorch-bert-crf-ner 快速上手指南

本项目是一个基于 PyTorch 实现的韩语命名实体识别（NER）工具，采用 BERT + CRF 架构。它利用预训练的 KoBERT 模型对韩语文本进行实体抽取（如人名、地名、机构名、日期等）。

注意：该模型主要针对韩语数据训练，直接用于中文或其他语言效果不佳。若需应用于其他语言，需替换对应的预训练 BERT 模型、词表及训练数据集。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux / macOS / Windows
• Python 版本: Python 3.x
• PyTorch 版本: 推荐 v1.2 及以上（需兼容 pytorch-crf）
• 硬件建议: 支持 CUDA 的 GPU 可加速训练和推理（注：旧版 pytorch-crf 可能对多卡支持有限，单卡运行最稳定）

前置依赖安装

建议使用虚拟环境（如 venv 或 conda），然后安装项目依赖。如果国内网络下载较慢，可配置 pip 使用清华或阿里镜像源。

# 可选：使用国内镜像源加速安装
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

若项目中未提供 requirements.txt 或需手动安装核心库，通常需要：

pip install torch torchvision torchaudio
pip install pytorch-crf
pip install transformers sentencepiece

2. 安装步骤

克隆项目代码并准备好预训练模型文件。

2.1 获取代码

git clone https://github.com/eagle705/pytorch-bert-crf-ner.git
cd pytorch-bert-crf-ner

2.2 下载预训练模型

项目提供了经过验证的模型文件，您需要下载并将其放置在项目指定目录（通常为 models/ 或根目录，具体视代码加载路径而定）。

• 包含验证集的模型: 下载链接
• 全数据集训练的模型: 下载链接
• 包含 BiLSTM/BiGRU 变种的共享文件夹: 下载链接

提示：由于链接为外部网盘，请下载后确认文件名与代码中加载的路径一致。

3. 基本使用

本项目主要包含训练和推理两个核心脚本。

3.1 模型训练

如果您有自己的标注数据（格式需参考项目中的 NER Dataset），可以运行以下命令开始训练。默认配置下将使用 KoBERT 进行微调。

python train_bert_crf.py

• 数据集说明：默认数据集来自韩国海洋大学自然语言处理实验室。
• 标签体系：支持 PER(人名), LOC(地名), ORG(机构), DAT(日期), TIM(时间), DUR(时长), MNY(金额), PNT(比例), NOH(数量), POH(其他) 共 10 类标签。

3.2 模型推理 (Inference)

使用训练好或下载的模型对新的韩语句子进行实体识别。

python inference.py

运行后，程序会提示输入句子。输入韩语句子后，系统将输出分词结果、预测的 NER 标签序列以及解码后的带标签句子。

交互示例：

문장을 입력하세요: 지난달 28 일 수원에 살고 있는 윤주성 연구원은 코엑스 (서울 삼성역) 에서 개최되는 DEVIEW 2019 Day1 에 참석했다.

输出示例：

decoding_ner_sentence: [CLS] 지난달 <28 일:DAT> <수원:LOC>에 살고 있는 <윤주성:PER> 연구원은 <코엑스:LOC>(<서울:LOC> <삼성역:LOC>) 에서 개최되는 <DEVIEW 2019 Day1:POH> 에 참석했다.[SEP]

3.3 关键注意事项

1. 分词限制：由于使用 SentencePiece 分词，当实体的分词长度大于实体本身字符数时（例如包含标点或特殊符号），提取可能不精确。
2. 特殊符号：预处理中的 ▁ 代表空格，不同于下划线 _。
3. 多语言适配：若要用于中文或其他语言，无需修改模型架构，但必须更换为对应语言的 Pretrained BERT 模型（如 bert-base-chinese）、对应的 vocab 文件以及重新训练数据集。
4. 多 GPU 支持：pytorch-crf 库在某些版本中不支持多 GPU 并行训练，如遇问题请尝试单卡运行。