[!IMPORTANT] 🚀 GLiNER2 现已在 Fastino Labs 上线！ 这是一个用于命名实体识别、文本分类和结构化数据提取的统一多任务模型。请查看 fastino-ai/GLiNER2 →

👑 GLiNER：通用且轻量化的命名实体识别模型

GLiNER 是一个用于训练和部署具备零样本能力的小型命名实体识别（NER）模型的框架。除了传统的 NER 任务外，它还支持实体与关系联合抽取。GLiNER 可以进行微调，优化后可在 CPU 和消费级硬件上运行，其性能可与自身数倍规模的大语言模型（如 ChatGPT 和 UniNER）相媲美。

示例笔记本

探索包括微调、ONNX 转换以及合成数据生成在内的各种示例。

• 示例笔记本
• 在 Colab 上进行微调  

🛠 安装与使用

安装

!pip install gliner

使用

安装 GLiNER 库后，导入 GLiNER 类。随后，您可以使用 GLiNER.from_pretrained 加载您选择的模型，并利用 predict_entities 来识别文本中的实体。

from gliner import GLiNER

# 使用基础模型初始化 GLiNER
model = GLiNER.from_pretrained("urchade/gliner_medium-v2.1")

# 用于实体预测的示例文本
text = """
Cristiano Ronaldo dos Santos Aveiro（葡萄牙语发音：[kɾiʃˈtjɐnu ʁɔˈnaldu]；1985年2月5日出生）是一名葡萄牙职业足球运动员，司职前锋，目前效力于沙特职业联赛俱乐部 Al Nassr，并担任该俱乐部及葡萄牙国家队的队长。他被广泛认为是史上最伟大的球员之一，曾五次获得金球奖[注3]，创纪录地三次荣获欧足联年度最佳男球员奖，以及四次获得欧洲金靴奖，均为欧洲球员之最。在其职业生涯中，他共赢得了33座奖杯，其中包括7次联赛冠军、5次欧冠冠军、欧洲杯冠军以及欧国联冠军。罗纳尔多保持着欧冠出场次数（183次）、进球数（140个）和助攻次数（42次）等多项纪录，同时他还拥有欧洲杯进球数（14个）、国家队进球数（128个）以及国家队出场次数（205次）等多项纪录。他是少数职业生涯出场次数超过1200次的球员之一，这一数字为非守门员球员之最；此外，他在俱乐部和国家队的正式比赛中累计打入超过850粒进球，使他成为史上进球最多的球员。
"""

# 实体预测的标签
# 大多数 GLiNER 模型在实体类型使用小写或标题格式时效果最佳
labels = ["Person", "Award", "Date", "Competitions", "Teams"]

# 执行实体预测
entities = model.predict_entities(text, labels, threshold=0.5)

# 显示预测的实体及其标签
for entity in entities:
    print(entity["text"], "=>", entity["label"])

预期输出

Cristiano Ronaldo dos Santos Aveiro => person
5 February 1985 => date
Al Nassr => teams
Portugal national team => teams
Ballon d'Or => award
UEFA Men's Player of the Year Awards => award
European Golden Shoes => award
UEFA Champions Leagues => competitions
UEFA European Championship => competitions
UEFA Nations League => competitions
European Championship => competitions

量化与编译

使用 quantize=True 和 compile_torch_model=True 可在不损失任何质量的情况下，将 GPU 推理速度提升至约 1.9 倍：

model = GLiNER.from_pretrained(
    "urchade/gliner_medium-v2.1",
    map_location="cuda",
    quantize=True,            # 或 "fp16", "bf16"
    compile_torch_model=True,
)

或者在加载后应用：

model = GLiNER.from_pretrained("urchade/gliner_medium-v2.1", map_location="cuda")
model.quantize()         # fp16 半精度（默认）
model.quantize("bf16")   # bfloat16 — 数值稳定性更好，但加速效果略逊
model.compile()          # 使用动态形状的 torch.compile

基于 CoNLL-2003 数据集（严格 F1 分数，gliner_medium-v2.1，RTX 5090）的基准测试结果如下：

量化选项：

• quantize=True 或 quantize="fp16" — float16 半精度。GPU 加速效果最佳（约 1.35 倍）。
• quantize="bf16" — bfloat16。数值稳定性更好，但加速效果略低（约 1.2 倍）。
• quantize="int8" — int8 量化。在 CPU 上，使用内置的 FBGEMM int8 核心（加速约 1.6 倍）。在 GPU 上，使用 torchao 的仅权重 int8 量化（内存减少约 50%，但无速度提升）。此选项适用于经过量化感知训练（QAT）微调的模型。而基于 DeBERTa 的原生模型在使用 int8 量化时会降低准确率。
• 在 CPU 上，fp16/bf16 量化可以减少内存占用，但不会提高速度。

编译注意事项：

• compile_torch_model=True 使用 torch.compile，通过 Triton 内核对模型进行 JIT 编译。首次推理调用会因编译而较慢，但后续所有调用都将受益于已编译的图。此功能仅在 Linux 和 WSL 上可用（不支持原生 Windows 或 macOS）。

👨‍💻 模型作者

GLiNER 最初由以下人员开发：

• Urchade Zaratiana
• Nadi Tomeh
• Pierre Holat
• Thierry Charnois

🌟 维护者

Urchade Zaratiana Fastino 公司的技术人员

Ihor Stepanov Knowledgator 公司的联合创始人

📚 引用信息

如果您在研究中使用了 GLiNER，请考虑引用我们的论文：

@inproceedings{zaratiana-etal-2024-gliner,
    title = "{GL}i{NER}: 使用双向 Transformer 的通用命名实体识别模型",
    author = "Zaratiana, Urchade  and
      Tomeh, Nadi  and
      Holat, Pierre  and
      Charnois, Thierry",
    editor = "Duh, Kevin  and
      Gomez, Helena  and
      Bethard, Steven",
    booktitle = "2024 年北美计算语言学协会人类语言技术会议论文集（第 1 卷：长文）",
    month = jun,
    year = "2024",
    address = "墨西哥城，墨西哥",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2024.naacl-long.300",
    doi = "10.18653/v1/2024.naacl-long.300",
    pages = "5364--5376",
    abstract = "命名实体识别（NER）在各种自然语言处理（NLP）应用中至关重要。传统 NER 模型虽然有效，但仅限于一组预定义的实体类型。相比之下，大型语言模型（LLM）可以通过自然语言指令提取任意实体，具有更高的灵活性。然而，其庞大的规模和高昂的成本，尤其是通过 ChatGPT 等 API 访问时，使其在资源有限的情况下难以实用。本文介绍了一种紧凑的 NER 模型，该模型经过训练可识别任何类型的实体。借助双向 Transformer 编码器，我们的模型 GLiNER 能够并行提取实体，这优于 LLM 慢速的顺序标记生成方式。通过全面测试，GLiNER 表现出强大的性能，在多个 NER 基准上的零样本评估中均优于 ChatGPT 和微调后的 LLM。",
}

@misc{stepanov2024glinermultitaskgeneralistlightweight,
      title={GLiNER 多任务：用于各类信息抽取任务的通用轻量级模型}, 
      author={Ihor Stepanov 和 Mykhailo Shtopko},
      year={2024},
      eprint={2406.12925},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2406.12925}, 
}

@misc{stepanov2026millionlabelnerbreakingscale,
      title={百万标签 NER：利用 GLiNER 双编码器突破规模瓶颈}, 
      author={Ihor Stepanov、Mykhailo Shtopko、Dmytro Vodianytskyi 和 Oleksandr Lukashov},
      year={2026},
      eprint={2602.18487},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2602.18487}, 
}

支持与资助

本项目得到了 F.initiatives 和 巴黎北区信息实验室 的支持与资助。

F.initiatives 在研发、创新和投资（R&D&I）领域的公共资助策略方面拥有超过 20 年的专业经验。公司拥有一支由 200 多名资深顾问组成的团队，能够在客户制定公共资助战略的各个阶段提供指导——从项目规划到援助申请提交，并确保将客户的产业和技术挑战准确传达给公共资助方。凭借对卓越和诚信的持续承诺，F.initiatives 依靠方法与工具之间的协同效应，为客户提供量身定制、高质量且安全的支持服务。

我们还衷心感谢开源社区的宝贵贡献，正是这些贡献推动了本项目的成功。

GLiNER 快速上手指南

GLiNER 是一个轻量级、通用的命名实体识别（NER）框架，支持零样本（Zero-shot）能力。它不仅能进行传统实体抽取，还支持联合实体与关系抽取。该模型经过微调优化，可在 CPU 和普通消费级硬件上高效运行，性能可媲美大得多的 LLM（如 ChatGPT）。

环境准备

• 系统要求：
  • 操作系统：Linux, macOS, Windows (WSL 推荐用于模型编译加速)
  • Python 版本：3.8 及以上
• 硬件建议：
  • CPU：可直接运行，适合轻量级任务。
  • GPU：推荐使用 NVIDIA GPU 以获得更佳推理速度（支持量化和编译加速）。
• 前置依赖：
  • 确保已安装 pip 包管理工具。
  • 若需 GPU 加速，请预先安装对应版本的 torch (PyTorch) 和 cuda 驱动。

安装步骤

使用 pip 直接安装 GLiNER 库。国内开发者建议使用清华或阿里镜像源以加快下载速度。

# 使用默认源安装
pip install gliner

# 或使用国内镜像源加速安装 (推荐)
pip install gliner -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

以下是最简单的零样本实体抽取示例。只需指定模型名称和想要提取的实体标签列表，即可从文本中识别实体。

from gliner import GLiNER

# 1. 加载预训练模型
# 常用模型：urchade/gliner_medium-v2.1
model = GLiNER.from_pretrained("urchade/gliner_medium-v2.1")

# 2. 准备待分析的文本
text = """
Cristiano Ronaldo dos Santos Aveiro (born 5 February 1985) is a Portuguese professional footballer 
who plays as a forward for Saudi Pro League club Al Nassr. He has won five Ballon d'Or awards.
"""

# 3. 定义需要提取的实体标签
# 提示：大多数 GLiNER 模型在标签使用小写或标题大小写时效果最佳
labels = ["Person", "Award", "Date", "Teams"]

# 4. 执行预测
# threshold 为置信度阈值，可根据需求调整 (默认 0.5)
entities = model.predict_entities(text, labels, threshold=0.5)

# 5. 输出结果
for entity in entities:
    print(entity["text"], "=>", entity["label"])

预期输出：

Cristiano Ronaldo dos Santos Aveiro => person
5 February 1985 => date
Al Nassr => teams
Ballon d'Or => award

💡 进阶：开启加速模式

如果您拥有 NVIDIA GPU，可以通过量化（Quantization）和编译（Compilation）将推理速度提升近 2 倍且不影响精度：

model = GLiNER.from_pretrained(
    "urchade/gliner_medium-v2.1",
    map_location="cuda",       # 指定使用 GPU
    quantize=True,             # 启用 fp16 量化
    compile_torch_model=True,  # 启用 torch.compile (仅限 Linux/WSL)
)