YAKE!（又一个关键词提取器）

YAKE! 是一种轻量级的无监督自动关键词提取方法，它利用文本的统计特征从文档中选出最重要的关键词。该方法无需训练、外部语料库或词典，且能够跨多种语言和领域使用，不受文本大小限制。

特性

• 🚀 无监督方法
• 🌐 语言和领域无关
• 📄 针对单个文档
• 🧠 无需训练或词典

快速安装

pip install git+https://github.com/INESCTEC/yake

或者

pip install yake

基本用法

命令行使用

如何在您喜欢的命令行中使用它

用法: yake [选项]

选项：
	  -ti, --text_input TEXT          输入文本，需用单引号(')括起来
	  -i, --input_file TEXT           输入文件
	  -l, --language TEXT             语言
	  -n, --ngram-size INTEGER        n-gram 的最大长度。
	  -df, --dedup-func [leve|jaro|seqm] *
									  去重函数。
	  -dl, --dedup-lim FLOAT          去重阈值。
	  -ws, --window-size INTEGER      窗口大小。
	  -t, --top INTEGER               提取的关键词数量
	  -v, --verbose                   显示详细信息（如得分）
	  --help                          显示此消息并退出。

如果您不确定使用哪种去重函数，请参阅此处了解更多。

Python 使用

import yake

text = "消息称谷歌正在收购 Kaggle，这是一个举办数据科学和机器学习竞赛的平台。交易细节尚不明确，但鉴于谷歌本周将在旧金山举行 Cloud Next 大会，官方公告可能最早于明天发布。Kaggle 联合创始人兼 CEO 安东尼·戈德布鲁姆在接受电话采访时拒绝否认此次收购。谷歌方面则表示‘不便就传言发表评论’。Kaggle 平台上约有五十万名数据科学家，由戈德布鲁姆和本·哈姆纳于 2010 年创立。该服务起步较早，尽管目前有一些竞争对手如 DrivenData、TopCoder 和 HackerRank，但它凭借专注于自身细分市场，始终处于领先地位。简而言之，Kaggle 已成为举办数据科学和机器学习竞赛的事实上的主场。通过收购 Kaggle，谷歌将获得数据科学领域最大、最活跃的社区之一，从而进一步提升其在该领域的影响力（尽管凭借 TensorFlow 等项目，谷歌已在此领域拥有相当高的知名度）。Kaggle 与谷歌也有一定的渊源，不过这还比较近。本月早些时候，谷歌与 Kaggle 合作举办了一场价值 10 万美元的机器学习竞赛，主题是 YouTube 视频分类。该竞赛还与 Google Cloud Platform 进行了深度整合。据我们了解，谷歌计划继续运营该服务，很可能仍以现有名称运行。虽然此次收购更多是为了获取 Kaggle 的社区资源，而非其技术本身，但 Kaggle 确实开发了一些用于举办竞赛和‘内核’功能的有趣工具。在 Kaggle 上，‘内核’本质上是用于分析数据集的源代码，开发者可以在平台上分享这些代码（该公司此前称之为‘脚本’）。与其他以竞赛为中心的平台类似，Kaggle 也设有招聘板块。目前尚不清楚谷歌将如何处理这一部分业务。根据 Crunchbase 的数据，Kaggle 自 2010 年成立以来共融资 1250 万美元（而 PitchBook 则称融资额为 1275 万美元）。投资方包括 Index Ventures、SV Angel、马克·扎克伯格、纳瓦尔·拉维坎特、谷歌首席经济学家哈尔·瓦里安、Khosla Ventures 和尤里·米尔纳。"

# 使用默认参数的简单用法
kw_extractor = yake.KeywordExtractor()
keywords = kw_extractor.extract_keywords(text)

for kw, score in keywords:
    print(f"{kw} ({score})")

# 使用自定义参数
custom_kw_extractor = yake.KeywordExtractor(
    lan="en",              # 语言
    n=3,                   # n-gram 大小
    dedupLim=0.9,          # 去重阈值
    dedupFunc='seqm',      # 去重函数
    windowsSize=1,         # 上下文窗口
    top=10,                # 提取的关键词数量
    features=None          # 自定义特征
)

keywords = custom_kw_extractor.extract_keywords(text)

输出

得分越低，关键词的相关性越高。

('google', 0.026580863364597897)
('kaggle', 0.0289005976239829)
('ceo anthony goldbloom', 0.029946071606210194)
('san francisco', 0.048810837074825336)
('anthony goldbloom declined', 0.06176910090701819)
('google cloud platform', 0.06261974476422487)
('co-founder ceo anthony', 0.07357749587020043)
('acquiring kaggle', 0.08723571551039863)

多语言支持

YAKE! 支持多种语言。以下是以葡萄牙语文本为例：

text = "Alvor – encantadora vila. A aldeia piscatória de Alvor está situada no estuário do Rio Alvor e apesar da evolução constante do turismo no Algarve, mantém a sua arquitetura baixa e encanto da cidade velha, com ruas estreitas de paralelepípedos que nos levam até à Ria de Alvor, uma das belezas naturais mais impressionantes de Portugal. Há muitos hotéis em Alvor por onde escolher e adequar às exigências das suas férias, quanto a gosto e orçamento, bem como uma série de alojamento autossuficiente para aqueles que preferem ter um pouco mais de liberdade durante a sua estadia na Região de Portimão. Há muito para fazer e descobrir em Alvor, quer seja passar os seus dias descobrindo a rede de ruas desta encantadora vila de pescadores, explorar as lojas, ir para a praia para se divertir entre brincadeiras na areia e mergulhos no mar, ou descobrir a flora e fauna da área classificada da Ria de Alvor. O charme de Alvor não se esgota na Vila. Ficar hospedado em Alvor vai proporcionar-lhe momento mágicos entre paisagens de colinas, lagoas rasas e vistas panorâmicas sobre o Oceano Atlântico. Terá oportunidade de praticar o seu swing num dos campos de golfe de classe mundial e explorar as principais atrações históricas e alguns dos segredos mais bem escondidos do Algarve, nas proximidades, em Portimão e Mexilhoeira Grande. Consulte a lista dos nossos parceiros e escolha o hotel em Alvor, onde ficar durante as suas férias no Algarve."
custom_kw_extractor = yake.KeywordExtractor(lan="pt")
keywords = custom_kw_extractor.extract_keywords(text)

词形还原（v0.6.0+）

YAKE! 现在支持关键词的词形还原功能，以聚合形态变化（例如，“tree”和“trees”）。

更多信息请参见这里

文本高亮显示

YAKE! 包含一个高亮显示功能，用于标记文本中的关键词：

from yake.highlight import TextHighlighter

th = TextHighlighter(max_ngram_size=3)
highlighted_text = th.highlight(text, keywords)

# 使用自定义 HTML 标签
custom_th = TextHighlighter(
    max_ngram_size=3,
    highlight_pre="<span class='keyword'>",
    highlight_post="</span>"
)

在哪里可以找到 YAKE!

• 🌐 在线演示：http://yake.inesctec.pt
• 🔌 文档网站：https://oss.inesctec.pt/yake/
• 📦 Python 包：https://github.com/INESCTEC/yake
• 💻 PyPI：https://pypi.org/project/yake/

引用

如果您在研究中使用 YAKE，请引用最合适的文献：

Campos, R., Mangaravite, V., Pasquali, A., Jatowt, A., Jorge, A., Nunes, C. and Jatowt, A. (2020). YAKE! 基于多种局部特征从单个文档中提取关键词。 信息科学期刊。Elsevier，第509卷，第257–289页。pdf

Campos R., Mangaravite V., Pasquali A., Jorge A.M., Nunes C., and Jatowt A. (2018). 基于文本特征的单文档自动关键词提取方法。 ECIR 2018。计算机科学讲义，第10772卷，第684–691页。pdf

Campos R., Mangaravite V., Pasquali A., Jorge A.M., Nunes C., and Jatowt A. (2018)。YAKE! 不依赖语料库的自动关键词提取器。载于：Pasi G., Piwowarski B., Azzopardi L., Hanbury A.（编）。信息检索进展。ECIR 2018（法国格勒诺布尔，3月26日至29日）。计算机科学讲义，第10772卷，第806–810页。pdf

奖项

🏆 ECIR'18 最佳短文奖

YAKE! 快速上手指南

YAKE! (Yet Another Keyword Extractor) 是一个轻量级、无监督的自动关键词提取工具。它利用文本统计特征从文档中提取重要关键词，无需训练数据、外部语料库或词典，支持多语言和多领域。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：3.10 及以上
• 依赖项：安装时会自动处理所需依赖，无需手动安装额外库

安装步骤

你可以通过 PyPI 直接安装稳定版，或从 GitHub 安装最新开发版。

推荐方式（PyPI）：

pip install yake

安装最新版（GitHub）：

pip install git+https://github.com/INESCTEC/yake

💡 国内加速提示：如果下载速度较慢，可使用国内镜像源加速安装：

pip install yake -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Python 调用示例

以下是最简单的使用方式，采用默认参数提取关键词：

import yake

text = "Sources tell us that Google is acquiring Kaggle, a platform that hosts data science and machine learning competitions. Details about the transaction remain somewhat vague, but given that Google is hosting its Cloud Next conference in San Francisco this week, the official announcement could come as early as tomorrow."

# 初始化提取器（使用默认参数）
kw_extractor = yake.KeywordExtractor()

# 提取关键词
keywords = kw_extractor.extract_keywords(text)

# 输出结果（分数越低，关键词越相关）
for kw, score in keywords:
    print(f"{kw} ({score})")

自定义参数示例

如需指定语言、N-gram 大小或提取数量，可传入自定义参数：

custom_kw_extractor = yake.KeywordExtractor(
    lan="en",              # 语言代码，如 "en", "zh", "pt"
    n=3,                   # 最大 N-gram 尺寸
    top=10,                # 提取前 10 个关键词
    dedupLim=0.9,          # 去重阈值
    dedupFunc='seqm'       # 去重算法
)

keywords = custom_kw_extractor.extract_keywords(text)

命令行使用

你也可以直接在终端运行：

yake -ti 'Your input text here' -l en -t 5

常用参数说明：

• -ti: 输入文本（需用单引号包裹）
• -i: 输入文件路径
• -l: 语言代码
• -n: N-gram 最大尺寸
• -t: 提取关键词数量
• -v: 显示详细得分信息