Gensim-data 是用来做什么的？

研究数据集经常会出现消失、随时间变化、变得过时，或者没有合理的实现来处理数据格式的读取和处理。

基于这个原因，Gensim 推出了自己的数据集存储库，致力于长期支持、提供标准化的使用 API，并专注于非结构化文本处理（不包括图像或音频）的数据集。这个 Gensim-data 仓库就充当了这样的存储库。

您无需直接使用此存储库。相反，只需安装 Gensim 并使用其下载 API（见下文快速入门）。它会自动与该存储库进行交互。

💡 当您使用 Gensim 下载 API 时，所有数据都会存储在您的 ~/gensim-data 主目录文件夹中。

有关项目原理和设计决策的更多信息，请阅读这篇文章：New Download API for Pretrained NLP Models and Datasets。

它是如何工作的？

从技术上讲，实际的（有时非常大的）语料库和模型文件被存储为 release attachments 在 Github 上。每个数据集（以及每个数据集的新版本）都有自己的发布版本，且永远不可更改。

每次发布都附带一个使用示例和发布说明，例如：2017 年 USPTO 专利语料库; 2017 年英文维基百科，包含纯文本部分。

🔴 每个数据集都有自己的许可证，用户在使用数据集之前应仔细阅读！

---

快速入门

要加载模型或语料库，可以使用 Gensim 的 Python 或命令行接口（首先需要安装 Gensim）：

• Python API

  示例：加载预训练模型（gloVe 词向量）：

  import gensim.downloader as api
  
  info = api.info()  # 显示可用模型/数据集的信息
  model = api.load("glove-twitter-25")  # 下载模型并返回可直接使用的对象
  model.most_similar("cat")
  
  """
  输出：
  
  [(u'dog', 0.9590819478034973),
   (u'monkey', 0.9203578233718872),
   (u'bear', 0.9143137335777283),
   (u'pet', 0.9108031392097473),
   (u'girl', 0.8880630135536194),
   (u'horse', 0.8872727155685425),
   (u'kitty', 0.8870542049407959),
   (u'puppy', 0.886769711971283),
   (u'hot', 0.8865255117416382),
   (u'lady', 0.8845518827438354)]
  
  """
  

  示例：加载语料库并用它训练 Word2Vec 模型：

  from gensim.models.word2vec import Word2Vec
  import gensim.downloader as api
  
  corpus = api.load('text8')  # 下载语料库并返回打开后的可迭代对象
  model = Word2Vec(corpus)  # 使用语料库训练模型
  model.most_similar("car")
  
  """
  输出：
  
  [(u'driver', 0.8273754119873047),
   (u'motorcycle', 0.769528865814209),
   (u'cars', 0.7356342077255249),
   (u'truck', 0.7331641912460327),
   (u'taxi', 0.718338131904602),
   (u'vehicle', 0.7177008390426636),
   (u'racing', 0.6697118878364563),
   (u'automobile', 0.6657308340072632),
   (u'passenger', 0.6377975344657898),
   (u'glider', 0.6374964714050293)]
  
  """
  

  示例：仅下载数据集并返回本地文件路径（不打开）：

  import gensim.downloader as api
  
  print(api.load("20-newsgroups", return_path=True))  # 输出: /home/user/gensim-data/20-newsgroups/20-newsgroups.gz
  print(api.load("glove-twitter-25", return_path=True))  # 输出: /home/user/gensim-data/glove-twitter-25/glove-twitter-25.gz
  

• 同样的操作，但通过CLI，命令行界面完成：

  python -m gensim.downloader --info  # 显示可用模型/数据集的信息
  python -m gensim.downloader --download text8  # 将 text8 数据集下载到 ~/gensim-data/text8
  python -m gensim.downloader --download glove-twitter-25  # 将模型下载到 ~/gensim-data/glove-twitter-50/
  

---

可用数据

数据集

名称	文件大小	了解更多	描述	许可
20-newsgroups	13 MB	http://qwone.com/~jason/20Newsgroups/	臭名昭著的约20,000篇新闻组帖子集合，几乎均匀分布在20个不同的新闻组中。	未找到
fake-news	19 MB	https://www.kaggle.com/mrisdal/fake-news	新闻数据集，包含来自244个网站的文本和元数据，总计代表了在特定30天窗口内的12,999篇帖子。数据通过webhose.io API抓取，由于数据来源于其爬虫，并非所有被BS Detector（垃圾站点检测器）识别的网站都出现在此数据集中。缺少标签的数据源被简单地标记为'bs'。该数据集中没有（据称）任何真实、可靠或值得信赖的新闻来源（至少目前如此），所以请不要相信你读到的内容。	https://creativecommons.org/publicdomain/zero/1.0/
patent-2017	2944 MB	http://patents.reedtech.com/pgrbft.php	专利授权全文。包含2017年发布的每项专利授权的完整文本，包括表格、序列数据和“内联”数学表达式。	未找到
quora-duplicate-questions	20 MB	https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs	超过400,000行潜在的重复问题对。每一行包含每对问题的ID、每个问题的完整文本以及一个二进制值，指示该行是否包含重复对。	可能是 https://www.quora.com/about/tos
semeval-2016-2017-task3-subtaskA-unannotated	223 MB	http://alt.qcri.org/semeval2016/task3/ http://alt.qcri.org/semeval2016/task3/data/uploads/semeval2016-task3-report.pdf https://github.com/RaRe-Technologies/gensim-data/issues/18 https://github.com/Witiko/semeval-2016_2017-task3-subtaskA-unannotated-english	SemEval 2016 / 2017任务3子任务A未标注数据集包含从卡塔尔生活社区问答（CQA）网络论坛收集的189,941个问题和1,894,456条评论。这些可以用作语言建模的语料库。	这些数据集可供一般研究用途免费使用。
semeval-2016-2017-task3-subtaskBC	6 MB	http://alt.qcri.org/semeval2017/task3/ http://alt.qcri.org/semeval2017/task3/data/uploads/semeval2017-task3.pdf https://github.com/RaRe-Technologies/gensim-data/issues/18 https://github.com/Witiko/semeval-2016_2017-task3-subtaskB-english	SemEval 2016 / 2017任务3子任务B和C数据集包含英语的训练+开发集（317个原始问题，3,169个相关问题和31,690条评论）以及测试数据集。任务描述和收集的数据详见任务论文的第3节和第4.1节 http://alt.qcri.org/semeval2016/task3/data/uploads/semeval2016-task3-report.pdf，链接位于 https://github.com/RaRe-Technologies/gensim-data/issues/18 的“Papers”部分。	为该任务发布的所有文件均可供一般研究用途免费使用。
text8	31 MB	http://mattmahoney.net/dc/textdata.html	来自维基百科的前100,000,000字节纯文本。用于测试目的；完整的维基百科数据集请参见wiki-english-*。	未找到
wiki-english-20171001	6214 MB	https://dumps.wikimedia.org/enwiki/20171001/	2017年10月提取的维基百科数据转储。通过 python -m gensim.scripts.segment_wiki -f enwiki-20171001-pages-articles.xml.bz2 -o wiki-en.gz 生成。	https://dumps.wikimedia.org/legal.html

模型

名称	向量数量	文件大小	基础数据集	了解更多	描述	参数	预处理	许可协议
conceptnet-numberbatch-17-06-300	1917247	1168 MB	ConceptNet, word2vec, GloVe 和 OpenSubtitles 2016	http://aaai.org/ocs/index.php/AAAI/AAAI17/paper/view/14972 https://github.com/commonsense/conceptnet-numberbatch http://conceptnet.io/	ConceptNet Numberbatch 包含最先进的语义向量（也称为词嵌入，word embeddings），可以直接用作单词意义的表示，也可以作为进一步机器学习的起点。ConceptNet Numberbatch 是 ConceptNet 开放数据项目的一部分。ConceptNet 提供了多种计算单词意义的方法，其中之一是词嵌入。ConceptNet Numberbatch 是这些词嵌入的一个快照。它通过一种集成方法构建，结合了来自 ConceptNet、word2vec、GloVe 和 OpenSubtitles 2016 的数据，并使用了一种改进的 retrofitting 方法。	维度 - 300	-	https://github.com/commonsense/conceptnet-numberbatch/blob/master/LICENSE.txt
fasttext-wiki-news-subwords-300	999999	958 MB	Wikipedia 2017, UMBC webbase 语料库和 statmt.org 新闻数据集 (16B tokens)	https://fasttext.cc/docs/en/english-vectors.html https://arxiv.org/abs/1712.09405 https://arxiv.org/abs/1607.01759	在 Wikipedia 2017、UMBC webbase 语料库和 statmt.org 新闻数据集（16B tokens）上训练的 100 万个词向量。	维度 - 300	-	https://creativecommons.org/licenses/by-sa/3.0/
glove-twitter-100	1193514	387 MB	Twitter (2B 推文, 27B tokens, 1.2M 词汇, 不区分大小写)	https://nlp.stanford.edu/projects/glove/ https://nlp.stanford.edu/pubs/glove.pdf	基于 2B 推文、27B tokens、1.2M 词汇、不区分大小写的预训练向量（https://nlp.stanford.edu/projects/glove/）。	维度 - 100	使用 python -m gensim.scripts.glove2word2vec -i <fname> -o glove-twitter-100.txt 转换为 w2v 格式。	http://opendatacommons.org/licenses/pddl/
glove-twitter-200	1193514	758 MB	Twitter (2B 推文, 27B tokens, 1.2M 词汇, 不区分大小写)	https://nlp.stanford.edu/projects/glove/ https://nlp.stanford.edu/pubs/glove.pdf	基于 2B 推文、27B tokens、1.2M 词汇、不区分大小写的预训练向量（https://nlp.stanford.edu/projects/glove/）。	维度 - 200	使用 python -m gensim.scripts.glove2word2vec -i <fname> -o glove-twitter-200.txt 转换为 w2v 格式。	http://opendatacommons.org/licenses/pddl/
glove-twitter-25	1193514	104 MB	Twitter (2B 推文, 27B tokens, 1.2M 词汇, 不区分大小写)	https://nlp.stanford.edu/projects/glove/ https://nlp.stanford.edu/pubs/glove.pdf	基于 2B 推文、27B tokens、1.2M 词汇、不区分大小写的预训练向量（https://nlp.stanford.edu/projects/glove/）。	维度 - 25	使用 python -m gensim.scripts.glove2word2vec -i <fname> -o glove-twitter-25.txt 转换为 w2v 格式。	http://opendatacommons.org/licenses/pddl/
glove-twitter-50	1193514	199 MB	Twitter (2B 推文, 27B tokens, 1.2M 词汇, 不区分大小写)	https://nlp.stanford.edu/projects/glove/ https://nlp.stanford.edu/pubs/glove.pdf	基于 2B 推文、27B tokens、1.2M 词汇、不区分大小写的预训练向量（https://nlp.stanford.edu/projects/glove/）。	维度 - 50	使用 python -m gensim.scripts.glove2word2vec -i <fname> -o glove-twitter-50.txt 转换为 w2v 格式。	http://opendatacommons.org/licenses/pddl/
glove-wiki-gigaword-100	400000	128 MB	Wikipedia 2014 + Gigaword 5 (6B tokens, 不区分大小写)	https://nlp.stanford.edu/projects/glove/ https://nlp.stanford.edu/pubs/glove.pdf	基于 Wikipedia 2014 + Gigaword 5 的预训练向量，6B tokens，400K 词汇，不区分大小写（https://nlp.stanford.edu/projects/glove/）。	维度 - 100	使用 python -m gensim.scripts.glove2word2vec -i <fname> -o glove-wiki-gigaword-100.txt 转换为 w2v 格式。	http://opendatacommons.org/licenses/pddl/
glove-wiki-gigaword-200	400000	252 MB	Wikipedia 2014 + Gigaword 5 (6B tokens, 不区分大小写)	https://nlp.stanford.edu/projects/glove/ https://nlp.stanford.edu/pubs/glove.pdf	基于 Wikipedia 2014 + Gigaword 5 的预训练向量，5.6B tokens，400K 词汇，不区分大小写（https://nlp.stanford.edu/projects/glove/）。	维度 - 200	使用 python -m gensim.scripts.glove2word2vec -i <fname> -o glove-wiki-gigaword-200.txt 转换为 w2v 格式。	http://opendatacommons.org/licenses/pddl/
glove-wiki-gigaword-300	400000	376 MB	Wikipedia 2014 + Gigaword 5 (6B tokens, 不区分大小写)	https://nlp.stanford.edu/projects/glove/ https://nlp.stanford.edu/pubs/glove.pdf	基于 Wikipedia 2014 + Gigaword 5 的预训练向量，5.6B tokens，400K 词汇，不区分大小写（https://nlp.stanford.edu/projects/glove/）。	维度 - 300	使用 python -m gensim.scripts.glove2word2vec -i <fname> -o glove-wiki-gigaword-300.txt 转换为 w2v 格式。	http://opendatacommons.org/licenses/pddl/
glove-wiki-gigaword-50	400000	65 MB	Wikipedia 2014 + Gigaword 5 (6B tokens, 不区分大小写)	https://nlp.stanford.edu/projects/glove/ https://nlp.stanford.edu/pubs/glove.pdf	基于 Wikipedia 2014 + Gigaword 5 的预训练向量，5.6B tokens，400K 词汇，不区分大小写（https://nlp.stanford.edu/projects/glove/）。	维度 - 50	使用 python -m gensim.scripts.glove2word2vec -i <fname> -o glove-wiki-gigaword-50.txt 转换为 w2v 格式。	http://opendatacommons.org/licenses/pddl/
word2vec-google-news-300	3000000	1662 MB	Google News (约 1000 亿单词)	https://code.google.com/archive/p/word2vec/ https://arxiv.org/abs/1301.3781 https://arxiv.org/abs/1310.4546 https://www.microsoft.com/en-us/research/publication/linguistic-regularities-in-continuous-space-word-representations/?from=http%3A%2F%2Fresearch.microsoft.com%2Fpubs%2F189726%2Frvecs.pdf	基于 Google News 数据集（约 1000 亿单词）部分训练的预训练向量。该模型包含 300 万单词和短语的 300 维向量。短语是通过 'Distributed Representations of Words and Phrases and their Compositionality' 中描述的一种简单数据驱动方法获得的（https://code.google.com/archive/p/word2vec/）。	维度 - 300	-	未找到
word2vec-ruscorpora-300	184973	198 MB	俄罗斯国家语料库（约 2.5 亿单词）	https://www.academia.edu/24306935/WebVectors_a_Toolkit_for_Building_Web_Interfaces_for_Vector_Semantic_Models http://rusvectores.org/en/ https://github.com/RaRe-Technologies/gensim-data/issues/3	在完整俄罗斯国家语料库（约 2.5 亿单词）上训练的 Word2vec Continuous Skipgram 向量。该模型包含 18.5 万单词。	维度 - 300 窗口大小 - 10	语料库经过词形还原并标注了通用词性标签	https://creativecommons.org/licenses/by/4.0/deed.en

（由 generate_table.py 根据 list.json 生成）

---

想要添加新的语料库或模型吗？

1. 使用 gzip 或 bz2 压缩你的数据集。

2. 在任何文件共享服务上分享压缩后的文件。

3. 创建一个 新问题，并提供数据集的链接。附上一份详细描述，说明你为什么以及如何创建该数据集，相关的论文或研究内容，以及其他用户应如何使用它。在适当的情况下，请包含代码示例。

---

Gensim-data 是开源软件，遵循 LGPL 2.1 许可证 发布。

版权所有 (c) 2018 RARE Technologies。

gensim-data 快速上手指南

gensim-data 是 Gensim 提供的一个长期支持的开源数据存储库，专注于非结构化文本处理相关的数据集和预训练模型。通过 Gensim 的下载 API，用户可以轻松获取并使用这些资源。

---

环境准备

系统要求

• 操作系统：Windows、macOS 或 Linux
• Python 版本：Python 3.6 及以上

前置依赖

在使用 gensim-data 之前，请确保已安装 Gensim 库：

pip install gensim

如果在中国大陆地区，建议使用国内镜像源加速安装：

pip install gensim -i https://pypi.tuna.tsinghua.edu.cn/simple

---

安装步骤

无需单独安装 gensim-data，只需安装 Gensim 即可。所有数据集和模型会通过 Gensim 的下载 API 自动获取。

---

基本使用

使用 Python API

示例 1：加载预训练模型（如 GloVe 词向量）

以下代码加载预训练的 glove-twitter-25 模型，并查询与“cat”最相似的词：

import gensim.downloader as api

info = api.info()  # 查看可用模型/数据集信息
model = api.load("glove-twitter-25")  # 下载并加载模型
print(model.most_similar("cat"))

示例 2：加载语料库并训练 Word2Vec 模型

以下代码加载 text8 语料库，并用其训练一个 Word2Vec 模型：

from gensim.models.word2vec import Word2Vec
import gensim.downloader as api

corpus = api.load('text8')  # 下载并加载语料库
model = Word2Vec(corpus)  # 训练模型
print(model.most_similar("car"))

示例 3：仅下载数据集并获取本地路径

以下代码仅下载数据集并返回其本地文件路径：

import gensim.downloader as api

print(api.load("20-newsgroups", return_path=True))  # 输出：/home/user/gensim-data/20-newsgroups/20-newsgroups.gz
print(api.load("glove-twitter-25", return_path=True))  # 输出：/home/user/gensim-data/glove-twitter-25/glove-twitter-25.gz

---

使用命令行接口 (CLI)

查看可用数据集和模型信息

python -m gensim.downloader --info

下载数据集或模型

以下命令分别下载 text8 数据集和 glove-twitter-25 模型到本地目录 ~/gensim-data：

python -m gensim.downloader --download text8
python -m gensim.downloader --download glove-twitter-25

---

注意事项

1. 所有数据默认存储在 ~/gensim-data 目录下。
2. 每个数据集都有自己的许可证，请在使用前仔细阅读相关条款。

更多详细信息，请参考 Gensim-data GitHub 仓库。