30多种语言的预训练词向量

该项目有两个目的。首先，我想分享我在分词、词向量等自然语言处理任务中的一些经验。另一个更重要的目的是，可能有些人正在寻找非英语语言的预训练词向量模型。遗憾的是，英语相比其他语言获得了更多的关注。请查看这个链接，你会发现获取各种预训练英语词向量是多么容易。我认为现在是时候将目光转向多语言版本了。

在工作接近尾声时，我偶然得知已经有一个名为polyglot的类似项目。我强烈建议你去看看这个优秀的项目这里。真是有点尴尬！尽管如此，我还是决定公开这个项目。毕竟，我的工作也有其独特之处。

需求

• nltk >= 1.11.1
• regex >= 2016.6.24
• lxml >= 3.3.3
• numpy >= 1.11.2
• konlpy >= 0.4.4（仅适用于韩语）
• mecab（仅适用于日语）
• pythai >= 0.1.3（仅适用于泰语）
• pyvi >= 0.0.7.2（仅适用于越南语）
• jieba >= 0.38（仅适用于中文）
• gensim >= 0.13.1（用于Word2Vec）
• fastText（用于fastText）

背景 / 参考资料

• 请查阅这篇维基百科文章，了解什么是词嵌入。
• 请查阅这篇维基百科文章，快速了解Word2Vec的基本概念。
• 请查阅Facebook的fastText项目，以安装fastText。
• 观看这个视频，深入理解Word2Vec背后的机制。
• 如果需要，可以前往这里获取各种英语词向量。

工作流程

• 第一步：下载你所需语言的Wikipedia数据库备份文件。
• 第二步：提取纯文本内容并存入data/文件夹。
• 第三步：运行build_corpus.py脚本。
• 第四步-1：运行make_wordvector.sh脚本以生成Word2Vec词向量。
• 第四步-2：运行fasttext.sh脚本以生成fastText词向量。

预训练模型

提供了两种类型的预训练模型。w 和 f 分别代表 word2vec 和 fastText。

语言	ISO 639-1	向量维度	语料库大小	词汇表大小
孟加拉语 (w) | 孟加拉语 (f)	bn	300	1.47亿	10,059
加泰罗尼亚语 (w) | 加泰罗尼亚语 (f)	ca	300	9.67亿	50,013
中文 (w) | 中文 (f)	zh	300	10亿	50,101
丹麦语 (w) | 丹麦语 (f)	da	300	2.95亿	30,134
荷兰语 (w) | 荷兰语 (f)	nl	300	10亿	50,160
世界语 (w) | 世界语 (f)	eo	300	10亿	50,597
芬兰语 (w) | 芬兰语 (f)	fi	300	4.67亿	30,029
法语 (w) | 法语 (f)	fr	300	10亿	50,130
德语 (w) | 德语 (f)	de	300	10亿	50,006
印地语 (w) | 印地语 (f)	hi	300	3.23亿	30,393
匈牙利语 (w) | 匈牙利语 (f)	hu	300	6.92亿	40,122
印尼语 (w) | 印尼语 (f)	id	300	4.02亿	30,048
意大利语 (w) | 意大利语 (f)	it	300	10亿	50,031
日语 (w) | 日语 (f)	ja	300	10亿	50,108
爪哇语 (w) | 爪哇语 (f)	jv	100	3.1亿	10,019
韩语 (w) | 韩语 (f)	ko	200	3.39亿	30,185
马来语 (w) | 马来语 (f)	ms	100	1.73亿	10,010
挪威语 (w) | 挪威语 (f)	no	300	10亿	50,209
挪威新诺尔斯基语 (w) | 挪威新诺尔斯基语 (f)	nn	100	1.14亿	10,036
波兰语 (w) | 波兰语 (f)	pl	300	10亿	50,035
葡萄牙语 (w) | 葡萄牙语 (f)	pt	300	10亿	50,246
俄语 (w) | 俄语 (f)	ru	300	10亿	50,102
西班牙语 (w) | 西班牙语 (f)	es	300	10亿	50,003
斯瓦希里语 (w) | 斯瓦希里语 (f)	sw	100	2.4亿	10,222
瑞典语 (w) | 瑞典语 (f)	sv	300	10亿	50,052
他加禄语 (w) | 他加禄语 (f)	tl	100	3.8亿	10,068
泰语 (w) | 泰语 (f)	th	300	6.96亿	30,225
土耳其语 (w) | 土耳其语 (f)	tr	200	3.7亿	30,036
越南语 (w) | 越南语 (f)	vi	100	7.4亿	10,087

wordvectors 快速上手指南

wordvectors 是一个提供 30+ 种非英语语言预训练词向量（Word Embeddings）的开源项目，旨在弥补英文以外语言资源的不足。它支持 Word2Vec 和 fastText 两种主流模型格式。

环境准备

在开始之前，请确保您的系统已安装 Python，并准备好以下依赖库。部分语言需要特定的分词工具。

核心依赖

pip install nltk>=1.11.1 regex>=2016.6.24 lxml>=3.3.3 numpy>=1.11.2 gensim>=0.13.1

特定语言依赖（按需安装）

如果您处理以下语言，需额外安装对应库：

• 中文: jieba (pip install jieba>=0.38)
• 韩语: konlpy (pip install konlpy>=0.4.4)
• 日语: mecab (需系统级安装)
• 泰语: pythai (pip install pythai>=0.1.3)
• 越南语: pyvi (pip install pyvi>=0.0.7.2)

fastText 支持

若需使用 fastText 模型或自行训练，请安装 Facebook 官方工具：

# 推荐通过源码编译安装以获得最佳性能
git clone https://github.com/facebookresearch/fastText.git
cd fastText
make
sudo make install

安装与模型获取

本项目主要目的是直接使用预训练模型，而非必须从头训练。您可以直接下载作者提供的预训练模型文件。

1. 下载预训练模型

项目提供了多种语言的 Word2Vec (w) 和 fastText (f) 模型。请访问项目 README 中的表格链接下载（部分链接为 Google Drive 或 Dropbox）。

• 中文模型示例:
  • Word2Vec: 下载链接
  • fastText: 下载链接

提示：由于源文件托管在海外，国内用户下载可能较慢。建议下载后解压，将模型文件（通常为 .vec 或 .bin 格式）放置在项目目录下的 models/ 文件夹中。

2. (可选) 从头训练模型

如果您需要使用未提供的语言或自定义语料，可按以下流程操作：

1. 获取语料：从 Wikipedia Dumps 下载目标语言的数据库备份。
2. 提取文本：将纯文本内容提取至 data/ 文件夹。
3. 构建语料：

   python build_corpus.py
   

4. 训练模型：
   • 生成 Word2Vec 向量：

     bash make_wordvector.sh
     

   • 生成 fastText 向量：

     bash fasttext.sh
     

基本使用

下载并解压预训练模型后，您可以使用 Python 的 gensim 库直接加载并进行词向量操作。

加载 Word2Vec 模型示例

from gensim.models import KeyedVectors

# 加载预训练的 Word2Vec 模型 (以中文为例)
# 请将路径替换为您实际下载的文件路径
model_path = "path/to/your/zh.word2vec" 

# 加载模型
wv_model = KeyedVectors.load_word2vec_format(model_path, binary=False) 
# 如果是 binary 格式，请设置 binary=True

# 基本使用示例
word = "中国"
if word in wv_model:
    # 获取词向量
    vector = wv_model[word]
    print(f"{word} 的向量维度：{vector.shape}")
    
    # 查找相似词
    similar_words = wv_model.most_similar(word, topn=5)
    print(f"与 '{word}' 最相似的词：{similar_words}")
else:
    print(f"词汇 '{word}' 不在词典中")

加载 fastText 模型示例

from gensim.models import FastText

# 加载 fastText 模型
ft_model_path = "path/to/your/zh.fasttext.bin"
ft_model = FastText.load_fasttext_format(ft_model_path)

# 获取词向量 (fastText 支持未登录词)
vector = ft_model.wv["人工智能"]
print(f"向量前 5 维：{vector[:5]}")