Go 语言中的词嵌入

wego 是用 Go 语言从头实现的词嵌入（又称词表示）模型。

什么是词嵌入？

词嵌入 将词语的意义、结构和概念映射到低维向量空间中。一个典型的例子是：

向量("国王") - 向量("男人") + 向量("女人") = 向量("女王")

通过这种方式，这些模型生成的词向量可以通过与其他向量进行算术运算来推断词义。

特性

wego 支持以下几种用于捕捉词向量的模型：

• Word2Vec：单词和短语的分布式表示及其组合性 [pdf]

• GloVe：用于词表示的全局向量 [pdf]

• LexVec：使用窗口采样和负采样进行矩阵分解以改进词表示 [pdf]

此外，wego 还提供了最近邻搜索工具，用于计算词向量之间的距离，并找到与目标词最相似的词语。“近”在这里指的是词向量之间的“相似”。

如需了解更多详细信息，请参阅 使用方法 部分。

为什么选择 Go？

灵感来源于 @chewxy 的 Data Science in Go。

安装

使用 go 命令即可获取此包。

$ go get -u github.com/ynqa/wego
$ bin/wego -h

使用方法

wego 提供了命令行界面和 Go SDK 来处理词嵌入。

命令行界面

用法:
  wego [选项]
  wego [命令]

可用命令:
  console     用于探索词向量的控制台
  glove       GloVe：用于词表示的全局向量
  help        关于任何命令的帮助
  lexvec      LexVec：使用窗口采样和负采样改进词表示的矩阵分解
  query       查询相似词
  word2vec    Word2Vec：连续的词袋模型和跳字模型

word2vec、glove 和 lexvec 执行生成词向量的工作流程：

1. 通过扫描给定的语料库构建词汇表并统计词频。
2. 开始训练。执行时间取决于语料库的大小、超参数（选项）等因素。
3. 将词语及其向量保存为文本文件。

query 和 console 命令则与已训练词向量的最近邻搜索相关。

query 命令会根据上述模型生成的单个词向量，输出与给定词语相似的其他词语。

例如：wego query -i word_vector.txt microsoft：

  RANK |   WORD    | SIMILARITY
-------+-----------+-------------
     1 | hypercard |   0.791492
     2 | xp        |   0.768939
     3 | software  |   0.763369
     4 | freebsd   |   0.761084
     5 | unix      |   0.749563
     6 | linux     |   0.747327
     7 | ibm       |   0.742115
     8 | windows   |   0.731136
     9 | desktop   |   0.715790
    10 | linspire  |   0.711171

由于 wego 采用了 HogWild! 算法异步更新参数（在此例中即词向量），因此每次运行生成的词向量可能会有所不同。

console 命令提供 REPL 模式，用于对词向量进行基本的算术运算（+ 和 -）。

Go SDK

可以通过函数式选项定义模型的超参数。

model, err := word2vec.New(
	word2vec.Window(5),
	word2vec.Model(word2vec.Cbow),
	word2vec.Optimizer(word2vec.NegativeSampling),
	word2vec.NegativeSampleSize(5),
	word2vec.Verbose(),
)

模型具有一些方法：

type Model interface {
	Train(io.ReadSeeker) error
	Save(io.Writer, vector.Type) error
	WordVector(vector.Type) *matrix.Matrix
}

格式

在训练词向量时，wego 对输入和输出文件格式有如下要求。

输入

输入语料必须采用以空格分隔单词的格式，例如 text8。

word1 word2 word3 ...

输出

训练完成后，wego 会将词向量保存为文本文件，格式如下（N 为用户指定的词向量维度）：

<word> <value_1> <value_2> ... <value_N>

wego 快速上手指南

wego 是一个用 Go 语言从零实现的词嵌入（Word Embeddings）工具库，支持 Word2Vec、GloVe 和 LexVec 等主流模型。它提供了命令行工具（CLI）用于训练和查询，同时也提供了 Go SDK 供开发者集成。

环境准备

• 操作系统：Linux, macOS, Windows (需配置 Go 环境)
• 前置依赖：
  • Go 语言环境 (建议版本 1.16+)
  • git (用于获取源码)
• 输入数据格式：
  • 训练语料需为纯文本文件。
  • 单词之间必须使用空格分隔（类似 text8 格式）。
  • 示例：word1 word2 word3 ...

安装步骤

使用 Go 模块命令直接安装二进制文件：

$ go get -u github.com/ynqa/wego

安装完成后，验证是否成功：

$ bin/wego -h

(注：如果 $GOPATH/bin 未在环境变量中，请确保在对应目录下运行或将其加入 PATH)

基本使用

wego 主要包含两个核心流程：训练模型生成向量文件，以及查询/计算向量相似度。

1. 训练词向量模型

支持 word2vec, glove, lexvec 三种命令。以下以 Word2Vec 为例：

$ bin/wego word2vec -i corpus.txt -o vectors.txt

• -i: 输入语料文件路径（空格分词的文本）。
• -o: 输出向量文件路径。
• 过程说明：命令执行后将依次完成构建词典、统计词频、开始训练（耗时取决于语料大小和参数），最后保存结果为文本文件。

注意：由于采用了 HogWild! 异步更新算法，每次训练的向量结果可能略有不同，无法完全复现。

2. 查询相似词

使用训练好的向量文件查找与目标词最相似的单词：

$ bin/wego query -i vectors.txt microsoft

输出示例：

  RANK |   WORD    | SIMILARITY
-------+-----------+-------------
     1 | hypercard |   0.791492
     2 | xp        |   0.768939
     3 | software  |   0.763369
     ...

3. 交互式控制台 (REPL)

进入交互模式进行向量算术运算（如经典的 King - Man + Woman = Queen）：

$ bin/wego console -i vectors.txt

在控制台中可直接输入表达式进行计算：

> king - man + woman
queen

4. Go SDK 集成示例

在 Go 项目中通过代码调用模型：

package main

import (
	"github.com/ynqa/wego/word2vec"
)

func main() {
	// 定义模型超参数
	model, err := word2vec.New(
		word2vec.Window(5),
		word2vec.Model(word2vec.Cbow),
		word2vec.Optimizer(word2vec.NegativeSampling),
		word2vec.NegativeSampleSize(5),
		word2vec.Verbose(),
	)
	if err != nil {
		panic(err)
	}

	// 训练、保存或使用向量的方法接口
	// model.Train(...)
	// model.Save(...)
	// model.WordVector(...)
}

输出文件格式说明

训练生成的 .txt 文件格式如下（N 为向量维度）：

<word> <value_1> <value_2> ... <value_N>