Elasticsearch 遇上 BERT

以下是一个求职搜索示例：

系统架构

要求

• Docker（容器引擎）
• Docker Compose >= 1.22.0（容器编排工具）

快速开始

1. 下载预训练的 BERT 模型

已发布的预训练 BERT 模型列表（点击展开...）

BERT-Base，未区分大小写	12 层，768 个隐藏单元，12 个注意力头，1.1 亿参数
BERT-Large，未区分大小写	24 层，1024 个隐藏单元，16 个注意力头，3.4 亿参数
BERT-Base，区分大小写	12 层，768 个隐藏单元，12 个注意力头，1.1 亿参数
BERT-Large，区分大小写	24 层，1024 个隐藏单元，16 个注意力头，3.4 亿参数
BERT-Base，多语言区分大小写（新版）	104 种语言，12 层，768 个隐藏单元，12 个注意力头，1.1 亿参数
BERT-Base，多语言区分大小写（旧版）	102 种语言，12 层，768 个隐藏单元，12 个注意力头，1.1 亿参数
BERT-Base，中文	简体中文和繁体中文，12 层，768 个隐藏单元，12 个注意力头，1.1 亿参数

$ wget https://storage.googleapis.com/bert_models/2018_10_18/cased_L-12_H-768_A-12.zip
$ unzip cased_L-12_H-768_A-12.zip

2. 设置环境变量

您需要将预训练的 BERT 模型路径和 Elasticsearch（搜索引擎）的索引名称设置为环境变量：

$ export PATH_MODEL=./cased_L-12_H-768_A-12
$ export INDEX_NAME=jobsearch

3. 运行 Docker 容器

$ docker-compose up

注意：如果可能，请为 Docker 的内存配置分配较高的内存（超过 8GB），因为 BERT 容器需要大量内存。

4. 创建索引

您可以使用创建索引 API（应用程序编程接口）向 Elasticsearch 集群添加新索引。创建索引时，可以指定以下内容：

• 索引设置
• 索引字段的映射
• 索引别名

例如，如果您想创建一个包含 title、text 和 text_vector 字段的 jobsearch 索引，可以使用以下命令创建索引：

$ python example/create_index.py --index_file=example/index.json --index_name=jobsearch
# index.json
{
  "settings": {
    "number_of_shards": 2,
    "number_of_replicas": 1
  },
  "mappings": {
    "dynamic": "true",
    "_source": {
      "enabled": "true"
    },
    "properties": {
      "title": {
        "type": "text"
      },
      "text": {
        "type": "text"
      },
      "text_vector": {
        "type": "dense_vector",
        "dims": 768
      }
    }
  }
}

注意：text_vector 的 dims 值必须与预训练 BERT 模型的维度匹配。

5. 创建文档

创建索引后，您就可以开始索引一些文档了。这里的要点是使用 BERT 将您的文档转换为向量。生成的向量存储在 text_vector 字段中。让我们将数据转换为 JSON 文档：

$ python example/create_documents.py --data=example/example.csv --index_name=jobsearch
# example/example.csv
"Title","Description"
"Saleswoman","lorem ipsum"
"Software Developer","lorem ipsum"
"Chief Financial Officer","lorem ipsum"
"General Manager","lorem ipsum"
"Network Administrator","lorem ipsum"

脚本执行完毕后，您可以获得如下格式的 JSON 文档：

# documents.jsonl
{"_op_type": "index", "_index": "jobsearch", "text": "lorem ipsum", "title": "Saleswoman", "text_vector": [...]}
{"_op_type": "index", "_index": "jobsearch", "text": "lorem ipsum", "title": "Software Developer", "text_vector": [...]}
{"_op_type": "index", "_index": "jobsearch", "text": "lorem ipsum", "title": "Chief Financial Officer", "text_vector": [...]}
...

6. 索引文档

将数据转换为 JSON 后，您可以将 JSON 文档添加到指定的索引中并使其可搜索。

$ python example/index_documents.py

7. 打开浏览器

访问 http://127.0.0.1:5000。

bertsearch 快速上手指南

bertsearch 是一个结合 Elasticsearch 与 BERT 模型的语义搜索工具。以下是基于 Docker 的快速部署与使用指南。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• Docker: 已安装并运行。
• Docker Compose: 版本需大于等于 1.22.0。
• 内存资源: BERT 容器对内存消耗较大，建议为 Docker 分配至少 8GB 内存。

2. 安装与配置

下载预训练模型

首先下载所需的 BERT 预训练模型文件（示例使用 Cased Base 模型）：

$ wget https://storage.googleapis.com/bert_models/2018_10_18/cased_L-12_H-768_A-12.zip
$ unzip cased_L-12_H-768_A-12.zip

提示: 更多模型选项（如中文、多语言、Large 版）请参考原始 README 中的表格。

设置环境变量

指定本地模型路径及 Elasticsearch 的索引名称：

$ export PATH_MODEL=./cased_L-12_H-768_A-12
$ export INDEX_NAME=jobsearch

启动服务

使用 Docker Compose 启动所有容器：

$ docker-compose up

3. 基本使用

创建索引

运行 Python 脚本创建 Elasticsearch 索引结构。需确保 text_vector 字段的维度 (dims) 与所选 BERT 模型一致（本例为 768）。

$ python example/create_index.py --index_file=example/index.json --index_name=jobsearch

导入数据

将原始数据（如 CSV）转换为包含 BERT 向量的 JSON 文档：

$ python example/create_documents.py --data=example/example.csv --index_name=jobsearch

建立索引

将处理好的文档正式写入 Elasticsearch 以便搜索：

$ python example/index_documents.py

访问界面

服务启动后，在浏览器中打开以下地址进行交互：

http://127.0.0.1:5000