🧪 我们正在寻找我们虚拟助手小工具的测试用户。如果您有兴趣在您的网站上使用它，请联系我们。

亮点 • 概述 • 基准测试 • 安装 • 入门 • Kubernetes • 文档 • 教程 • 贡献 • 发布说明 • 博客

它是什么

⚡NBoost 是一个可扩展的搜索引擎增强平台，用于开发和部署最先进的模型，以提高搜索结果的相关性。

NBoost 利用微调后的模型来构建特定领域的神经搜索引擎。该平台还可以改进其他需要排序输入的下游任务，例如问答系统。

请联系我们以请求特定领域的模型或留下反馈

概述

NBoost 的工作流程相对简单。请参考上面的示意图，假设这里的服务器是 Elasticsearch。

在传统搜索请求中，用户向 Elasticsearch 发送查询，并获得结果。

在NBoost 搜索请求中，用户将查询发送给 模型。然后，模型会从 Elasticsearch 请求结果，并挑选出最佳的结果返回给用户。

基准测试

🔬 注意，我们在与模型训练时不同的数据集上评估这些模型（MS Marco vs TREC-CAR），这表明这些模型具有广泛的通用性，可以应用于许多其他实际的搜索问题。

微调模型	依赖项	评估集	搜索提升[1]	GPU 上的速度
nboost/pt-tinybert-msmarco (默认)		必应查询	+45% (0.26 vs 0.18)	~50ms/查询
nboost/pt-bert-base-uncased-msmarco		必应查询	+62% (0.29 vs 0.18)	~300 ms/查询
nboost/pt-bert-large-msmarco		必应查询	+77% (0.32 vs 0.18)	-
nboost/pt-biobert-base-msmarco		生物医学	+66% (0.17 vs 0.10)	~300 ms/查询

重现方法请见此处。

_{[1] MRR 与 BM25 相比，BM25 是 Elasticsearch 的默认值。对前 50 个结果进行重新排名。
[2] https://github.com/nyu-dl/dl4marco-bert}

要使用这些微调模型之一与 NBoost 配合使用，只需运行 nboost --model_dir bert-base-uncased-msmarco 等命令，它就会自动下载并缓存模型。

通过使用预训练的语言理解模型，您可以将搜索相关性指标提高近 2 倍，而无需额外的配置。在评估性能时，通常需要在模型准确性和速度之间做出权衡，因此我们在上面同时列出了这两项指标。此排行榜仍在不断完善中，我们计划推出更多前沿模型！

安装 NBoost

获取 NBoost 有两种方式：作为 Docker 镜像或作为 PyPi 包。对于云用户，我们强烈建议使用 Docker 版本的 NBoost。

🚸 根据您选择的模型，您需要安装相应的 Tensorflow 或 Pytorch 依赖项。我们已在下方打包好这些依赖项。

以下是安装 NBoost 的步骤：

依赖	🐳 Docker	📦 Pypi	🐙 Kubernetes
Pytorch (推荐)	koursaros/nboost:latest-pt	pip install nboost[pt]	helm install nboost/nboost --set image.tag=latest-pt
Tensorflow	koursaros/nboost:latest-tf	pip install nboost[tf]	helm install nboost/nboost --set image.tag=latest-tf
全部	koursaros/nboost:latest-all	pip install nboost[all]	helm install nboost/nboost --set image.tag=latest-all
- (用于测试)	koursaros/nboost:latest-alpine	pip install nboost	helm install nboost/nboost --set image.tag=latest-alpine

无论你以何种方式安装，只要在运行 $ nboost --help 或 $ docker run koursaros/nboost --help 后看到以下消息，就说明你可以开始使用了！

入门指南

• 代理
• 3分钟内搭建Elasticsearch的神经网络代理
  • 搭建Elasticsearch服务器
  • 部署代理
  • 索引一些数据
• 轻松玩转Elasticsearch

📡代理

代理是NBoost的核心。代理本质上是一个封装层，用于支持模型的服务化。它可以理解来自特定搜索API（如Elasticsearch）的请求消息。当代理接收到请求时，它会增加客户端要求的结果数量，以便模型能够对更多结果进行重新排序，并返回（希望是）更优的结果。 例如，如果客户端通过Elasticsearch查询“brown dogs”，并要求返回10条结果，那么代理可能会将请求结果数量提升至100条，然后再从中筛选出最优质的10条结果返回给客户端。

在3分钟内为Elasticsearch搭建神经网络代理

在这个示例中，我们将搭建一个代理，使其位于客户端和Elasticsearch之间，从而提升搜索结果的质量！

使用TensorFlow安装NBoost

如果你想在GPU上运行此示例，请确保已安装TensorFlow 1.14-1.15、PyTorch或ONNX Runtime，并且支持CUDA以实现建模功能。不过，如果你只想在CPU上运行也没关系。无论哪种情况，只需运行：

pip install nboost[pt]

搭建Elasticsearch服务器

🔔 如果你已经有一个Elasticsearch服务器，可以跳过这一步！

如果没有Elasticsearch也不用担心！我们建议使用Docker在本地搭建一个Elasticsearch集群（前提是已安装Docker）。首先，拉取ES镜像：

docker pull elasticsearch:7.4.2

镜像下载完成后，可以通过以下命令运行Elasticsearch服务器：

docker run -d -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.4.2

部署代理

现在我们可以部署我们的神经网络代理了！操作非常简单，只需运行：

nboost                                  \
    --uhost localhost                   \
    --uport 9200                        \
    --search_route "/<index>/_search"   \
    --query_path url.query.q            \
    --topk_path url.query.size          \
    --default_topk 10                   \
    --choices_path body.hits.hits       \
    --cvalues_path _source.passage

📢 --uhost和--uport应与上述Elasticsearch服务器保持一致！Uhost和uport分别是upstream-host和upstream-port的缩写，指代上游服务器。

如果出现以下提示：Listening: <host>:<port>，那就说明一切准备就绪！

索引一些数据

NBoost内置了一个便捷的索引工具（nboost-index）。为了演示目的，我们将通过NBoost索引一组关于旅行和酒店的文章片段（微软TREC 2019深度学习数据集）。你可以通过以下命令将这些数据添加到你的Elasticsearch服务器中：

travel.csv随NBoost一起提供

nboost-index --file travel.csv --index_name travel --delim , --id_col

现在让我们来测试一下吧！向Elasticsearch发送如下请求：

curl "http://localhost:8000/travel/_search?pretty&q=passage:vegas&size=2"

如果Elasticsearch返回的结果中带有nboost标签，那么恭喜你，一切正常运作！

刚才发生了什么？

让我们来看看NBoost前端界面。打开浏览器，访问localhost:8000/nboost。

如果无法访问浏览器，也可以通过curl http://localhost:8000/nboost/status获取相同信息。

前端记录了所有发生的事情：

1. NBoost收到了一条请求，要求返回2条搜索结果。（average_topk）
2. NBoost连接到了localhost:9200的服务器。
3. NBoost向服务器发送了请求，要求返回50条搜索结果。（topn）
4. NBoost从服务器接收到了50条搜索结果。（average_choices）
5. 模型从中挑选出最优质的2条搜索结果，并将其返回给客户端。

轻松玩转Elasticsearch

若需增加并行代理的数量，只需增加--workers参数即可。对于更健壮的部署方案，还可以通过Kubernetes来分发代理（见下文）。

Kubernetes

参阅

有关深入的查询DSL及其他搜索API解决方案（如Bing API），请参阅文档。

通过Kubernetes部署NBoost

我们可以使用Helm轻松地在Kubernetes集群中部署NBoost。

添加 NBoost Helm 仓库

首先，我们需要在您的 Kubernetes 集群中注册该仓库。

helm repo add nboost https://raw.githubusercontent.com/koursaros-ai/nboost/master/charts/
helm repo update

部署若干 NBoost 副本

让我们尝试部署四个副本：

helm install --name nboost --set replicaCount=4 nboost/nboost

所有可能的 --set 参数（参考 values.yaml）列于下文：

参数	描述	默认值
replicaCount	部署的副本数量	3
image.repository	NBoost 镜像名称	koursaros/nboost
image.tag	NBoost 镜像标签	latest-pt
args.model	模型类名称	nil
args.model_dir	微调后的模型名称或目录	pt-bert-base-uncased-msmarco
args.qa	是否使用问答插件	False
args.qa_model_dir	问答模型的名称或目录	distilbert-base-uncased-distilled-squad
args.host	代理服务器的主机名	0.0.0.0
args.port	代理服务器监听的端口	8000
args.uhost	上游搜索 API 服务器的主机名	elasticsearch-master
args.uport	上游服务器的端口	9200
args.data_dir	缓存模型二进制文件的目录	nil
args.max_seq_len	最大组合 token 长度	64
args.bufsize	HTTP 缓冲区大小（字节）	2048
args.batch_size	重新排序模型的批处理大小	4
args.multiplier	结果放大倍数	5
args.workers	服务代理的线程数量	10
args.query_path	请求中用于查找查询的 JsonPath	nil
args.topk_path	用于查找请求结果数量的 JsonPath	nil
args.choices_path	用于查找待重新排序选项数组的 JsonPath	nil
args.cvalues_path	用于查找选项字符串值的 JsonPath	nil
args.cids_path	用于查找选项 ID 的 JsonPath	nil
args.search_path	用于标记需通过 nboost 重新排序的 URL 路径	nil
service.type	Kubernetes 服务类型	LoadBalancer
resources	Pod 的资源需求和限制	{}
nodeSelector	用于分配 Pod 的节点标签	{}
affinity	用于分配 Pod 的亲和性设置	{}
tolerations	用于分配 Pod 的容忍度标签	[]
image.pullPolicy	镜像拉取策略	IfNotPresent
imagePullSecrets	Docker 注册表 Secret 名称数组	[]（不会将镜像拉取 Secret 添加到已部署的 Pod 中）
nameOverride	用于覆盖 Chart.name 的字符串	nil
fullnameOverride	用于覆盖 Chart.fullname 的字符串	nil
serviceAccount.create	指定是否创建服务账户	nil
serviceAccount.name	要使用的服务账户名称。若未设置且 create 为 true，则会使用 fullname 模板生成名称	nil
podSecurityContext.fsGroup	容器的组 ID	nil
securityContext.runAsUser	容器的用户 ID	1001
ingress.enabled	启用 Ingress 资源	false
ingress.hostName	您安装的主机名	nil
ingress.path	URL 结构中的路径	[]
ingress.tls	启用带有 TLS 的 Ingress	[]
ingress.tls.secretName	要使用的 TLS 类型 Secret	chart-example-tls

文档

NBoost 的官方文档托管在 nboost.readthedocs.io 上。每次发布新版本时，文档都会自动构建、更新并归档。

贡献

我们非常欢迎您的贡献！您可以对代码进行修正或改进，并提交到 NBoost 仓库。以下是具体步骤：

1. 创建一个新分支，例如 fix-nboost-typo-1。
2. 修复或优化代码库。
3. 提交更改。请注意，提交信息必须遵循 命名规范，例如 Fix/model-bert: 提高可读性并调整章节顺序。
4. 发起拉取请求。同样，拉取请求的标题也必须遵循 命名规范。您可以直接使用其中一条提交信息作为拉取请求的标题，例如 Fix/model-bert: 提高可读性并调整章节顺序。
5. 提交拉取请求，并等待所有检查通过（通常需要 10 分钟）：
   • 代码风格检查
   • 提交和拉取请求格式检查
   • 所有单元测试
6. 请求核心团队中的一位开发者进行评审。
7. 合并！

更多详细信息请参阅 贡献指南。

引用 NBoost

如果您在学术论文中使用了 NBoost，我们非常希望您能对其进行引用。以下是两种引用 NBoost 的方式：

1. \footnote{https://github.com/koursaros-ai/nboost}
   

2. @misc{koursaros2019NBoost,
     title={NBoost: 神经网络增强搜索结果},
     author={Thienes, Cole 和 Pertschuk, Jack},
     howpublished={\url{https://github.com/koursaros-ai/nboost}},
     year={2019}
   }
   

许可证

如果您下载了 NBoost 的二进制文件或源代码，请注意，NBoost 的二进制文件和源代码均采用 Apache License, Version 2.0 许可证授权。

_{Koursaros AI 很高兴将这款开源软件贡献给社区。
版权所有 © 2019。保留所有权利。}

NBoost 快速上手指南

NBoost 是一个可扩展的搜索引擎增强平台，旨在通过部署最先进的神经重排序模型（Neural Reranking Models），显著提升 Elasticsearch 等搜索引擎的结果相关性。它作为客户端与搜索引擎之间的代理，自动获取更多候选结果并进行智能排序。

环境准备

系统要求

• 操作系统: Linux, macOS, Windows (推荐 Linux 环境以获得最佳性能)
• Python: 3.6+
• 搜索引擎: Elasticsearch 7.x (示例基于 7.4.2，其他版本需调整配置)

前置依赖

根据选择的深度学习框架，需确保环境支持以下之一：

• PyTorch (推荐): 适用于大多数场景，社区支持好。
• TensorFlow: 如需使用特定 TF 模型。
• GPU 加速 (可选): 若需高性能推理，请安装对应的 CUDA 驱动及 Toolkit (PyTorch 或 TensorFlow 版本需匹配)。

💡 国内加速建议: 安装 Python 依赖时，建议使用清华或阿里镜像源以提升下载速度。

export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

NBoost 支持通过 PyPi 或 Docker 安装。对于云部署或生产环境，强烈推荐使用 Docker；本地开发测试可使用 PyPi。

方式一：使用 PyPi 安装 (推荐 PyTorch 版本)

这是最简单的本地开发安装方式。

# 安装带有 PyTorch 支持的 NBoost
pip install nboost[pt]

# 如果需要 TensorFlow 版本
# pip install nboost[tf]

# 验证安装
nboost --help

方式二：使用 Docker 安装

适合隔离环境及快速部署。

# 拉取包含 PyTorch 支持的最新版镜像
docker pull koursaros/nboost:latest-pt

# 验证安装
docker run koursaros/nboost:latest-pt --help

基本使用

以下示例展示如何在 3 分钟内搭建一个针对 Elasticsearch 的神经重排序代理。

1. 启动 Elasticsearch 服务

如果您尚未运行 Elasticsearch，可以使用 Docker 快速启动一个单节点集群：

# 拉取镜像
docker pull elasticsearch:7.4.2

# 启动容器 (映射端口 9200 和 9300)
docker run -d -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.4.2

2. 准备测试数据

NBoost 内置了索引工具 nboost-index。我们可以使用自带的旅行数据集进行测试：

# 创建名为 'travel' 的索引并导入数据
# travel.csv 通常随包安装或在示例目录中
nboost-index --file travel.csv --index_name travel --delim , --id_col id

3. 部署 NBoost 代理

启动 NBoost 服务，使其监听本地端口并转发请求至 Elasticsearch。

nboost \
    --uhost localhost \
    --uport 9200 \
    --search_route "/<index>/_search" \
    --query_path url.query.q \
    --topk_path url.query.size \
    --default_topk 10 \
    --choices_path body.hits.hits \
    --cvalues_path _source.passage

参数说明:

• --uhost / --uport: 上游 Elasticsearch 的地址和端口。
• --default_topk: 最终返回给用户的结果数量（例如 10）。
• 内部机制：当用户请求 10 条结果时，代理会向后端请求更多（如 100 条），经模型重排序后返回最优的 10 条。

看到 Listening: <host>:<port> 消息即表示服务启动成功（默认监听 8000 端口）。

4. 测试搜索效果

现在可以通过 NBoost 代理端口（默认为 8000）发送搜索请求，体验增强后的搜索结果：

curl "http://localhost:8000/travel/_search?pretty&q=paris hotels"

此时，请求会经过 NBoost 模型处理，返回相关性更高的排序结果。