Metarank：实时个性化即服务

文档 | 官网 | 社区 Slack | 博客 | 演示

Metarank 是什么？

Metarank 是一个开源的排序服务。它可以帮助您构建个性化的语义/神经网络搜索和推荐系统。

如果您只想快速上手，可以尝试：

• 快速入门 教程，了解如何在您的搜索引擎之上实现 Learning-to-Rank。
• 一份 语义搜索指南 ，介绍如何构建基于 LLM 的神经网络搜索。
• 一份 协同过滤推荐指南 ，用于创建许多电商网站上常见的“你可能还喜欢”小部件。

为什么选择 Metarank？

借助 Metarank，您可以使现有的搜索和推荐系统更加 智能：

• 将用户的点击、购买等行为信号整合到排序中，并优化以最大化点击率！
• 跟踪 访问者画像，并通过实时个性化让搜索结果根据用户行为动态调整。
• 使用 LLM 的双编码器和交叉编码器模式，使您的搜索能够理解查询的真实含义。

Metarank 非常 高效：

• 针对重新排序延迟进行了优化，即使在大型结果集上也能在 10-20 毫秒内完成处理。请参阅 性能基准测试。
• 作为无状态的云原生服务（状态由 Redis 管理），它可以水平扩展并处理数千个每秒请求。详细信息请参阅 Kubernetes 部署指南。

节省您的 开发时间：

• Metarank 可以开箱即用地计算数十种典型的排序信号：点击率、来源、User-Agent、时间等——对于大多数常见的排序因素，您无需编写自定义代码。请参阅我们文档中的 支持的排序信号完整列表。
• Metarank 与多种流式处理系统集成，以便摄取访问者信号：详情请参阅 数据源。

您可以用 Metarank 构建什么？

Metarank 帮助您构建先进的搜索和推荐排序系统：

• 语义搜索：使用最先进的 LLM，让您的 Elasticsearch/OpenSearch 理解查询的真正含义。
• 推荐：传统的协同过滤以及新一代的语义内容推荐。
• Learning-to-Rank：优化您现有的搜索。

内容

博客文章：

• 使用 OpenSearch 和 Metarank 进行 Learning-to-Rank
• 混合搜索与 Learning-to-Rank 结合 Metarank
• 利用聚合点击率解决搜索冷启动问题
• 使用 Metarank 和 Elasticsearch 实现个性化搜索

线下聚会和会议演讲：

• 构建开源在线 Learning-to-rank 引擎，Haystack EU 23，幻灯片
• 克服搜索和推荐系统中的位置与展示偏差，柏林 Data Natives 聚会，幻灯片
• Learning-to-rank：深度、快速、精准——任选其二，DataTalks 聚会，幻灯片

主要功能

• 语义神经网络搜索：[待办]
• 推荐：热门推荐 和 相似商品（MF ALS）。
• 个性化：二次重新排序（LambdaMART）
• 自动机器学习：自动特征生成 和 模型再训练
• A/B 测试：多模型服务

演示

您可以在 demo.metarank.ai 上体验 Metarank 演示：

演示本身以及 所使用的数据 都是开源的，您可以从 GitHub 仓库 中获取训练事件和配置文件的副本。

一分钟了解 Metarank

让我们演示一下如何在不到一分钟内通过基于 LambdaMART 的重新排序开始个性化内容：

1. 准备数据：我们将从 demo.metarank.ai 获取数据集和配置文件。
2. 以独立模式启动 Metarank：它将导入数据、训练机器学习模型并启动 API。
3. 向 API 发送几个请求。

第一步：准备数据

我们将使用 ranklens 数据集，该数据集也用于我们的 演示，因此只需下载数据文件即可。

curl -O -L https://github.com/metarank/metarank/raw/master/src/test/resources/ranklens/events/events.jsonl.gz

第二步：准备配置文件

我们同样会使用来自 演示 的配置文件。它使用内存存储，因此不需要其他依赖项。

curl -O -L https://raw.githubusercontent.com/metarank/metarank/master/src/test/resources/ranklens/config.yml

第3步：启动Metarank！

最后一步，我们将使用Metarank的standalone模式，它将训练和运行API合并为一个命令：

docker run -i -t -p 8080:8080 -v $(pwd):/opt/metarank metarank/metarank:latest standalone --config /opt/metarank/config.yml --data /opt/metarank/events.jsonl.gz

在Metarank启动并处理数据的过程中，您会看到一些有用的输出。完成后，您可以向localhost:8080发送请求，以获取个性化结果。

接下来，我们将通过点击其中一部电影来与系统互动，并观察结果。

首先，在我们进行交互之前，让我们看看Metarank提供的初始输出

# 获取某些项目的初始排名
curl http://localhost:8080/rank/xgboost \
    -d '{
    "event": "ranking",
    "id": "id1",
    "items": [
        {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
        {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
        {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
        {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
    ],
    "user": "alice",
    "session": "alice1",
    "timestamp": 1661431886711
}'

# {"item":"72998","score":0.9602446652021992},{"item":"79132","score":0.7819134441404151},{"item":"68358","score":0.33377910321385645},{"item":"112623","score":0.32591281190727805},{"item":"103228","score":0.31640256043322723},{"item":"77561","score":0.3040782705414116},{"item":"94864","score":0.17659007036183608},{"item":"72378","score":0.06164568676567339},{"item":"93363","score":0.058120639770243385},{"item":"68791","score":0.026919880032451306},{"item":"85131","score":-0.35794106000271037},{"item":"67197","score":-0.48735167237049154}

# 告诉Metarank在上一次请求中向用户展示了哪些项目以及它们的顺序
# 您还可以选择包含由Metarank或您的内部检索系统计算出的分数
curl http://localhost:8080/feedback \
 -d '{
  "event": "ranking",
  "fields": [],
  "id": "test-ranking",
  "items": [
    {"id":"72998","score":0.9602446652021992},{"id":"79132","score":0.7819134441404151},{"id":"68358","score":0.33377910321385645},
    {"id":"112623","score":0.32591281190727805},{"id":"103228","score":0.31640256043322723},{"id":"77561","score":0.3040782705414116},
    {"id":"94864","score":0.17659007036183608},{"id":"72378","score":0.06164568676567339},{"id":"93363","score":0.058120639770243385},
    {"id":"68791","score":0.026919880032451306},{"id":"85131","score":-0.35794106000271037},{"id":"67197","score":-0.48735167237049154}
  ],
  "user": "test2",
  "session": "test2",
  "timestamp": 1661431888711
}'

现在，让我们与项目93363进行交互

# 点击ID为93363的项目
curl http://localhost:8080/feedback \
 -d '{
  "event": "interaction",
  "type": "click",
  "fields": [],
  "id": "test-interaction",
  "ranking": "test-ranking",
  "item": "93363",
  "user": "test",
  "session": "test",
  "timestamp": 1661431890711
}'

现在，Metarank会对项目进行个性化调整，响应中的项目顺序将会发生变化

# 对相同的项目列表进行个性化排序
# Metarank会以不同的顺序返回这些项目
curl http://localhost:8080/rank/xgboost \
 -d '{
  "event": "ranking",
  "fields": [],
  "id": "test-personalized",
  "items": [
    {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
    {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
    {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
    {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
  ],
  "user": "test",
  "session": "test",
  "timestamp": 1661431892711
}'

# {"items":[{"item":"93363","score":2.2013986484185124},{"item":"72998","score":1.1542776301073876},{"item":"68358","score":0.9828904282341605},{"item":"112623","score":0.9521647429731446},{"item":"79132","score":0.9258841742518286},{"item":"77561","score":0.8990921381835769},{"item":"103228","score":0.8990921381835769},{"item":"94864","score":0.7131600718467729},{"item":"68791","score":0.624462038351694},{"item":"72378","score":0.5269765094008626},{"item":"85131","score":0.29198666089255343},{"item":"67197","score":0.16412780810560743}]}

有用链接

• 文档
• Ranklens数据集
• 贡献指南
• 许可证

接下来呢？

请查看更深入的快速入门以及完整的参考文档。

如果您有任何问题，请随时加入我们的Slack！

许可证

本项目采用Apache 2.0许可证发布，具体详见LICENSE文件。

Metarank 快速上手指南

Metarank 是一个开源的实时个性化排序服务（Learning-to-Rank），可帮助你在现有的搜索引擎或推荐系统中集成用户行为信号（如点击、购买），从而实现更智能的语义搜索和个性化推荐。

环境准备

• 系统要求：支持 Docker 运行的操作系统（Linux, macOS, Windows）。
• 前置依赖：
  • Docker：用于运行 Metarank standalone 模式。
  • curl：用于下载示例数据和发送 API 请求。
• 网络说明：由于需要拉取 Docker 镜像和 GitHub 资源，建议确保网络通畅或使用国内加速镜像源。

安装与数据准备

本指南采用 Standalone 模式，无需配置 Redis 或其他外部依赖，适合快速体验。

1. 下载示例数据

我们将使用 Ranklens 数据集（电影评分数据）作为演示。执行以下命令下载事件数据文件：

curl -O -L https://github.com/metarank/metarank/raw/master/src/test/resources/ranklens/events/events.jsonl.gz

2. 下载配置文件

下载配套的配置文件，该配置使用内存存储，简化了启动流程：

curl -O -L https://raw.githubusercontent.com/metarank/metarank/master/src/test/resources/ranklens/config.yml

3. 启动 Metarank

使用 Docker 启动 Metarank。该命令会自动导入数据、训练机器学习模型并启动 API 服务：

docker run -i -t -p 8080:8080 -v $(pwd):/opt/metarank metarank/metarank:latest standalone --config /opt/metarank/config.yml --data /opt/metarank/events.jsonl.gz

注意：首次启动时，Docker 会拉取镜像，随后 Metarank 会处理数据并训练模型。请等待终端输出稳定，显示 API 已就绪后再进行下一步。

基本使用

Metarank 的核心工作流包含三个步骤：获取初始排序 -> 反馈用户行为 -> 获取个性化排序。

1. 获取初始排序

向 /rank/xgboost 接口发送请求，获取一组电影的初始推荐列表。此时尚未引入用户个人偏好。

curl http://localhost:8080/rank/xgboost \
    -d '{
    "event": "ranking",
    "id": "id1",
    "items": [
        {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
        {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
        {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
        {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
    ],
    "user": "alice",
    "session": "alice1",
    "timestamp": 1661431886711
}'

2. 反馈展示与交互

为了让模型学习用户偏好，你需要告诉 Metarank 哪些物品被展示给了用户，以及用户点击了哪个物品。

第一步：反馈展示列表（Ranking Feedback） 告知系统刚才展示了哪些物品及其顺序：

curl http://localhost:8080/feedback \
 -d '{
  "event": "ranking",
  "fields": [],
  "id": "test-ranking",
  "items": [
    {"id":"72998","score":0.9602446652021992},{"id":"79132","score":0.7819134441404151},{"id":"68358","score":0.33377910321385645},
    {"id":"112623","score":0.32591281190727805},{"id":"103228","score":0.31640256043322723},{"id":"77561","score":0.3040782705414116},
    {"id":"94864","score":0.17659007036183608},{"id":"72378","score":0.06164568676567339},{"id":"93363","score":0.058120639770243385},
    {"id":"68791","score":0.026919880032451306},{"id":"85131","score":-0.35794106000271037},{"id":"67197","score":-0.48735167237049154}
  ],
  "user": "test2",
  "session": "test2",
  "timestamp": 1661431888711
}'

第二步：反馈点击行为（Interaction Feedback） 假设用户点击了 ID 为 93363 的电影：

curl http://localhost:8080/feedback \
 -d '{
  "event": "interaction",
  "type": "click",
  "fields": [],
  "id": "test-interaction",
  "ranking": "test-ranking",
  "item": "93363",
  "user": "test",
  "session": "test",
  "timestamp": 1661431890711
}'

3. 获取个性化排序

再次请求相同的物品列表，Metarank 将根据刚才的点击行为重新排序。你会发现之前点击的物品 93363 排名显著上升，且其他相关物品的分数也会发生变化。

curl http://localhost:8080/rank/xgboost \
 -d '{
  "event": "ranking",
  "fields": [],
  "id": "test-personalized",
  "items": [
    {"id":"72998"}, {"id":"67197"}, {"id":"77561"},
    {"id":"68358"}, {"id":"79132"}, {"id":"103228"}, 
    {"id":"72378"}, {"id":"85131"}, {"id":"94864"}, 
    {"id":"68791"}, {"id":"93363"}, {"id":"112623"}
  ],
  "user": "test",
  "session": "test",
  "timestamp": 1661431892711
}'

预期结果示例：

{"items":[{"item":"93363","score":2.2013986484185124},{"item":"72998","score":1.1542776301073876}, ... ]}

至此，你已成功运行了一个具备实时个性化能力的排序服务。如需生产环境部署或更多功能（如 A/B 测试、特征工程），请参考官方文档。