[!CAUTION] Redis推理优化现已不再积极维护或支持。

我们感谢Redis推理优化社区对它的关注与支持。 此前，Redis推理优化名为RedisAI，但为减少与Redis其他AI产品的混淆，已于2025年1月更名。如需了解Redis当前的AI产品，请访问Redis官网。

Redis推理优化

Redis推理优化是一个用于执行深度学习/机器学习模型并管理其数据的Redis模块。它的目标是成为模型服务的“主力”，通过开箱即用的支持热门DL/ML框架以及无与伦比的性能来实现这一目标。Redis推理优化遵循数据局部性原则，既能最大化计算吞吐量，又能降低延迟，同时借助Redis久经考验的基础设施，简化了图的部署与服务流程。

快速入门

Redis推理优化是一个Redis模块。要运行它，您需要一个Redis服务器（版本6.0.0或更高）、该模块的共享库及其依赖项。

以下各节将介绍如何快速开始使用Redis推理优化。

Docker

尝试Redis推理优化最便捷的方式是启动其官方Docker容器镜像。

仅在CPU机器上

docker run -p 6379:6379 redislabs/redisai:1.2.7-cpu-bionic

在GPU机器上

若要支持GPU，您需要一台已安装Nvidia驱动（CUDA 11.3和cuDNN 8.1）、nvidia-container-toolkit以及Docker 19.03+的机器。有关详细信息，请查看Nvidia Docker文档。

docker run -p 6379:6379 --gpus all -it --rm redislabs/redisai:1.2.7-gpu-bionic

构建

您可以从源代码编译并构建该模块。

前提条件

• 软件包：git、python3、make、wget、g++/clang及unzip
• 需安装CMake 3.0或更高版本。
• 若需GPU支持，需安装CUDA 11.3和cuDNN 8.1或更高版本。
• Redis版本6.0.0或更高。

获取源代码

您可以通过git克隆项目仓库获取模块的源代码，如下所示：

git clone --recursive https://github.com/RedisAI/redis-inference-optimization

切换到项目目录：

cd redis-inference-optimization

构建依赖项

使用以下脚本下载并构建各种Redis推理优化后端（TensorFlow、PyTorch、ONNXRuntime）的库，仅限CPU：

bash get_deps.sh

或者，您也可以运行以下命令以获取支持GPU的后端。

bash get_deps.sh gpu

构建模块

依赖项构建完成后，您可以使用以下命令构建Redis推理优化模块：

make -C opt clean ALL=1
make -C opt

或者，运行以下命令以构建支持GPU的Redis推理优化模块：

make -C opt clean ALL=1
make -C opt GPU=1

后端依赖

Redis推理优化目前支持PyTorch（libtorch）、TensorFlow（libtensorflow）、TensorFlow Lite和ONNXRuntime作为后端。本节展示了Redis推理优化与支持后端之间的版本对应关系。这一点极为重要，因为不同版本的序列化机制可能不兼容。为确保您的模型能与特定版本的Redis推理优化配合使用，请查阅后端文档，确认您的后端版本与Redis推理优化构建版本之间是否存在不兼容功能。

Redis推理优化	PyTorch	TensorFlow	TFLite	ONNXRuntime
1.0.3	1.5.0	1.15.0	2.0.0	1.2.0
1.2.7	1.11.0	2.8.0	2.0.0	1.11.1
master	1.11.0	2.8.0	2.0.0	1.11.1

注：Keras和TensorFlow 2.x可通过图冻结方式支持。

加载模块

要在启动Redis服务器时加载模块，只需使用--loadmodule命令行开关、loadmodule配置指令或Redis MODULE LOAD命令，并提供模块库的路径即可。

例如，使用服务器命令行开关从项目路径加载模块，可执行以下命令：

redis-server --loadmodule ./install-cpu/redis-inference-optimization.so

试试看

加载完成后，您可使用redis-cli与Redis推理优化进行交互。

客户端库

一些语言已有支持Redis推理优化命令的客户端库。下表列出了已知的几个：

项目	语言	许可证	作者	URL
JredisAI	Java	BSD-3	Redis	Github
redisAI-py	Python	BSD-3	Redis	Github
redisAI-go	Go	BSD-3	Redis	Github
redisAI-js	Typescript/Javascript	BSD-3	Redis	Github
redis-modules-sdk	TypeScript	BSD-3-Clause	Dani Tseitlin	Github
redis-modules-java	Java	Apache-2.0	dengliming	Github
smartredis	C++	BSD-2-Clause	Cray Labs	Github
smartredis	C	BSD-2-Clause	Cray Labs	Github
smartredis	Fortran	BSD-2-Clause	Cray Labs	Github
smartredis	Python	BSD-2-Clause	Cray Labs	Github

许可证

Redis推理优化采用您选择的Redis源码可用许可证2.0（RSALv2）或服务器端公共许可证v1（SSPLv1）进行许可。

Redis-inference-optimization 快速上手指南

⚠️ 注意：Redis-inference-optimization 已停止维护。原名为 RedisAI，2025 年 1 月更名。建议移步 Redis 官方 AI 产品页 获取最新支持。

---

环境准备

• 系统要求：Linux（推荐 Ubuntu 18.04/20.04）
• Redis 版本：v6.0.0 或更高
• CPU 模式依赖：git、python3、make、wget、g++/clang、unzip、CMake 3.0+
• GPU 模式依赖：
  • NVIDIA 驱动 + CUDA 11.3 + cuDNN 8.1+
  • nvidia-container-toolkit
  • Docker 19.03+

推荐使用 Docker 快速部署，避免编译复杂依赖。

---

安装步骤

方案一：Docker（推荐）

CPU 环境

docker run -p 6379:6379 redislabs/redisai:1.2.7-cpu-bionic

GPU 环境（需 NVIDIA 支持）

docker run -p 6379:6379 --gpus all -it --rm redislabs/redisai:1.2.7-gpu-bionic

国内用户可使用阿里云镜像加速：

docker run -p 6379:6379 redislabs/redisai:1.2.7-cpu-bionic --registry-mirror=https://<your-mirror>.mirror.aliyuncs.com

方案二：源码编译（高级用户）

git clone --recursive https://github.com/RedisAI/redis-inference-optimization
cd redis-inference-optimization

# CPU 版本依赖
bash get_deps.sh

# GPU 版本依赖（需提前安装 CUDA/cuDNN）
bash get_deps.sh gpu

# 编译模块
make -C opt clean ALL=1
make -C opt  # CPU
# 或
make -C opt GPU=1  # GPU

加载模块：

redis-server --loadmodule ./install-cpu/redis-inference-optimization.so

---

基本使用

启动 Redis 后，使用 redis-cli 测试模型推理：

redis-cli

在 redis-cli 中执行：

AI.TENSORSET mytensor FLOAT 2 2 VALUES 1 2 3 4
AI.MODELRUN mymodel INPUTS mytensor OUTPUTS output
AI.TENSORGET output VALUES

模型需预先使用 AI.MODELSET 加载（如 TensorFlow/PyTorch 模型），详见官方文档。

支持客户端库：Python（redisAI-py）、Java（JredisAI）、Go（redisAI-go）等，可通过 GitHub 安装对应 SDK。